Forwarded from Патчкорд
Автоматическое, бесплатное ускорение ваших shell программ в разы. Готовый продукт и публикация с выкладками, почему и как такое можно сделать. Пример из статьи с распараллеливанием на два, но можно и больше:
И это всё оно само.
##### Before #####
base="ftp://ftp.ncdc.noaa.gov/pub/data/noaa";
for y in {2015..2019}; do
curl $base/$y | grep gz | tr -s" " | cut -d" " -f9 |
sed "s;^;$base/$y/;" | xargs -n 1 curl -s | gunzip |
cut -c 89-92 | grep -iv 999 | sort -rn | head -n 1 |
sed "s/^/Maximum temperature for $y is: /"
done
##### After #####
mkfifo $t{0,1...}
curl $base/$y > $t0 & cat $t0 | split $t1 $t2 &
cat $t1 | grep gz > $t3 &
cat $t2 | grep gz > $t4 &
...
cat $t9 | sort -rn > $t11 & cat $t10 | sort -rn > $t12 &
cat $t11 | eager > $t13 & cat $t12 | eager > $t14 &
sort -mrn $t13 $t14 > $t15 &
cat $t15 | head -n1 > $out1 &
wait $! && get-pids | xargs -n 1 kill -SIGPIPE
И это всё оно само.
Twitter
MIT CSAIL
PaSh, a system for parallelizing Unix shell scripts, with an average speed-up of 7x. Paper: arxiv.org/pdf/2007.09436… Code: github.com/andromeda/pash (v/@nikosvasilakis @EuroSys_conf)
https://blog.argoproj.io/introducing-the-applicationset-controller-for-argo-cd-982e28b62dc5
#k8s #kubernetes #argo #argocd #applicationset
#k8s #kubernetes #argo #argocd #applicationset
Medium
Introducing the ApplicationSet Controller for Argo CD
I am excited to announce the first release of the Argo CD ApplicationSet controller, v0.1.0, releasing now alongside Argo CD v2.0!
Poor Disk Performance
http://www.brendangregg.com/blog/2021-05-09/poor-disk-performance.html
#perfomance #disk
http://www.brendangregg.com/blog/2021-05-09/poor-disk-performance.html
#perfomance #disk
Forwarded from HABR FEED + OPENNET
1 CPU 1 Гб – а я хочу мониторинг, как у больших дядей
https://habr.com/ru/post/556518/?utm_source=habrahabr&utm_medium=rss&utm_campaign=556518
Tags: Блог компании Маклауд, Настройка Linux, JavaScript, Серверное администрирование, Лайфхаки для гиков, linux, vps, vds, мониторинг, дешевые vps, надежный vds
Author owlofmacloud #habr
https://habr.com/ru/post/556518/?utm_source=habrahabr&utm_medium=rss&utm_campaign=556518
Tags: Блог компании Маклауд, Настройка Linux, JavaScript, Серверное администрирование, Лайфхаки для гиков, linux, vps, vds, мониторинг, дешевые vps, надежный vds
Author owlofmacloud #habr
Хабр
1 CPU 1 Гб – а я хочу мониторинг, как у больших дядей
Я обожаю читать на хабре статьи про то, как устроены системы больших интернет-компаний. Кластеры SQL-серверов, монг и редисов. Тут у нас кластер ELK собирает т...
Troubleshooting puzzles from Julia Evans
https://mysteries.wizardzines.com/
src: https://github.com/jvns/twine-stories/
blog: https://jvns.ca/blog/2021/04/16/notes-on-debugging-puzzles/
#troubleshooting #tshoot #puzzle #github
https://mysteries.wizardzines.com/
src: https://github.com/jvns/twine-stories/
blog: https://jvns.ca/blog/2021/04/16/notes-on-debugging-puzzles/
#troubleshooting #tshoot #puzzle #github
GitHub
GitHub - jvns/twine-stories: twine
twine. Contribute to jvns/twine-stories development by creating an account on GitHub.
https://faun.pub/sharing-secrets-in-a-kubernetes-cluster-or-lessons-learned-about-garbage-collection-d7731e623e21
#k8s #kubernetes #gc
#k8s #kubernetes #gc
Medium
Sharing Secrets in a Kubernetes Cluster or Lessons Learned about Garbage Collection
How to share efficiently and safely the multitude of secrets in a Kubernetes cluster? And maybe learn some Kubernetes inner workings along…
Forwarded from Полуконсольная мышь
Kubectl verbose logging tricks
kubectl -v=8 get node 2>&1 | grep -P 'GET|POST|DELETE|PATCH|PUT'
👉 https://words.yuvi.in/post/kubectl-rbac/
#k8s
kubectl -v=8 get node 2>&1 | grep -P 'GET|POST|DELETE|PATCH|PUT'
👉 https://words.yuvi.in/post/kubectl-rbac/
#k8s
Using system environment variables with Kustomize
NOTE: This uses an eschewed (but undocumented) feature of Kustomize. This trick may change, break, or inexplicably disappear at any time. So use this at your own risk!
https://rm3l.org/using-system-envvars-with-kustomize/
#kustomize #env
NOTE: This uses an eschewed (but undocumented) feature of Kustomize. This trick may change, break, or inexplicably disappear at any time. So use this at your own risk!
https://rm3l.org/using-system-envvars-with-kustomize/
#kustomize #env
Forwarded from Записки админа
🛠 Тут ребята из Cloudflare запилили DOOM прямо в браузере.
- Поиграть можно здесь.
- Почитать о том, как это работает здесь.
#cloudflare #напочитать #линк
- Поиграть можно здесь.
- Почитать о том, как это работает здесь.
#cloudflare #напочитать #линк
Forwarded from DevOps&SRE Library
100 Days Of Kubernetes
100 Days of Kubernetes is the challenge in which we aim to learn something new related to Kubernetes each day across 100 Days!!!https://100daysofkubernetes.io
Forwarded from ДевОпс Інженер 🇺🇦 (Oleg Mykolaichenko)
OpenSLO: Specification
- Видел? - спрашивает меня Ярослав Молочко.
- Ухты, не видел - отвечаю я.
Давайте смотреть вместе: OpenSLO - спецификация, унифицированный стандарт для определения SLO для сервисов. Она позволяет описать Confluence таблички, где ранее было описание SLO, или собрать в кучу “и так понятные” метрики и индикаторы.
Сейчас это действительно только предложение стандарта, но формат подразумевает деплой в Kubernetes - так что вполне вероятно, что появится оператор, который сможет это применить в Alertmanager или в Grafana.
Обожаю стандарты, и оставляю две ссылки:
https://openslo.com/
https://github.com/openslo/openslo
- Видел? - спрашивает меня Ярослав Молочко.
- Ухты, не видел - отвечаю я.
Давайте смотреть вместе: OpenSLO - спецификация, унифицированный стандарт для определения SLO для сервисов. Она позволяет описать Confluence таблички, где ранее было описание SLO, или собрать в кучу “и так понятные” метрики и индикаторы.
Сейчас это действительно только предложение стандарта, но формат подразумевает деплой в Kubernetes - так что вполне вероятно, что появится оператор, который сможет это применить в Alertmanager или в Grafana.
Обожаю стандарты, и оставляю две ссылки:
https://openslo.com/
https://github.com/openslo/openslo
GitHub
GitHub - OpenSLO/OpenSLO: Open specification for defining and expressing service level objectives (SLO)
Open specification for defining and expressing service level objectives (SLO) - OpenSLO/OpenSLO
Forwarded from linkmeup
Укорачиватели ссылок мертвы! Будущее за удлинёнными ссылками!
https://aaa.aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa.com/
Ну это же просто прекрасно =)
https://aaa.aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa.com/a?áaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂåAæãæãæaæââÁáÆáÆåÃåÀåÅåÂåÄåäæäæaáÅæáæä
https://aaa.aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa.com/
Ну это же просто прекрасно =)
https://aaa.aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa.com/a?áaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂáaaÂåAæãæãæaæââÁáÆáÆåÃåÀåÅåÂåÄåäæäæaáÅæáæä