Forwarded from Флант | Специалисты по DevOps и Kubernetes
Наш инженер делится недавним опытом использования одного из chaos engineering-решений для Kubernetes: https://habr.com/ru/company/flant/blog/672902/
Хабр
Пробуем Chaos Mesh, или Гармония хаоса и есть порядок
В продолжение наших статей про Chaos Engineering расскажу про недавний опыт проверки на прочность приложения в кластере Kubernetes c помощью оператора Chaos Mesh . В рамках подготовки к выходу в...
Forwarded from linkmeup
Желающим понять QUIC рекомендую проследовать по ссылке. Очень доходчиво и в удобной форме объяснён каждый его байт. Не классическая простыня текста, а красивенькая раскладушка по всем полям и датаграммам с возможностью провалиться в ад документации при достаточном усердии.
https://quic.ulfheim.net/
https://quic.ulfheim.net/
quic.xargs.org
The Illustrated QUIC Connection: Every Byte Explained
Every byte of a QUIC connection explained and reproduced
Forwarded from Типа про IT
🛠️ Bloomberg разродился новым, шикарным профилировщиком для Python-приложений. Цитирую:
Memray is a memory profiler for Python. It can track memory allocations in Python code, in native extension modules, and in the Python interpreter itself. It can generate several different types of reports to help you analyze the captured memory usage data. While commonly used as a CLI tool, it can also be used as a library to perform more fine-grained profiling tasks.
🕵️♀️ Traces every function call so it can accurately represent the call stack, unlike sampling profilers.
ℭ Also handles native calls in C/C++ libraries so the entire call stack is present in the results.
🏎 Blazing fast! Profiling causes minimal slowdown in the application. Tracking native code is somewhat slower, but this can be enabled or disabled on demand.
📈 It can generate various reports about the collected memory usage data, like flame graphs.
🧵 Works with Python threads.
👽🧵 Works with native-threads (e.g. C++ threads in native extensions)
Выбирайте анализатор: flame, summary, table, tree, stats или live? Будет что выводить на внешний монитор вместо скучного
Но есть нюанс — Linux only, поэтому всем нам, плотно сидящим на OS X ничего не светит. Это печально.
Memray is a memory profiler for Python. It can track memory allocations in Python code, in native extension modules, and in the Python interpreter itself. It can generate several different types of reports to help you analyze the captured memory usage data. While commonly used as a CLI tool, it can also be used as a library to perform more fine-grained profiling tasks.
🕵️♀️ Traces every function call so it can accurately represent the call stack, unlike sampling profilers.
ℭ Also handles native calls in C/C++ libraries so the entire call stack is present in the results.
🏎 Blazing fast! Profiling causes minimal slowdown in the application. Tracking native code is somewhat slower, but this can be enabled or disabled on demand.
📈 It can generate various reports about the collected memory usage data, like flame graphs.
🧵 Works with Python threads.
👽🧵 Works with native-threads (e.g. C++ threads in native extensions)
Выбирайте анализатор: flame, summary, table, tree, stats или live? Будет что выводить на внешний монитор вместо скучного
htop!Но есть нюанс — Linux only, поэтому всем нам, плотно сидящим на OS X ничего не светит. Это печально.
Forwarded from Полезняшки от "Разбора Полетов"
RSocket — Getting Started
https://vinsguru.medium.com/rsocket-getting-started-346c99bac3af
https://vinsguru.medium.com/rsocket-getting-started-346c99bac3af
Medium
RSocket — Getting Started
RSocket is a binary & message passing protocol for client & server application development / inter-Microservices communication. It…
Forwarded from Alexey Diushen
MultiTail - для просмотра тонны логов или статы с нескольких ресурсов в real-time https://www.vanheusden.com/multitail/
Forwarded from opennet.ru
Применение асинхронной буферизированной записи на базе io_uring до 80 раз снизило задержки в XFS https://opennet.ru/57412/
www.opennet.ru
Применение асинхронной буферизированной записи на базе io_uring до 80 раз снизило задержки в XFS
Опубликована серия патчей для включения в ядро Linux 5.20, добавляющая поддержку асинхронной буферизированной записи в файловую систему XFS при помощи механизма io_uring. Предварительные тесты производительности, проведённые при помощи инструментария fio…
Forwarded from Mops DevOps
glaball для управления множеством GitLab-инстансов
В наиболее популярном случае иметь множество инсталляций GitLab — это антипаттерн. Однако обстоятельства бывают разными: специализация нашего бизнеса привела к тому, что мы администрируем десятки self-hosted GitLab-инстансов обслуживаемых клиентов. Периодически у нас возникает потребность проделать какие-то действия на всех GitLab’ах сразу, чтобы не тратить время на многократное повторение рутинных операций. Все началось с необходимости мониторинга за критическими обновлениями для GitLab. Но аппетиты росли: со временем нам уже хотелось искать по содержимому файлов во всех инсталляциях или даже создавать пользователей.
Расскажем о том, как мы решили эти задачи в рамках внутренней разработки, которую теперь публикуем как Open Source-проект под названием glaball.
👉 https://bit.ly/3HT2BGu
#gitlab #flant
В наиболее популярном случае иметь множество инсталляций GitLab — это антипаттерн. Однако обстоятельства бывают разными: специализация нашего бизнеса привела к тому, что мы администрируем десятки self-hosted GitLab-инстансов обслуживаемых клиентов. Периодически у нас возникает потребность проделать какие-то действия на всех GitLab’ах сразу, чтобы не тратить время на многократное повторение рутинных операций. Все началось с необходимости мониторинга за критическими обновлениями для GitLab. Но аппетиты росли: со временем нам уже хотелось искать по содержимому файлов во всех инсталляциях или даже создавать пользователей.
Расскажем о том, как мы решили эти задачи в рамках внутренней разработки, которую теперь публикуем как Open Source-проект под названием glaball.
👉 https://bit.ly/3HT2BGu
#gitlab #flant
Forwarded from Sysadmin Tools 🇺🇦
A set of modern Grafana dashboards for Kubernetes.
https://github.com/dotdc/grafana-dashboards-kubernetes
#grafana #monitoring #k8s #kubernetes
https://github.com/dotdc/grafana-dashboards-kubernetes
#grafana #monitoring #k8s #kubernetes
Forwarded from Big Data News
Non-immutable formats are the new trend of data storage. Hudi, Iceberg, Delta Lake… which suits your needs better? Check out this article by @lakeFS and choose wisely!
#datalake #architecture #storage
s.asm0dey.ru/Gpp4h
#datalake #architecture #storage
s.asm0dey.ru/Gpp4h
LakeFS
Hudi, Iceberg and Delta Lake: Data Lake Table Formats Compared
A comparison between data lake table formats: Hudi Iceberg and Delta Lake. With advice on how to pick the best one for a particular workload
Forwarded from Pasha Finkelshteyn
https://xn--r1a.website/bigdatatools
Мы тут канал с новостями околобигдаты забацали
Мы тут канал с новостями околобигдаты забацали
TopTuK/docker-mailserver: Docker Mailserver based on the famous ISPMail guide.
https://github.com/TopTuK/docker-mailserver
https://github.com/TopTuK/docker-mailserver
GitHub
GitHub - TopTuK/docker-mailserver: Docker Mailserver based on the famous ISPMail guide.
Docker Mailserver based on the famous ISPMail guide. - TopTuK/docker-mailserver
Forwarded from Записки админа
⚒ ugit - утилита для отмены выполненных git команд.
Github: https://github.com/Bhupesh-V/ugit
Обзор: https://bhupesh.me/undo-your-last-git-mistake-with-ugit/
#git #tui #будничное
Github: https://github.com/Bhupesh-V/ugit
Обзор: https://bhupesh.me/undo-your-last-git-mistake-with-ugit/
#git #tui #будничное
Nyr/openvpn-install: OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora
https://github.com/Nyr/openvpn-install
https://github.com/Nyr/openvpn-install
GitHub
GitHub - Nyr/openvpn-install: OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora
OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora - Nyr/openvpn-install
Forwarded from Типа про IT
📦 Apache Parquet — это высокоэффективный бинарный column-oriented формат, который помимо самих данных содержит заодно и метаданные к ним, c типами и структурой. Считайте, что это как CSV, только сильно быстрее, занимает сильно меньше места у вас в облаке и, следовательно, дешевле в эксплуатации (иногда на порядки).
Про “паркет” хорошо знают все, кто работает с big data или ML, потому что там, на дне data-озёр, жирным слоем накапливаются мегатонны parquet-файлов, в которых большие компании хранят большие массивы данных.
Но мне кажется, что Parquet может быть полезен и в проектах поменьше, без сотен терабайт данных в S3. Где-то можно сэкономить на табличном процессинге используя Pandas (у которого, к слову, первоклассная поддержка формата), где-то можно разгрузить основную базу, ну или просто поближе познакомиться с технологией, которая лежит в основе всей современной data-движухи.
Если очень интересно и есть лишние 40 минут, посмотрите клёвый доклад от WeWork по теме.
Про “паркет” хорошо знают все, кто работает с big data или ML, потому что там, на дне data-озёр, жирным слоем накапливаются мегатонны parquet-файлов, в которых большие компании хранят большие массивы данных.
Но мне кажется, что Parquet может быть полезен и в проектах поменьше, без сотен терабайт данных в S3. Где-то можно сэкономить на табличном процессинге используя Pandas (у которого, к слову, первоклассная поддержка формата), где-то можно разгрузить основную базу, ну или просто поближе познакомиться с технологией, которая лежит в основе всей современной data-движухи.
Если очень интересно и есть лишние 40 минут, посмотрите клёвый доклад от WeWork по теме.
Parquet
Apache Parquet Documentation Releases Apache Parquet is an open source, column-oriented data file format designed for efficient data storage and retrieval. It provides high performance compression and encoding schemes to handle complex data in bulk and is…