Forwarded from Полезняшки от "Разбора Полетов"
RSocket — Getting Started
https://vinsguru.medium.com/rsocket-getting-started-346c99bac3af
https://vinsguru.medium.com/rsocket-getting-started-346c99bac3af
Medium
RSocket — Getting Started
RSocket is a binary & message passing protocol for client & server application development / inter-Microservices communication. It…
Forwarded from Alexey Diushen
MultiTail - для просмотра тонны логов или статы с нескольких ресурсов в real-time https://www.vanheusden.com/multitail/
Forwarded from opennet.ru
Применение асинхронной буферизированной записи на базе io_uring до 80 раз снизило задержки в XFS https://opennet.ru/57412/
www.opennet.ru
Применение асинхронной буферизированной записи на базе io_uring до 80 раз снизило задержки в XFS
Опубликована серия патчей для включения в ядро Linux 5.20, добавляющая поддержку асинхронной буферизированной записи в файловую систему XFS при помощи механизма io_uring. Предварительные тесты производительности, проведённые при помощи инструментария fio…
Forwarded from Mops DevOps
glaball для управления множеством GitLab-инстансов
В наиболее популярном случае иметь множество инсталляций GitLab — это антипаттерн. Однако обстоятельства бывают разными: специализация нашего бизнеса привела к тому, что мы администрируем десятки self-hosted GitLab-инстансов обслуживаемых клиентов. Периодически у нас возникает потребность проделать какие-то действия на всех GitLab’ах сразу, чтобы не тратить время на многократное повторение рутинных операций. Все началось с необходимости мониторинга за критическими обновлениями для GitLab. Но аппетиты росли: со временем нам уже хотелось искать по содержимому файлов во всех инсталляциях или даже создавать пользователей.
Расскажем о том, как мы решили эти задачи в рамках внутренней разработки, которую теперь публикуем как Open Source-проект под названием glaball.
👉 https://bit.ly/3HT2BGu
#gitlab #flant
В наиболее популярном случае иметь множество инсталляций GitLab — это антипаттерн. Однако обстоятельства бывают разными: специализация нашего бизнеса привела к тому, что мы администрируем десятки self-hosted GitLab-инстансов обслуживаемых клиентов. Периодически у нас возникает потребность проделать какие-то действия на всех GitLab’ах сразу, чтобы не тратить время на многократное повторение рутинных операций. Все началось с необходимости мониторинга за критическими обновлениями для GitLab. Но аппетиты росли: со временем нам уже хотелось искать по содержимому файлов во всех инсталляциях или даже создавать пользователей.
Расскажем о том, как мы решили эти задачи в рамках внутренней разработки, которую теперь публикуем как Open Source-проект под названием glaball.
👉 https://bit.ly/3HT2BGu
#gitlab #flant
Forwarded from Sysadmin Tools 🇺🇦
A set of modern Grafana dashboards for Kubernetes.
https://github.com/dotdc/grafana-dashboards-kubernetes
#grafana #monitoring #k8s #kubernetes
https://github.com/dotdc/grafana-dashboards-kubernetes
#grafana #monitoring #k8s #kubernetes
Forwarded from Big Data News
Non-immutable formats are the new trend of data storage. Hudi, Iceberg, Delta Lake… which suits your needs better? Check out this article by @lakeFS and choose wisely!
#datalake #architecture #storage
s.asm0dey.ru/Gpp4h
#datalake #architecture #storage
s.asm0dey.ru/Gpp4h
LakeFS
Hudi, Iceberg and Delta Lake: Data Lake Table Formats Compared
A comparison between data lake table formats: Hudi Iceberg and Delta Lake. With advice on how to pick the best one for a particular workload
Forwarded from Pasha Finkelshteyn
https://xn--r1a.website/bigdatatools
Мы тут канал с новостями околобигдаты забацали
Мы тут канал с новостями околобигдаты забацали
TopTuK/docker-mailserver: Docker Mailserver based on the famous ISPMail guide.
https://github.com/TopTuK/docker-mailserver
https://github.com/TopTuK/docker-mailserver
GitHub
GitHub - TopTuK/docker-mailserver: Docker Mailserver based on the famous ISPMail guide.
Docker Mailserver based on the famous ISPMail guide. - TopTuK/docker-mailserver
Forwarded from Записки админа
⚒ ugit - утилита для отмены выполненных git команд.
Github: https://github.com/Bhupesh-V/ugit
Обзор: https://bhupesh.me/undo-your-last-git-mistake-with-ugit/
#git #tui #будничное
Github: https://github.com/Bhupesh-V/ugit
Обзор: https://bhupesh.me/undo-your-last-git-mistake-with-ugit/
#git #tui #будничное
Nyr/openvpn-install: OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora
https://github.com/Nyr/openvpn-install
https://github.com/Nyr/openvpn-install
GitHub
GitHub - Nyr/openvpn-install: OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora
OpenVPN road warrior installer for Ubuntu, Debian, AlmaLinux, Rocky Linux, CentOS and Fedora - Nyr/openvpn-install
Forwarded from Типа про IT
📦 Apache Parquet — это высокоэффективный бинарный column-oriented формат, который помимо самих данных содержит заодно и метаданные к ним, c типами и структурой. Считайте, что это как CSV, только сильно быстрее, занимает сильно меньше места у вас в облаке и, следовательно, дешевле в эксплуатации (иногда на порядки).
Про “паркет” хорошо знают все, кто работает с big data или ML, потому что там, на дне data-озёр, жирным слоем накапливаются мегатонны parquet-файлов, в которых большие компании хранят большие массивы данных.
Но мне кажется, что Parquet может быть полезен и в проектах поменьше, без сотен терабайт данных в S3. Где-то можно сэкономить на табличном процессинге используя Pandas (у которого, к слову, первоклассная поддержка формата), где-то можно разгрузить основную базу, ну или просто поближе познакомиться с технологией, которая лежит в основе всей современной data-движухи.
Если очень интересно и есть лишние 40 минут, посмотрите клёвый доклад от WeWork по теме.
Про “паркет” хорошо знают все, кто работает с big data или ML, потому что там, на дне data-озёр, жирным слоем накапливаются мегатонны parquet-файлов, в которых большие компании хранят большие массивы данных.
Но мне кажется, что Parquet может быть полезен и в проектах поменьше, без сотен терабайт данных в S3. Где-то можно сэкономить на табличном процессинге используя Pandas (у которого, к слову, первоклассная поддержка формата), где-то можно разгрузить основную базу, ну или просто поближе познакомиться с технологией, которая лежит в основе всей современной data-движухи.
Если очень интересно и есть лишние 40 минут, посмотрите клёвый доклад от WeWork по теме.
Parquet
Apache Parquet Documentation Releases Apache Parquet is an open source, column-oriented data file format designed for efficient data storage and retrieval. It provides high performance compression and encoding schemes to handle complex data in bulk and is…
Forwarded from DevOps&SRE Library
Observability at scale: How we built a cutting-edge Dream11 monitoring ecosystem?
https://d11engg.medium.com/observability-at-scale-how-we-built-a-cutting-edge-dream11-monitoring-ecosystem-c3ac8cfeca1
https://d11engg.medium.com/observability-at-scale-how-we-built-a-cutting-edge-dream11-monitoring-ecosystem-c3ac8cfeca1
Forwarded from Womchik
у меня вот есть интересная особенность
убунту 20. если апнуть ядро до 5.15 и загнать в кластер, то хост начинает ребутится каждые 5 минут.
если загнать, а потом апнуть, то всё ок
bare, hoster contabo.
убунту 20. если апнуть ядро до 5.15 и загнать в кластер, то хост начинает ребутится каждые 5 минут.
если загнать, а потом апнуть, то всё ок
bare, hoster contabo.
nodeType: Static
operatingSystem:
manageKernel: false