Dev0ps
40 subscribers
211 photos
3 videos
50 files
3.33K links
Download Telegram
Forwarded from Vik Gamov
Forwarded from Alexey Diushen
MultiTail - для просмотра тонны логов или статы с нескольких ресурсов в real-time https://www.vanheusden.com/multitail/
Forwarded from Mops DevOps
glaball для управления множеством GitLab-инстансов

В наиболее популярном случае иметь множество инсталляций GitLab — это антипаттерн. Однако обстоятельства бывают разными: специализация нашего бизнеса привела к тому, что мы администрируем десятки self-hosted GitLab-инстансов обслуживаемых клиентов. Периодически у нас возникает потребность проделать какие-то действия на всех GitLab’ах сразу, чтобы не тратить время на многократное повторение рутинных операций. Все началось с необходимости мониторинга за критическими обновлениями для GitLab. Но аппетиты росли: со временем нам уже хотелось искать по содержимому файлов во всех инсталляциях или даже создавать пользователей.

Расскажем о том, как мы решили эти задачи в рамках внутренней разработки, которую теперь публикуем как Open Source-проект под названием glaball.

👉 https://bit.ly/3HT2BGu

#gitlab #flant
Forwarded from Sysadmin Tools 🇺🇦
Forwarded from Big Data News
Non-immutable formats are the new trend of data storage. Hudi, Iceberg, Delta Lake… which suits your needs better? Check out this article by @lakeFS and choose wisely!

#datalake #architecture #storage

s.asm0dey.ru/Gpp4h
Forwarded from Pasha Finkelshteyn
https://xn--r1a.website/bigdatatools
Мы тут канал с новостями околобигдаты забацали
ugit - утилита для отмены выполненных git команд.

Github: https://github.com/Bhupesh-V/ugit
Обзор: https://bhupesh.me/undo-your-last-git-mistake-with-ugit/

#git #tui #будничное
Forwarded from Типа про IT
📦 Apache Parquet — это высокоэффективный бинарный column-oriented формат, который помимо самих данных содержит заодно и метаданные к ним, c типами и структурой. Считайте, что это как CSV, только сильно быстрее, занимает сильно меньше места у вас в облаке и, следовательно, дешевле в эксплуатации (иногда на порядки).

Про “паркет” хорошо знают все, кто работает с big data или ML, потому что там, на дне data-озёр, жирным слоем накапливаются мегатонны parquet-файлов, в которых большие компании хранят большие массивы данных.

Но мне кажется, что Parquet может быть полезен и в проектах поменьше, без сотен терабайт данных в S3. Где-то можно сэкономить на табличном процессинге используя Pandas (у которого, к слову, первоклассная поддержка формата), где-то можно разгрузить основную базу, ну или просто поближе познакомиться с технологией, которая лежит в основе всей современной data-движухи.

Если очень интересно и есть лишние 40 минут, посмотрите клёвый доклад от WeWork по теме.
Forwarded from DevOps&SRE Library
Observability at scale: How we built a cutting-edge Dream11 monitoring ecosystem?

https://d11engg.medium.com/observability-at-scale-how-we-built-a-cutting-edge-dream11-monitoring-ecosystem-c3ac8cfeca1
Forwarded from Womchik
у меня вот есть интересная особенность
убунту 20. если апнуть ядро до 5.15 и загнать в кластер, то хост начинает ребутится каждые 5 минут.
если загнать, а потом апнуть, то всё ок

bare, hoster contabo.

nodeType: Static
operatingSystem:
manageKernel: false