XSV — это программа командной строки для индексации, нарезки, анализа, разделения и объединения CSV-файлов. Написана на Rust.

▫️cat — объединение CSV по строке или по столбцу
▫️count — подсчет строк в CSV (Мгновенно с индексом)
▫️fixlengths — заставить CSV иметь записи одинаковой длины, либо дополняя, либо усекая их
▫️flatten — плоский вид записей CSV
▫️fmt — переформатировать данные CSV с другими разделителями, разделителями записей или правилами цитирования
▫️frequency — создание частотных таблиц для каждого столбца в данных CSV. (Использует параллелизм)
▫️headers — показать заголовки данных CSV
▫️index — создать индекс для CSV
▫️input - чтение данных CSV с экзотическими правилами цитирования/экранирования
▫️join - внутренние, внешние и перекрестные соединения
▫️partition — разбиение данных CSV на основе значения столбца
▫️sample — произвольное рисование строк из данных CSV с использованием выборки
▫️reverse — обратный порядок строк в данных CSV
▫️search — запустить регулярное выражение для данных CSV
▫️select — выберите или измените порядок столбцов данных CSV
▫️slice — нарезать строки из любой части CSV
▫️sort — сортировка данных CSV
▫️split — разделить один CSV на множество CSV по N фрагментов
▫️stats — показать основные типы и статистику каждого столбца в CSV
▫️table — показать выровненный вывод любых данных CSV

#csv #cli

https://github.com/BurntSushi/xsv

hwatch — это альтернативна watch утилите командной строки. Периодически выполняет программу, отображая выходные данные в полноэкранном режиме, записывает результат выполнения команды и может отображать его историю и различия.

#watch #hwatch #cli

https://github.com/blacknon/hwatch

Netmaker — это платформа для создания и управления быстрыми, безопасными и динамическими виртуальными оверлейными сетями с использованием WireGuard.

Из особенностей:

▫️можно строить одноранговые (Peer-to-Peer) Mesh сети
▫️поддержка Kubernetes и нескольких облаков
▫️удаленный доступ через шлюз
▫️функции OAuth и частного DNS
▫️поддержка Linux, Mac, Windows, FreeBSD, iPhone и Android.
▫️автоматизирует виртуальные сети между ЦОД, облаками и шлюзами
▫️WireGuard предлагает максимальную скорость, производительность и безопасность
▫️создан для масштабирования от малого бизнеса до предприятия.

Руководство / Руководство по Kubernetes

#network #wireguard #mesh #k8s #kubernetes

https://github.com/gravitl/netmaker

smag — утилита командной строки для создания графиков из команд и просмотра их в терминале. Это как команда watch, но с графиком вывода.

Примеры использования:

smag 'ping -c1 ya.ru | grep -oP ".*time=\K\d+\.\d+"'

smag "kubectl get pods -A | grep Running | wc -l"

smag "grep ' 404 ' access.log | wc -l" -d

#cli #watch #graph #plot

https://github.com/aantn/smag

rustdesk — еще одно программное обеспечение для удаленного рабочего стола, написанное на Rust. Работает из коробки, не требует настройки. Вы полностью контролируете свои данные, не беспокоясь о безопасности. Вы можете использовать публичный сервер ретрансляции, настроить или написать свой собственный сервер ретрансляции.

Работает на Linux, MacOS, Windows. Единственное, не умеет пока что в Wayland, только X11.

Вполне сойдет как Open Source и Self-hosted альтернатива всяким TeamViewer, AmmyAdmin, AnyDesk, RAdmin и т.п.

А, ну да, еще я им занес русский язык, в новой версии появится.

#remote #rustdesk #teamviewer #ammyadmin #anydesk #radmin

https://github.com/rustdesk/rustdesk

kubectl shovel — это плагин для kubectl (krew), который поможет вам собирать диагностическую информацию из dotnet приложений запущенных в kubernetes. Он может работать с приложениями .NET Core 3.0+ и кластерами Kubernetes со средой выполнения docker или containerd. Запилили кстати это, ребята из dodopizza.

На данный момент поддерживаются следующие инструменты диагностики:
▫️dotnet-gcdump
▫️dotnet-trace
▫️dotnet-dump

#k8s #kubernetes #dotnet #krew

https://github.com/dodopizza/kubectl-shovel

Quay Image Expiration — это скрипт для изменения времени жизни образа в реестре контейнеров Quay. Позволяет задавать разное время жизни для разных тегов в соответствии с регулярным выражением. Не изменит существующие метки TTL.

Добавьте этот скрипт в свой планировщик (crontab, systemd timer, kubernetes cronJob или т.п.) и держите реестр контейнеров в чистоте. Больше никаких мусорных тегов, промежуточные версии существуют ограниченное время, а релизы остаются навсегда.

Quay поддерживает метку quay.expires-after, которая позволяет вам установить время жизни артефакта на этапе сборки в CI пайплайне. Но не все молодцы пользуются этим, поэтому и появился этот скрипт, для тотального контроля над временем жизни образов.

#registry #quay #automation

https://github.com/WoozyMasta/quay-expiration

Harvester — это решение гиперконвергентной инфраструктуры (HCI), созданное для серверов без операционной системы с использованием технологий с открытым исходным кодом корпоративного уровня, включая Kubernetes, Kubevirt и Longhorn.

Некоторые особенности Harvester:
▫️Управление жизненным циклом ВМ, включая внедрение SSH-ключа, Cloud-init и консоль последовательного порта;
▫️Поддержка динамической миграции ВМ;
▫️Поддержка резервного копирования и восстановления ВМ;
▫️Распределенное блочное хранилище;
▫️Несколько сетевых адаптеров в виртуальной машине;
▫️Поддержка загрузки PXE/iPXE
▫️Поддержка виртуальных IP-адресов и сетевых адаптеров
▫️Интеграция с мониторингом

Это разработка от ребят из Rancher Labs, по этому хорошо будет интегрироваться с Rancher и k3os

#hci #k8s #kubernetes #rancher

https://github.com/harvester/harvester
https://harvesterhci.io

kubectl-doctor — плагин kubectl (krew), сканирует ваш кластер k8s, чтобы увидеть, есть ли аномалии или полезные действия, о которых он может сообщить вам. Плагин не изменяет никакого состояния или конфигурации, он просто сканирует и собирает информацию, а затем сообщает об аномалиях в формате yaml.

Сейчас ищет такие аномалии:

▫️работоспособность основных компонентов (etcd, scheduler, controller-manager)
▫️потерянные endpoints (конечные точки без подключенного ipv4)
▫️PV доступен и не используется
▫️потерянные PVC
▫️k8s ноды не в состоянии Ready
▫️потерянные replicasets (запрос больше 0, но в наличии 0)
▫️пустые replicasets (скейл в 0)
▫️потерянные deployment (запрос больше 0, но в наличии 0)
▫️пустые deployment (скейл в 0)
▫️оставшиеся cronjobs (последняя активная дата более 30 дней)

#k8s #kubernetes #krew

https://github.com/emirozer/kubectl-doctor

Набросал скриптик для запуска в планировщике, который будет добавлять список определенных пользователей во все/корневые группы GitLab.
Для тех, кто держит свой GitLab с целым зоопарком групп, возможно пригодится.

Пример:
У вас есть служебные пользователи для SonarQube, Dependabot или ещё какой нибудь интеграции, которые должны иметь права developer во всех группах, ну что бы интеграции работали нормально. А вот за то, как активно плодятся группы, вы не отвечаете, и эта штука в шедуллере поможет держать доступы в актуальном состоянии.

#gitlab

https://github.com/WoozyMasta/gitlab-groups-filling-with-users

xh — удобный и быстрый инструмент для отправки HTTP-запросов. Он максимально воссоздает превосходный дизайн HTTPie, уделяя особое внимание повышению производительности.

Если еще короче, HTTPie переписали с Python на Rust, получился xh.

#cli #curl #httpie #xh

https://github.com/ducaale/xh

slashbase - IDE для совместной работы с открытым исходным кодом для ваших баз данных в вашем браузере. Подключайтесь к своей базе данных, просматривайте данные, запускайте множество команд SQL или делитесь SQL-запросами со своей командой прямо из браузера!

Дэмка для пощупать

#dba #sql #ide

https://github.com/slashbase/slashbase

Pleco — это утилита которая позволяет автоматически удалять облачные ресурсы и ресурсы kubernetes на основе времени жизни (TTL). Защитить ресурсы от удаления можно с помощью защитного тега do_not_delete. В kubernetes пока умеет удалять только namespace, но умеет делать многое с ресурсами AWS, Digital Ocean и Scaleway.

#k8s #kubernetes #aws #digitalocean #cli

https://github.com/Qovery/pleco

Imagor — это быстрый сервер обработки изображений, использует одну из самых эффективных библиотек обработки изображений libvips. Обычно это в 4-8 раз быстрее, чем при использовании самых быстрых настроек ImageMagick и GraphicsMagick.

Это приложение Go, оптимизированное для одновременных запросов. Принимает синтаксис Thumbor и охватывает большинство вариантов использования веб-обработки изображений. Имеет интеграцию с S3.

Вот такой вот шустрый аналог ImageMagick работающий по HTTP

#imagemagic #graphicsmagick #image

https://github.com/cshum/imagor

Думаю будет не лишним сделать бэкап своих личных данных из облака.

Ссылки на экспорт для Google, Apple и Microsoft

И пожалуй склонировать/обновить ценные вам репозитории, документы, дистрибутивы и прочие цифровые данные которые нужны, вам, как в быту так и для работы. Не забудьте про облачные менеджеры паролей.

Не то, что бы суету навести охота. Но вдруг в какое-то утро мы окажемся в чебурнете. Бэкапов много не бывает.

#cheburnet

kwatch — помогает отслеживать все изменения в вашем кластере Kubernetes, выявляет сбои в запущенных приложениях в режиме реального времени и мгновенно публикует уведомления в ваши каналы (Slack, Telegram, Discord, Teams и т.п.).

#k8s #kubernetes #observability

https://github.com/abahmed/kwatch

imgpkg — это инструмент, который позволяет пользователям сохранять набор произвольных файлов в виде образа OCI. Одним из основных вариантов использования является хранение конфигурации Kubernetes (обычный YAML, шаблоны ytt, шаблоны Helm и т.д.) в реестре OCI в виде образа.

Позволяет пушить и пулить пакет, содержащий набор файлов и список изображений, от которых они зависят. Также можно всё сохранить как tarball, использует слои Docker. Использует детерминированные права доступа к файлам и метки времени, чтобы сделать изображения воспроизводимыми.

Хм, а может bash портянки и ML датасеты попробовать, на досуге, переселить в реестр контейнеров при помощи этого решения 🤔

#oci #files

https://github.com/vmware-tanzu/carvel-imgpkg