Dev0ps
40 subscribers
211 photos
3 videos
50 files
3.33K links
Download Telegram
Forwarded from Enabling.team Insights
В конце октября 2024 года вышел 31-й выпуск технологического радара от компании ThoughtWorks. Мы внимательно изучили новый выпуск и подготовили краткий обзор. Напомним, что технологический радар выходит 2 раза в год на протяжении уже 15 лет, за это время на радаре появилось больше 1600 практик, платформ, фреймворков и инструментов. В подготовке радара участвуют такие эксперты, как Martin Fowler, Neal Ford, James Lewis, Rebecca Parsons и другие.

Отчет начинается с четырех инсайтов в индустрии на конец 2024 года:
1. Появление антипаттернов применения AI инструментов к процессам разработки;
2. Появление новых инструментов и рост интереса к языку Rust;
3. Распространение открытого стандарта WebAssembly (WASM);
4. Бум инструментов генеративного AI.

В новом выпуске на радаре упоминаются 23 практики, 17 платформ и более 60 инструментов, проектов и фреймворков. Что интересного мы отметили:
1. Упоминание практики Continuous Deployment. Последний раз практика появлялась на радаре в далеком 2011 году и новое упоминание связано с выходом одноименной книги Continuous Deployment от Valentina Servile (эксперта ThoughtWorks);
2. Появление нового подхода Observability 2.0 и разработка инструментов следующего поколения , подробнее в Whitepaper и выпуске подкаста Last Week in AWS с Charity Majors;
3. Развитие инструментов для локальной разработки и Dev окружений:
- Графический Git клиент GitButler, упрощающий работу с ветками;
- Консольная утилита DevBox для создания Dev окружений;
- Консольная утилита Difftastic для поиска различий в коде;
- Современный терминал Warp для macOS и Linux, написанный на Rust;
- Инструмент для MacOS для локального контроля сборок CCMenu;
4. Развитие практик, плафторм и инструментов, связанных с CI/CD:
- Практика 1% канареечного релиза;
- Continuous Delivery платформа Spinnaker;
- Платформа управления Feature флагами Unleash;
- Сервис Unblocked для поиска информации и улучшения навигации во внутренних системах и платформах;
- Проект и спецификация Score для стандартизации описания конфигураций платформ и окружений, проект активно развивается и недавно был принят в CNCF Sandbox;
- Практика Component testing и инструмент для автоматизации запуска интеграционных тестов Testcontainers;
5. Инструменты для Kubernetes:
- Консольная утилита K9s для управления кластерами;
- Дистрибутив Elastisys Compliant Kubernetes, который теперь называется Welkin;
6. Проект и фреймворк SST для развертывания приложений в облаках, более ориентированный на разработчиков;
7. Проект и спецификацию Passkeys для аутентификации от FIDO Alliance;
8. Практики и инструменты для Data Engineering и MLOps: Kedro, ReadySet, FoundationDB, ClickHouse, применение GraphQL для Data продуктов;
9. Инструменты на Rust: Mise, Iggy, Pingora, uv, Zed, Rspack, Slint;
10. Практики и инструменты для AI и LLM: RAG, Fine-tuning embedding models, Function calling, LLM as a judge, Small language models (SLMs), Synthetic data for testing and training models, Using GenAI to understand legacy codebases, AI team assistants, Dynamic few-shot prompting, LLM-powered autonomous agents, On-device LLM inference, Structured output from LLMs, FastChat, Langfuse, Qdrant, ColPali, Cursor, Instructor, LiteLLM, LLM Guardrails, Microsoft Autogen, Pingora и др.

Подробнее про практики, платформы и инструменты читайте в новом 31-м выпуске технологического радара от ThoughtWorks.
Forwarded from KazDevOps
🔥 Доклады с Kolesa MLOps Meetup уже на YouTube

Смотрите записи докладов, основанные на реальных кейсах и практическом опыте по решению конкретных проблем:

⚪️ Что за зверь «MLOps Engineer»
⚪️ Создание и менеджмент ML-платформы на Kubeflow
⚪️ Data-centered MLOps: почему построение ML-инфраструктуры стоит начинать с данных?
⚪️ Автоматизация обучения и апдейтов модели

Делитесь с коллегами 🫡

@DevOpsKaz 😛
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from GitHub'ненько
A suite of secret scanners built in Rust for performance. Based on TruffleHog (https://github.com/dxa4481/truffleHog) which is written in Python.

Rusty Hog is a secret scanner built in Rust for performance, and based on TruffleHog which is written in Python. Rusty Hog provides the following binaries:

Ankamali Hog: Scans for secrets in a Google doc.
Berkshire Hog: Scans for secrets in an S3 bucket.
Choctaw Hog: Scans for secrets in a Git repository.
Duroc Hog: Scans for secrets in a directory, file, and archive.
Essex Hog: Scans for secrets in a Confluence wiki page.
Gottingen Hog: Scans for secrets in a JIRA issue.
Slack Hog: Scans for secrets in a Slack Channel.
#security #secrets #scan #rust
https://github.com/newrelic/rusty-hog
Forwarded from KazDevOps
⚡️Оптимальный баланс между загрузкой CPU и скоростью его работы

Инженеры GitHub провели исследование — зеркалили трафик с прода в отдельное окружение и замеряли latency обработки операций. Цель — оставаться в рамках SLA и не позволять ресурсам простаивать.

Оптимальная утилизация CPU — ~61%.

👉 Читать полное исследование

Остается только настроить resource management и capacity planning, чтобы достичь этих оптимальных цифр.

Что думаете?

@DevOpsKaz 😛
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from KazDevOps
Как пережить отказ дата-центра

Предлагаем к просмотру доклад о построении систем, которые выдержат отказ дата-центра.

А здесь поделимся ключевыми выводами из презентации:

Не растягивайте Kubernetes между дата-центрами

Лучше использовать независимые кластеры в каждом дата-центре. Так вы меньше рискуете, а еще так проще управлять инфраструктурой. Без труда переживете инцидент.

Тестируйте отключения дата-центра

Лучше отработать возможные инциденты на учениях, чем разбираться уже во время сбоя. Такие тесты помогут выявить слабые места в вашей инфраструктуре и подготовить команду к потенциальным проблемам.

Внедряйте сценарии отказа

Если ваша архитектура ещё не застрахована, то самое время внедрить эти решения. Это обезопасит вас от серьезных проблем в будущем.

@DevOpsKaz 😛
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from bin
FastCVE или база Mitre & NVD на личном сервере

Наткнулся на очень крутую штуку с GitHub, которая может быть полезна ресерчерам.

Инструмент буквально скачивает базы CVE, CPE, CWE, CAPEC с Mitre и NIST NVD в PostgreSQL СУБД и поднимает API, по которому вы сможете очень быстро делать любой необходимый поиск.

Установка простая, но добавлю от себя, что перед запуском компоса лучше создать .env файлик в корне репозитория и заполнить его так:

INP_ENV_NAME=<пустота>
POSTGRES_PASSWORD=testpostgrepass # опционально
FCDB_USER=admin # опционально
FCDB_PASS=testuserpass # опционально
NVD_API_KEY=<ключ>


В README в том числе и о NVD_API_KEY нет ни слова, его можно достать бесплатно тут.

Компос сам подтянет .env без необходимости постоянного экспорта.

hashbin.t.me
Опубликованы результаты оценки влияния на производительность пересборки пакетов для Ubuntu с различными опциями и реализациями функций выделения памяти. Экспериментатору удалось на 90% (в 1.9 раза) повысить производительность пакета jq с инструментарием для обработки данных в формате JSON, путём обычной пересборки из того же пакета с исходным кодом, без внесения изменений в сам код. Производительность оценивалась через измерение времени выполнения типового фильтрующего запроса над данными GeoJSON, размером 500МБ.

Итоги эксперимента:

- Вариант, собранный в GCC из тех же исходных текстов с флагами по умолчанию оказался быстрее бинарного пакета Ubuntu на 2-4%.

- Пересборка в Clang 18 с уровнем оптимизации"-O3", включением оптимизации на этапе связывания ("-flto") и отключением отладочной информации ("-DNDEBUG") привела к ускорению на 20%.

- Пересборка с системой распределения памяти TCMalloc (добавление "-L/usr/lib/x86_64-linux-gnu -ltcmalloc_minimal" в LDFLAGS) привела к ускорению на 40%.

- Замена функций malloc на системы распределения памяти tcmalloc, jemalloc и mimalloc через "LD_PRELOAD=/usr/lib/x86_64-linux-gnu/lib....so" привела к увеличению производительности на 27%, 29% и 44%. При запуске с mimalloc, показавшем ускорение на 44%, выставлялась переменная окружения "MIMALLOC_LARGE_OS_PAGES=1".

- Пересборка пакета с mimalloc в LDFLAGS вместо связывания через LD_PRELOAD привела к ускорению прохождения теста на 90%. Другой тест по обработке 2.2GB JSON-данных в 13000 файлах также показал прирост производительности примерно в два раза.

Производительность Ubuntu-пакета jq удалось увеличить в 1.9 раза путём пересборки
https://www.opennet.ru/opennews/art.shtml?num=62912

Оригинальный пост
Make Ubuntu packages 90% faster by rebuilding them
https://gist.github.com/jwbee/7e8b27e298de8bbbf8abfa4c232db097

Открытка @itpgchannel и его приключениям с malloc 🌝