Forwarded from Enabling.team Insights
В конце октября 2024 года вышел 31-й выпуск технологического радара от компании ThoughtWorks. Мы внимательно изучили новый выпуск и подготовили краткий обзор. Напомним, что технологический радар выходит 2 раза в год на протяжении уже 15 лет, за это время на радаре появилось больше 1600 практик, платформ, фреймворков и инструментов. В подготовке радара участвуют такие эксперты, как Martin Fowler, Neal Ford, James Lewis, Rebecca Parsons и другие.
Отчет начинается с четырех инсайтов в индустрии на конец 2024 года:
1. Появление антипаттернов применения AI инструментов к процессам разработки;
2. Появление новых инструментов и рост интереса к языку Rust;
3. Распространение открытого стандарта WebAssembly (WASM);
4. Бум инструментов генеративного AI.
В новом выпуске на радаре упоминаются 23 практики, 17 платформ и более 60 инструментов, проектов и фреймворков. Что интересного мы отметили:
1. Упоминание практики Continuous Deployment. Последний раз практика появлялась на радаре в далеком 2011 году и новое упоминание связано с выходом одноименной книги Continuous Deployment от Valentina Servile (эксперта ThoughtWorks);
2. Появление нового подхода Observability 2.0 и разработка инструментов следующего поколения , подробнее в Whitepaper и выпуске подкаста Last Week in AWS с Charity Majors;
3. Развитие инструментов для локальной разработки и Dev окружений:
- Графический Git клиент GitButler, упрощающий работу с ветками;
- Консольная утилита DevBox для создания Dev окружений;
- Консольная утилита Difftastic для поиска различий в коде;
- Современный терминал Warp для macOS и Linux, написанный на Rust;
- Инструмент для MacOS для локального контроля сборок CCMenu;
4. Развитие практик, плафторм и инструментов, связанных с CI/CD:
- Практика 1% канареечного релиза;
- Continuous Delivery платформа Spinnaker;
- Платформа управления Feature флагами Unleash;
- Сервис Unblocked для поиска информации и улучшения навигации во внутренних системах и платформах;
- Проект и спецификация Score для стандартизации описания конфигураций платформ и окружений, проект активно развивается и недавно был принят в CNCF Sandbox;
- Практика Component testing и инструмент для автоматизации запуска интеграционных тестов Testcontainers;
5. Инструменты для Kubernetes:
- Консольная утилита K9s для управления кластерами;
- Дистрибутив Elastisys Compliant Kubernetes, который теперь называется Welkin;
6. Проект и фреймворк SST для развертывания приложений в облаках, более ориентированный на разработчиков;
7. Проект и спецификацию Passkeys для аутентификации от FIDO Alliance;
8. Практики и инструменты для Data Engineering и MLOps: Kedro, ReadySet, FoundationDB, ClickHouse, применение GraphQL для Data продуктов;
9. Инструменты на Rust: Mise, Iggy, Pingora, uv, Zed, Rspack, Slint;
10. Практики и инструменты для AI и LLM: RAG, Fine-tuning embedding models, Function calling, LLM as a judge, Small language models (SLMs), Synthetic data for testing and training models, Using GenAI to understand legacy codebases, AI team assistants, Dynamic few-shot prompting, LLM-powered autonomous agents, On-device LLM inference, Structured output from LLMs, FastChat, Langfuse, Qdrant, ColPali, Cursor, Instructor, LiteLLM, LLM Guardrails, Microsoft Autogen, Pingora и др.
Подробнее про практики, платформы и инструменты читайте в новом 31-м выпуске технологического радара от ThoughtWorks.
Отчет начинается с четырех инсайтов в индустрии на конец 2024 года:
1. Появление антипаттернов применения AI инструментов к процессам разработки;
2. Появление новых инструментов и рост интереса к языку Rust;
3. Распространение открытого стандарта WebAssembly (WASM);
4. Бум инструментов генеративного AI.
В новом выпуске на радаре упоминаются 23 практики, 17 платформ и более 60 инструментов, проектов и фреймворков. Что интересного мы отметили:
1. Упоминание практики Continuous Deployment. Последний раз практика появлялась на радаре в далеком 2011 году и новое упоминание связано с выходом одноименной книги Continuous Deployment от Valentina Servile (эксперта ThoughtWorks);
2. Появление нового подхода Observability 2.0 и разработка инструментов следующего поколения , подробнее в Whitepaper и выпуске подкаста Last Week in AWS с Charity Majors;
3. Развитие инструментов для локальной разработки и Dev окружений:
- Графический Git клиент GitButler, упрощающий работу с ветками;
- Консольная утилита DevBox для создания Dev окружений;
- Консольная утилита Difftastic для поиска различий в коде;
- Современный терминал Warp для macOS и Linux, написанный на Rust;
- Инструмент для MacOS для локального контроля сборок CCMenu;
4. Развитие практик, плафторм и инструментов, связанных с CI/CD:
- Практика 1% канареечного релиза;
- Continuous Delivery платформа Spinnaker;
- Платформа управления Feature флагами Unleash;
- Сервис Unblocked для поиска информации и улучшения навигации во внутренних системах и платформах;
- Проект и спецификация Score для стандартизации описания конфигураций платформ и окружений, проект активно развивается и недавно был принят в CNCF Sandbox;
- Практика Component testing и инструмент для автоматизации запуска интеграционных тестов Testcontainers;
5. Инструменты для Kubernetes:
- Консольная утилита K9s для управления кластерами;
- Дистрибутив Elastisys Compliant Kubernetes, который теперь называется Welkin;
6. Проект и фреймворк SST для развертывания приложений в облаках, более ориентированный на разработчиков;
7. Проект и спецификацию Passkeys для аутентификации от FIDO Alliance;
8. Практики и инструменты для Data Engineering и MLOps: Kedro, ReadySet, FoundationDB, ClickHouse, применение GraphQL для Data продуктов;
9. Инструменты на Rust: Mise, Iggy, Pingora, uv, Zed, Rspack, Slint;
10. Практики и инструменты для AI и LLM: RAG, Fine-tuning embedding models, Function calling, LLM as a judge, Small language models (SLMs), Synthetic data for testing and training models, Using GenAI to understand legacy codebases, AI team assistants, Dynamic few-shot prompting, LLM-powered autonomous agents, On-device LLM inference, Structured output from LLMs, FastChat, Langfuse, Qdrant, ColPali, Cursor, Instructor, LiteLLM, LLM Guardrails, Microsoft Autogen, Pingora и др.
Подробнее про практики, платформы и инструменты читайте в новом 31-м выпуске технологического радара от ThoughtWorks.
Forwarded from KazDevOps
Смотрите записи докладов, основанные на реальных кейсах и практическом опыте по решению конкретных проблем:
Делитесь с коллегами
@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
Demystifying Observability 2.0
https://geekingoutpodcast.substack.com/p/demystifying-observability-20
https://geekingoutpodcast.substack.com/p/demystifying-observability-20
Forwarded from GitHub'ненько
A suite of secret scanners built in Rust for performance. Based on TruffleHog (https://github.com/dxa4481/truffleHog) which is written in Python.Rusty Hog is a secret scanner built in Rust for performance, and based on TruffleHog which is written in Python. Rusty Hog provides the following binaries:
Ankamali Hog: Scans for secrets in a Google doc.
Berkshire Hog: Scans for secrets in an S3 bucket.
Choctaw Hog: Scans for secrets in a Git repository.
Duroc Hog: Scans for secrets in a directory, file, and archive.
Essex Hog: Scans for secrets in a Confluence wiki page.
Gottingen Hog: Scans for secrets in a JIRA issue.
Slack Hog: Scans for secrets in a Slack Channel.
#security #secrets #scan #rust
https://github.com/newrelic/rusty-hog
Forwarded from KazDevOps
Инженеры GitHub провели исследование — зеркалили трафик с прода в отдельное окружение и замеряли
latency обработки операций. Цель — оставаться в рамках SLA и не позволять ресурсам простаивать.Оптимальная утилизация CPU — ~61%.
👉 Читать полное исследование
Остается только настроить
resource management и capacity planning, чтобы достичь этих оптимальных цифр. Что думаете?
@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from KazDevOps
VK Видео
Как регулярно терять ДЦ и не волноваться | Михаил Кабищев | E-community 2023 | СберМаркет Tech
За последние годы команда Ozon построила большую и сложную систему, состоящую из нескольких тысяч сервисов, запущенных на тысячах серверов, распределенных по нескольким дата-центрам (ДЦ). На таком объеме может что-то ломаться: диски, сетевые карточки, сервера…
Предлагаем к просмотру доклад о построении систем, которые выдержат отказ дата-центра.
А здесь поделимся ключевыми выводами из презентации:
Лучше использовать независимые кластеры в каждом дата-центре. Так вы меньше рискуете, а еще так проще управлять инфраструктурой. Без труда переживете инцидент.
Лучше отработать возможные инциденты на учениях, чем разбираться уже во время сбоя. Такие тесты помогут выявить слабые места в вашей инфраструктуре и подготовить команду к потенциальным проблемам.
Если ваша архитектура ещё не застрахована, то самое время внедрить эти решения. Это обезопасит вас от серьезных проблем в будущем.
@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from bin
FastCVE или база Mitre & NVD на личном сервере
Наткнулся на очень крутую штуку с GitHub, которая может быть полезна ресерчерам.
Инструмент буквально скачивает базы CVE, CPE, CWE, CAPEC с Mitre и NIST NVD в PostgreSQL СУБД и поднимает API, по которому вы сможете очень быстро делать любой необходимый поиск.
Установка простая, но добавлю от себя, что перед запуском компоса лучше создать .env файлик в корне репозитория и заполнить его так:
В README в том числе и о NVD_API_KEY нет ни слова, его можно достать бесплатно тут.
Компос сам подтянет .env без необходимости постоянного экспорта.
hashbin.t.me
Наткнулся на очень крутую штуку с GitHub, которая может быть полезна ресерчерам.
Инструмент буквально скачивает базы CVE, CPE, CWE, CAPEC с Mitre и NIST NVD в PostgreSQL СУБД и поднимает API, по которому вы сможете очень быстро делать любой необходимый поиск.
Установка простая, но добавлю от себя, что перед запуском компоса лучше создать .env файлик в корне репозитория и заполнить его так:
INP_ENV_NAME=<пустота>
POSTGRES_PASSWORD=testpostgrepass # опционально
FCDB_USER=admin # опционально
FCDB_PASS=testuserpass # опционально
NVD_API_KEY=<ключ>
В README в том числе и о NVD_API_KEY нет ни слова, его можно достать бесплатно тут.
Компос сам подтянет .env без необходимости постоянного экспорта.
hashbin.t.me
Forwarded from Технологический Болт Генона
Опубликованы результаты оценки влияния на производительность пересборки пакетов для Ubuntu с различными опциями и реализациями функций выделения памяти. Экспериментатору удалось на 90% (в 1.9 раза) повысить производительность пакета jq с инструментарием для обработки данных в формате JSON, путём обычной пересборки из того же пакета с исходным кодом, без внесения изменений в сам код. Производительность оценивалась через измерение времени выполнения типового фильтрующего запроса над данными GeoJSON, размером 500МБ.
Итоги эксперимента:
- Вариант, собранный в GCC из тех же исходных текстов с флагами по умолчанию оказался быстрее бинарного пакета Ubuntu на 2-4%.
- Пересборка в Clang 18 с уровнем оптимизации"-O3", включением оптимизации на этапе связывания ("-flto") и отключением отладочной информации ("-DNDEBUG") привела к ускорению на 20%.
- Пересборка с системой распределения памяти TCMalloc (добавление "-L/usr/lib/x86_64-linux-gnu -ltcmalloc_minimal" в LDFLAGS) привела к ускорению на 40%.
- Замена функций malloc на системы распределения памяти tcmalloc, jemalloc и mimalloc через "LD_PRELOAD=/usr/lib/x86_64-linux-gnu/lib....so" привела к увеличению производительности на 27%, 29% и 44%. При запуске с mimalloc, показавшем ускорение на 44%, выставлялась переменная окружения "MIMALLOC_LARGE_OS_PAGES=1".
- Пересборка пакета с mimalloc в LDFLAGS вместо связывания через LD_PRELOAD привела к ускорению прохождения теста на 90%. Другой тест по обработке 2.2GB JSON-данных в 13000 файлах также показал прирост производительности примерно в два раза.
Производительность Ubuntu-пакета jq удалось увеличить в 1.9 раза путём пересборки
https://www.opennet.ru/opennews/art.shtml?num=62912
Оригинальный пост
Make Ubuntu packages 90% faster by rebuilding them
https://gist.github.com/jwbee/7e8b27e298de8bbbf8abfa4c232db097
Открытка @itpgchannel и его приключениям с malloc 🌝
GitHub - openpubkey/opkssh: opkssh (OpenPubkey SSH)
https://github.com/openpubkey/opkssh
https://github.com/openpubkey/opkssh
GitHub
GitHub - openpubkey/opkssh: opkssh (OpenPubkey SSH)
opkssh (OpenPubkey SSH). Contribute to openpubkey/opkssh development by creating an account on GitHub.