Dev0ps
40 subscribers
211 photos
3 videos
50 files
3.33K links
Download Telegram
Forwarded from GitHub'ненько
A suite of secret scanners built in Rust for performance. Based on TruffleHog (https://github.com/dxa4481/truffleHog) which is written in Python.

Rusty Hog is a secret scanner built in Rust for performance, and based on TruffleHog which is written in Python. Rusty Hog provides the following binaries:

Ankamali Hog: Scans for secrets in a Google doc.
Berkshire Hog: Scans for secrets in an S3 bucket.
Choctaw Hog: Scans for secrets in a Git repository.
Duroc Hog: Scans for secrets in a directory, file, and archive.
Essex Hog: Scans for secrets in a Confluence wiki page.
Gottingen Hog: Scans for secrets in a JIRA issue.
Slack Hog: Scans for secrets in a Slack Channel.
#security #secrets #scan #rust
https://github.com/newrelic/rusty-hog
Forwarded from KazDevOps
⚡️Оптимальный баланс между загрузкой CPU и скоростью его работы

Инженеры GitHub провели исследование — зеркалили трафик с прода в отдельное окружение и замеряли latency обработки операций. Цель — оставаться в рамках SLA и не позволять ресурсам простаивать.

Оптимальная утилизация CPU — ~61%.

👉 Читать полное исследование

Остается только настроить resource management и capacity planning, чтобы достичь этих оптимальных цифр.

Что думаете?

@DevOpsKaz 😛
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from KazDevOps
Как пережить отказ дата-центра

Предлагаем к просмотру доклад о построении систем, которые выдержат отказ дата-центра.

А здесь поделимся ключевыми выводами из презентации:

Не растягивайте Kubernetes между дата-центрами

Лучше использовать независимые кластеры в каждом дата-центре. Так вы меньше рискуете, а еще так проще управлять инфраструктурой. Без труда переживете инцидент.

Тестируйте отключения дата-центра

Лучше отработать возможные инциденты на учениях, чем разбираться уже во время сбоя. Такие тесты помогут выявить слабые места в вашей инфраструктуре и подготовить команду к потенциальным проблемам.

Внедряйте сценарии отказа

Если ваша архитектура ещё не застрахована, то самое время внедрить эти решения. Это обезопасит вас от серьезных проблем в будущем.

@DevOpsKaz 😛
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from bin
FastCVE или база Mitre & NVD на личном сервере

Наткнулся на очень крутую штуку с GitHub, которая может быть полезна ресерчерам.

Инструмент буквально скачивает базы CVE, CPE, CWE, CAPEC с Mitre и NIST NVD в PostgreSQL СУБД и поднимает API, по которому вы сможете очень быстро делать любой необходимый поиск.

Установка простая, но добавлю от себя, что перед запуском компоса лучше создать .env файлик в корне репозитория и заполнить его так:

INP_ENV_NAME=<пустота>
POSTGRES_PASSWORD=testpostgrepass # опционально
FCDB_USER=admin # опционально
FCDB_PASS=testuserpass # опционально
NVD_API_KEY=<ключ>


В README в том числе и о NVD_API_KEY нет ни слова, его можно достать бесплатно тут.

Компос сам подтянет .env без необходимости постоянного экспорта.

hashbin.t.me
Опубликованы результаты оценки влияния на производительность пересборки пакетов для Ubuntu с различными опциями и реализациями функций выделения памяти. Экспериментатору удалось на 90% (в 1.9 раза) повысить производительность пакета jq с инструментарием для обработки данных в формате JSON, путём обычной пересборки из того же пакета с исходным кодом, без внесения изменений в сам код. Производительность оценивалась через измерение времени выполнения типового фильтрующего запроса над данными GeoJSON, размером 500МБ.

Итоги эксперимента:

- Вариант, собранный в GCC из тех же исходных текстов с флагами по умолчанию оказался быстрее бинарного пакета Ubuntu на 2-4%.

- Пересборка в Clang 18 с уровнем оптимизации"-O3", включением оптимизации на этапе связывания ("-flto") и отключением отладочной информации ("-DNDEBUG") привела к ускорению на 20%.

- Пересборка с системой распределения памяти TCMalloc (добавление "-L/usr/lib/x86_64-linux-gnu -ltcmalloc_minimal" в LDFLAGS) привела к ускорению на 40%.

- Замена функций malloc на системы распределения памяти tcmalloc, jemalloc и mimalloc через "LD_PRELOAD=/usr/lib/x86_64-linux-gnu/lib....so" привела к увеличению производительности на 27%, 29% и 44%. При запуске с mimalloc, показавшем ускорение на 44%, выставлялась переменная окружения "MIMALLOC_LARGE_OS_PAGES=1".

- Пересборка пакета с mimalloc в LDFLAGS вместо связывания через LD_PRELOAD привела к ускорению прохождения теста на 90%. Другой тест по обработке 2.2GB JSON-данных в 13000 файлах также показал прирост производительности примерно в два раза.

Производительность Ubuntu-пакета jq удалось увеличить в 1.9 раза путём пересборки
https://www.opennet.ru/opennews/art.shtml?num=62912

Оригинальный пост
Make Ubuntu packages 90% faster by rebuilding them
https://gist.github.com/jwbee/7e8b27e298de8bbbf8abfa4c232db097

Открытка @itpgchannel и его приключениям с malloc 🌝