Forwarded from GitHub'ненько
A suite of secret scanners built in Rust for performance. Based on TruffleHog (https://github.com/dxa4481/truffleHog) which is written in Python.Rusty Hog is a secret scanner built in Rust for performance, and based on TruffleHog which is written in Python. Rusty Hog provides the following binaries:
Ankamali Hog: Scans for secrets in a Google doc.
Berkshire Hog: Scans for secrets in an S3 bucket.
Choctaw Hog: Scans for secrets in a Git repository.
Duroc Hog: Scans for secrets in a directory, file, and archive.
Essex Hog: Scans for secrets in a Confluence wiki page.
Gottingen Hog: Scans for secrets in a JIRA issue.
Slack Hog: Scans for secrets in a Slack Channel.
#security #secrets #scan #rust
https://github.com/newrelic/rusty-hog
Forwarded from KazDevOps
Инженеры GitHub провели исследование — зеркалили трафик с прода в отдельное окружение и замеряли
latency обработки операций. Цель — оставаться в рамках SLA и не позволять ресурсам простаивать.Оптимальная утилизация CPU — ~61%.
👉 Читать полное исследование
Остается только настроить
resource management и capacity planning, чтобы достичь этих оптимальных цифр. Что думаете?
@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from KazDevOps
VK Видео
Как регулярно терять ДЦ и не волноваться | Михаил Кабищев | E-community 2023 | СберМаркет Tech
За последние годы команда Ozon построила большую и сложную систему, состоящую из нескольких тысяч сервисов, запущенных на тысячах серверов, распределенных по нескольким дата-центрам (ДЦ). На таком объеме может что-то ломаться: диски, сетевые карточки, сервера…
Предлагаем к просмотру доклад о построении систем, которые выдержат отказ дата-центра.
А здесь поделимся ключевыми выводами из презентации:
Лучше использовать независимые кластеры в каждом дата-центре. Так вы меньше рискуете, а еще так проще управлять инфраструктурой. Без труда переживете инцидент.
Лучше отработать возможные инциденты на учениях, чем разбираться уже во время сбоя. Такие тесты помогут выявить слабые места в вашей инфраструктуре и подготовить команду к потенциальным проблемам.
Если ваша архитектура ещё не застрахована, то самое время внедрить эти решения. Это обезопасит вас от серьезных проблем в будущем.
@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from bin
FastCVE или база Mitre & NVD на личном сервере
Наткнулся на очень крутую штуку с GitHub, которая может быть полезна ресерчерам.
Инструмент буквально скачивает базы CVE, CPE, CWE, CAPEC с Mitre и NIST NVD в PostgreSQL СУБД и поднимает API, по которому вы сможете очень быстро делать любой необходимый поиск.
Установка простая, но добавлю от себя, что перед запуском компоса лучше создать .env файлик в корне репозитория и заполнить его так:
В README в том числе и о NVD_API_KEY нет ни слова, его можно достать бесплатно тут.
Компос сам подтянет .env без необходимости постоянного экспорта.
hashbin.t.me
Наткнулся на очень крутую штуку с GitHub, которая может быть полезна ресерчерам.
Инструмент буквально скачивает базы CVE, CPE, CWE, CAPEC с Mitre и NIST NVD в PostgreSQL СУБД и поднимает API, по которому вы сможете очень быстро делать любой необходимый поиск.
Установка простая, но добавлю от себя, что перед запуском компоса лучше создать .env файлик в корне репозитория и заполнить его так:
INP_ENV_NAME=<пустота>
POSTGRES_PASSWORD=testpostgrepass # опционально
FCDB_USER=admin # опционально
FCDB_PASS=testuserpass # опционально
NVD_API_KEY=<ключ>
В README в том числе и о NVD_API_KEY нет ни слова, его можно достать бесплатно тут.
Компос сам подтянет .env без необходимости постоянного экспорта.
hashbin.t.me
Forwarded from Технологический Болт Генона
Опубликованы результаты оценки влияния на производительность пересборки пакетов для Ubuntu с различными опциями и реализациями функций выделения памяти. Экспериментатору удалось на 90% (в 1.9 раза) повысить производительность пакета jq с инструментарием для обработки данных в формате JSON, путём обычной пересборки из того же пакета с исходным кодом, без внесения изменений в сам код. Производительность оценивалась через измерение времени выполнения типового фильтрующего запроса над данными GeoJSON, размером 500МБ.
Итоги эксперимента:
- Вариант, собранный в GCC из тех же исходных текстов с флагами по умолчанию оказался быстрее бинарного пакета Ubuntu на 2-4%.
- Пересборка в Clang 18 с уровнем оптимизации"-O3", включением оптимизации на этапе связывания ("-flto") и отключением отладочной информации ("-DNDEBUG") привела к ускорению на 20%.
- Пересборка с системой распределения памяти TCMalloc (добавление "-L/usr/lib/x86_64-linux-gnu -ltcmalloc_minimal" в LDFLAGS) привела к ускорению на 40%.
- Замена функций malloc на системы распределения памяти tcmalloc, jemalloc и mimalloc через "LD_PRELOAD=/usr/lib/x86_64-linux-gnu/lib....so" привела к увеличению производительности на 27%, 29% и 44%. При запуске с mimalloc, показавшем ускорение на 44%, выставлялась переменная окружения "MIMALLOC_LARGE_OS_PAGES=1".
- Пересборка пакета с mimalloc в LDFLAGS вместо связывания через LD_PRELOAD привела к ускорению прохождения теста на 90%. Другой тест по обработке 2.2GB JSON-данных в 13000 файлах также показал прирост производительности примерно в два раза.
Производительность Ubuntu-пакета jq удалось увеличить в 1.9 раза путём пересборки
https://www.opennet.ru/opennews/art.shtml?num=62912
Оригинальный пост
Make Ubuntu packages 90% faster by rebuilding them
https://gist.github.com/jwbee/7e8b27e298de8bbbf8abfa4c232db097
Открытка @itpgchannel и его приключениям с malloc 🌝
GitHub - openpubkey/opkssh: opkssh (OpenPubkey SSH)
https://github.com/openpubkey/opkssh
https://github.com/openpubkey/opkssh
GitHub
GitHub - openpubkey/opkssh: opkssh (OpenPubkey SSH)
opkssh (OpenPubkey SSH). Contribute to openpubkey/opkssh development by creating an account on GitHub.
GitHub - fosrl/pangolin: Tunneled Mesh Reverse Proxy Server with Identity and Access Control and Dashboard UI
https://github.com/fosrl/pangolin
https://github.com/fosrl/pangolin
GitHub
GitHub - fosrl/pangolin: Identity-aware VPN and proxy for remote access to anything, anywhere.
Identity-aware VPN and proxy for remote access to anything, anywhere. - fosrl/pangolin
GitHub - harness/harness: Harness Open Source is an end-to-end developer platform with Source Control Management, CI/CD Pipelines, Hosted Developer Environments, and Artifact Registries.
https://github.com/harness/harness
https://github.com/harness/harness
GitHub
GitHub - harness/harness: Harness Open Source is an end-to-end developer platform with Source Control Management, CI/CD Pipelines…
Harness Open Source is an end-to-end developer platform with Source Control Management, CI/CD Pipelines, Hosted Developer Environments, and Artifact Registries. - harness/harness
Forwarded from Aliaksandr Valialkin
Интересная статья о том, почему зачастую лучше использовать single-node решение вместо кластера - https://victoriametrics.com/blog/dont-default-to-microservices-you-will-thank-us-later/
VictoriaMetrics
Don’t default to microservices: You’ll thank us later!
We believe microservices shouldn’t be the default and that companies should start with monoliths until reality actually demands they scale and shift from one node to a cluster of nodes. As a result, we offer clustering on an open source basis because we want…