🤯PrivateGPT🔓

Готовый к использованию AI проект, предоставляющий частную, безопасную, настраиваемую и простую в использовании среду разработки GenAI. Использует большие языковые модели (LLMs), даже без подключения к Интернету. Обеспечивает 100% конфиденциальность, так как никакие данные не покидают среду выполнения.

🧩 Архитектура
PrivateGPT — это API, которое оборачивает RAG-пайплайн и предоставляет доступ к его примитивам.
🔺API построено на FastAPI и следует схеме API OpenAI.
🔺В основе RAG-пайплайна лежит LlamaIndex.

Архитектура PrivateGPT спроектирована так, чтобы легко расширять и адаптировать как само API, так и реализацию RAG.

Основные принципы архитектуры:
🔺Гибкость: используется процесс внедрения зависимостей, что позволяет разделять компоненты и уровни.
🔺Модульность: применяются абстракции LlamaIndex (LLM, BaseEmbedding, VectorStore), поэтому можно быстро менять конкретные реализации.
🔺Простота: минимум дополнительных слоёв и абстракций.
🔺Готовность к работе: из коробки доступна полноценная реализация API и RAG-пайплайна.

💻 Установка
Клонируйте репозиторий и перейдите в него:

git clone https://github.com/zylon-ai/private-gpt
cd private-gpt

Установите и настройте Python 3.11 с помощью pyenv:

pyenv install 3.11
pyenv local 3.11

Установите Poetry для управления зависимостями:

curl -sSL https://install.python-poetry.org | python3 -

PrivateGPT позволяет настраивать систему, от полностью локальной до облачной, выбирая используемые модули. Чтобы установить только необходимые зависимости можно использовать различные extras, которые можно комбинировать в процессе установки:

poetry install --extras "<extra1> <extra2>..."

Где <extra> может быть любым из следующих вариантов, описанных в документации.

👤 Использование профилей
PrivateGPT настраивается с помощью профилей, которые определяются с помощью YAML-файлов и выбираются с помощью переменных среды. Полный список настраиваемых свойств можно найти в settings.yaml.
Существующие профили можно использовать, установив для переменной среды PGPT_PROFILES определенное значение имени профиля:

export PGPT_PROFILES=my_profile_name_here

Strix

⏺️ Strix — это open-source инструмент на базе ИИ для автоматизированного пентеста, который имитирует действия реального хакера.

🧾 Он использует большие языковые модели (LLM), такие как от OpenAI или Anthropic, для планирования, выполнения инструментов (Nmap, SQLMap и др.), анализа результатов и итераций. Агенты Strix работают автономно или в командах, сотрудничая через графовую модель для разведки, сканирования уязвимостей и создания PoC-эксплойтов. Поддерживает Docker, CLI-режим, headless-тестирование и интеграцию с CI/CD.

✉️ Главное преимущество в отчетах: Strix генерирует детальные отчеты (Markdown/JSON/SARIF) с доказательствами, рекомендациями по фиксу и приоритетами для быстрого устранения.

Установка и использование:

🎇 Клонируйте репозиторий с GitHub

✉️ clone https://github.com/usestrix/strix.git

☁️ Настройте .env с API-ключами LLM и запустите через Docker или CLI

 strix --target https://your-app.com

🪧 Для аутентифицированного теста

strix --target https://your-app.com --instruction "Perform authenticated testing using credentials: user:pass"

#strix #pentest #llm #auto

➡️ Все наши каналы 💬Все наши чаты ⚡️ Для связи с менеджером

🧠 Prompt Fuzzer — интерактивный fuzzer для защиты системного промпта GenAI‑приложений

Prompt Fuzzer — это open source‑утилита для динамического тестирования системного промпта на устойчивость к jailbreak‑атакам, prompt‑инъекциям и попыткам вытянуть системные данные

💻 Что умеет Prompt Fuzzer
🔔 Моделирует реальные атаки на промпт: jailbreak (DAN, AIM, harmful behavior, amnesia, linguistic evasion и др.), prompt injection (authoritative role, typoglycemia и др.) и системный prompt extraction
🔔 Динамически адаптирует тесты под домен и конфигурацию конкретного приложения, чтобы проверки были ближе к боевым сценариям использования.
🔔 Выдаёт оценку безопасности промпта по каждой атаке: broken (сломали защиту), resilient (выдержал), errors (неоднозначный результат), помогая понять, где именно промпт уязвим.

⬇️ Установка и запуск
👉 Установка через pip:

pip install prompt-security-fuzzer

👉 Затем задать ключ LLM‑провайдера (по умолчанию OPENAI_API_KEY):

export OPENAI_API_KEY=sk-123XXXXXXXXXXXX
prompt-security-fuzzer

👉 Переменные окружения
- Можно использовать .env рядом с утилитой, либо экспортировать ключи напрямую.
- Поддерживаются 16+ провайдеров: OpenAI, Anthropic, Azure OpenAI, Cohere, Google PaLM, YandexGPT, Baichuan, Jina, PromptLayer и др. через свои ENV‑ключи (ANTHROPIC_API_KEY, GOOGLE_API_KEY, YC_API_KEY и т.п.).

🧾 Режимы работы и CLI
⏺️ Интерктивный режим (по умолчанию):
1) Запускаете prompt-security-fuzzer,
2) Вставляете системный промпт,
3) Запускаете серию атак и потом дорабатываете промпт в встроенном Playground‑чате.

⏺️ Batch‑режим для CI/CD и автопроверок:
➡️ Прогнать тесты по готовому файлу с системным промптом:

prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt

➡️ Подключить кастомный бенчмарк атак:

prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
  --custom-benchmark=ps_fuzz/attack_data/custom_benchmark1.csv

➡️ Запустить только подмножество тестов:

prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
  --custom-benchmark=ps_fuzz/attack_data/custom_benchmark1.csv \
  --tests='["ucar","amnesia"]'

#security #ai #llm #tool

🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером