DeepWiki — нейросетевой инструмент, который генерирует подробную документацию на основе GitHub-репозиториев. Для доступа достаточно заменить github.com в адресной строке на deepwiki.com

#сервисы@daniilak

А вот документация к проекту impruver для обучения нейрсетей: https://deepwiki.com/EvilFreelancer/impruver

Вчера погрузился с головой в документацию по спецификациям MCP, попробовал написать свою версию сервера, но там настолько всё криво задизайнено, что оказалось проще взять готовый фреймворк fastmcp и реализовать базовую логику на нём.

Но самое сложное было не в этом, а в попытке интегрировать получившийся сервер с Coursor, раза с десятого увидел зелёный статус и свой тестовый тул.

Пока разбирался поизучал исходники и доку по fastmcp, там помимо тулов есть ещё немало любопытных фичей навроде промтов и ресурсов, в общем как появляться свободное время сделаю простенький MCP со всеми моими NLP-тулами что я делал ранее.

Скоро опубликую кое-что интересное.

🇷🇺 FRIDA теперь в GGUF и Ollama

Модель FRIDA от SberDevices - это мощный эмбеддер на базе T5, обученный для универсального представления текста в задачах вроде парафразирования, классификации и поиска.

Однако, из-за того что её токенизатор - Roberta, а веса - T5Encoder её было затруднительно конвертировать в GGUF, но мне таки удалось это сделать.

Поэтому теперь FRIDA доступна:
- на Hugging Face в формате GGUF
- в Ollama для локального инференса

Подробнее о самой модели можно почитать в публикации "Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка" на Хабр и в посте на Телеграм-канале Александра Абрамова (@dealerAI).

Качаем так:

ollama pull evilfreelancer/FRIDA

Пример запроса к Ollama:

curl http://localhost:11434/api/embed -d '{
  "model": "evilfreelancer/FRIDA",
  "input": "search_query: Где находится НИИ ЧАВО?"
}'

Обратите внимание: на данный момент в Ollama (v0.7.0) возможны баги при обработке некоторых строк (например, длинные русские тексты с query/document), но с llama-embedding модель работает стабильно.

PS. Подробную инструкцию о том как выполнять конвертацию выложу отдельно.

Исследование Status Page проектов

Давно хотел создать себе страницу со статусом доступности моих публичных ИИ проектов, хотелось сделать простую мониторилку сервисов, как у больших компаний, например у DeepSeek или Mistral, или OpenAI.

Можно было бы взять облачный сервис, но я хотел чтобы это было что-то маленькое и чтобы можно было это всё локально запустить, поэтому пошёл шерстить GitHub.

Пересмотрел где-то с десяток решений и больше всего мне приглянулся проект aPulse, в нём было всё необходимое и ничего лишнего: простая страница отображения статуса, отдельный скрипт, который этот самый статус проверял, простая конфигурация в виде config.js и, самое для меня главное, он умеет отправлять уведомления в телеграм, если какой-то сервис перестал быть доступен.

Однако, в данном проекте не обошлось без "фатальных недостатков": например, он не заточен под Docker и нельзя было отключить ссылки на проверяемые эндпоинты. Всё это я добавил в своём форке и отправил PR в оригинальный репозиторий.

Вот страничка, на которой отображаются статусы моих сервисов: https://status.rpa.icu/

P.S. Кстати, есть репозиторий awesome-status-pages с подборкой таких проектов.

Пару дней гонял тесты FRIDA GGUF через бенчмарк encodechka, поскольку там нет реализации под llama.cpp пришлось изобрести свою реализацию юпитер-блокнота с тестами.

По итогу получилось, что конвертированные в GGUF модели показывают в среднем результаты хуже чем оригинальная модель.

Занятно, что особой разницы между версиями f32 и q8_0 почти нет, ну кроме того что q8_0 работает в 2 раза быстрее f32.

Далее, оказалось, что llama.cpp не может запускать без ошибок t5 модели на CUDA, поэтому тестирование проводилось исключительно на процессоре.

UPD. Кстати, в llama.cpp в режиме llama-server нельзя вернуть пачку эмбеддингов под каждый запрос чтобы потом выполнить пулинг, поэтому возможно цифры хуже из-за того что я запускал два инстанса llama-server с активным пулингом на стороне сервера, первый с cls второй с mean.

Классификация изображений.

По одному проекту понадобился простенький классификатор одежды, поискав некоторое время набрёл на небольшой проект под названием bentoml/CLIP-API-service, однако, у данного проекта оказался один фатальный недостаток, в поставке не было Dockerfile.

Поэтому пришлось собрать его самостоятельно, по итогу у меня получился EvilFreelancer/docker-clip-api - небольшой и универсальный API сервер для запуска любых моделей семейства CLIP в формате Docker-контейнера.