LLaMA-Factory - це універсальний інструмент для ефективного дотренування понад 100 великих мовних та мультимодальних моделей. Підтримує різноманітні моделі (LLaMA, Mistral, Qwen, ChatGLM та інші), методи навчання (LoRA, QLoRA, повне дотренування) та завдання (діалоги, використання інструментів, розуміння зображень). Має зручний веб-інтерфейс та CLI для навчання. Дозволяє легко налаштовувати моделі під конкретні завдання без написання коду.

#Python

@sourcefuture

GitHub - Glimesh/broadcast-box: A broadcast, in a box.
https://github.com/Glimesh/broadcast-box?tab=readme-ov-file#what-is-broadcast-box

latitude-llm - Відкрита платформа для розробки, оцінки та вдосконалення промптів з використанням ШІ. Latitude дозволяє командам створювати, тестувати та підтримувати надійні ШІ-додатки, надаючи повну систему управління життєвим циклом промптів. Особливості включають: менеджер промптів, інтерактивний плейграунд, розгортання промптів як API-ендпоінтів, автоматичне логування, оцінку продуктивності та інтеграцію з існуючим стеком через SDK та API.

#TypeScript, #Python

@sourcefuture

Когда-то давно я нахваливал Streamlit, в свое время наделал на нем пару десятков приложений, и пересадил на него кучу коллег. Но настало время двигаться дальше, и потому сегодня хочу порекомендовать читателям NiceGUI.

Вкатиться в NiceGUI немного сложнее, чем в Streamlit: невозможно просто прокатиться мордой по клавиатуре и получить работающее приложение. Но если повозиться чуть больше, то результат получается сильно более зрелым:
- настоящие отдельные фронтенд (Vue/Quasar + Tailwind) и бэкенд (Fastapi), в которые можно провалиться для доработки (а можно и не вникать и оставаться в высокоуровневом python коде);
- вебсокеты вместо перезапуска всего приложения на каждый чих;
- нормальная поддержка нескольких параллельных пользователей благодаря нескольким гранулярным видам хранения стейта вместо одного st.session_state;
- к этому можно писать тесты!

Вайбкодить на NiceGUI сложнее, чем на стримлите, но мы над этим работаем 👀

Этот пост не имеет никакого отношения к тому, что Streamlit уже давно часть Snowflake, а я сейчас работаю в Databricks.

Находки в опенсорсе: pyrefly

https://youtube.com/watch?v=7TdxFGB6LKY

Еще одно видео про еще один новый тайпчекер для питона на расте!
Много их нынче стало.

В видео:
- Обсуждаем первую версию: pyre-check, обсудили taint analysis
- Сравниваем pyrefly с ty и mypy
- Смотрим на внутреннее устройство
- Применяем на реальном проекте

Ключевые ссылки из выпуска:
– Доклад о pyrefly на PyCon: https://youtu.be/ZTSZ1OCUaeQ?si=s_DPOOzsdeTk5Uqo
– pyrefly vs ty: https://blog.edward-li.com/tech/comparing-pyrefly-vs-ty (сильно советую!)

Вывод: пока очень сырой, много багов, но быстрый. Ключевой вывод: отлично, что есть конкуренция

"Objects implement methods and properties on-the-fly using LLM reasoning"

https://github.com/awwaiid/gremllm

leaked-system-prompts - репозиторій, який містить колекцію витоків системних промптів від широко використовуваних сервісів на основі LLM. Тут ви знайдете системні промпти від таких гігантів як OpenAI ChatGPT, Google Gemini, Anthropic Claude, Microsoft Copilot та багатьох інших. Це чудовий ресурс для розробників та дослідників, які цікавляться внутрішньою роботою популярних AI-асистентів та хочуть краще зрозуміти, як вони налаштовані.

#AI, #LLM

@sourcefuture

Chainguard запилили инструмент под себя, что бы пользователь в своих образах быстрее мог мигрировать на их базовые

(d)ocker(f)ile (c)onverter: CLI to convert Dockerfiles to use Chainguard Images and APKs inFROM and RUN lines etc.
https://github.com/chainguard-dev/dfc
https://edu.chainguard.dev/chainguard/migration/dockerfile-conversion/

В целом задачи и цели инструмента понятны: у вас есть пачка Dockerfile, вы с помощью этой тулы можете легко перекатиться на реджистри и образы Chainguard

cat <<DOCKERFILE | dfc -
FROM node
RUN apt-get update && apt-get install -y nano
DOCKERFILE

FROM cgr.dev/ORG/node:latest-dev
USER root
RUN apk add --no-cache nano

Но это не так интересно среднестатестическому "пользователю". А вот что может быть полезно, так это то что замены можно кастомизировать под свои нужды

- Через опцию реджистри

$ dfc --registry="r.example.com/mirror" ./Dockerfile

FROM r.example.com/mirror/<image>

- Через маппинг значений в конфигурационном файле (дефолтный тут для примера - https://github.com/chainguard-dev/dfc/blob/main/pkg/dfc/builtin-mappings.yaml)

$ dfc --mappings="./custom-mappings.yaml" ./Dockerfile

Например юзкейс, как я думаю, во время массового перетаскивания базовых образов снаружи внутрь или внутри между реджистри

Что поддерживается и как работает "из коробки"

FROM line modifications

For each FROM line in the Dockerfile, dfc attempts to replace the base image with an equivalent Chainguard Image.

RUN line modifications

For each RUN line in the Dockerfile, dfc attempts to detect the use of a known package manager (e.g. apt-get / yum / apk), extract the names of any packages being installed, try to map them via the package mappings in mappings.yaml, and replacing the old install with apk add --no-cache <packages>.

USER line modifications

If dfc has detected the use of a package manager and ended up converting a RUN line, then USER root will be appended under the last FROM line.

In the future we plan to handle this more elegantly, but this is the current state.

ARG line modifications

For each ARG line in the Dockerfile, dfc checks if the ARG is used as a base image in a subsequent FROM line. If it is, and the ARG has a default value that appears to be a base image, then dfc will modify the default value to use a Chainguard Image instead.

Эту балалайку так же можно использовать как Go-шный модуль
https://github.com/chainguard-dev/dfc#using-from-go