Forwarded from Machinelearning
Мощный фреймворк Python для создания синтетических данных для AI и не только для этого
Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.
Позволяет легко синтезировать и оценивать данные с помощью встроенных инструментов. Отлчиный инструмент для улучшении данных и обучении моделей.
Процесс прост:
- Вводим запрос.
- Два LLM генерируют ответы
- LLM-судья оценивает полученные ответы
- Лучший ответ сопоставляется с изначальным вопросов.
И что самое интересное? Все это с открытым исходным кодом. Лицензия позволяет использовать результаты модели для улучшения других моделей.
▪ GitHub
▪ Доки
@ai_machinelearning_big_data
#Distilabel #python #ai #openai #python #ai #syntheticdata #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11👍3
✔️ OpenAI хантит таланты через конкурс Parameter Golf.
Компания открыла публичное соревнование для исследователей с крайне жесткими техническими ограничениями. Участникам предстоит создать максимально эффективную языковую модель, при этом размер весов вместе с кодом для обучения не должен превышать 16 МБ. На сам процесс тренировки отводится строго до 10 минут на кластере из восьми видеокарт H100. Эффективность алгоритмов будет оцениваться на сете FineWeb.
Цель челленджа - поиск нестандартно мыслящих инженеров. Авторы лучших проектов получат приглашения на собеседование. Дополнительным стимулом станет призовой фонд в 1 млн. долларов, который распределят в виде грантов на аренду копьюта у провайдера Runpod.
На GitHub уже опубликованы базовые решения (https://github.com/openai/parameter-golf), проверочные скрипты и публичный лидерборд. Принять участие в конкурсе можно до 30 апреля.
https://openai.com/index/parameter-golf/
🐍 Python полезные ресурсы 🚀Max
#news #ai #ml #openai #chatgpt
Компания открыла публичное соревнование для исследователей с крайне жесткими техническими ограничениями. Участникам предстоит создать максимально эффективную языковую модель, при этом размер весов вместе с кодом для обучения не должен превышать 16 МБ. На сам процесс тренировки отводится строго до 10 минут на кластере из восьми видеокарт H100. Эффективность алгоритмов будет оцениваться на сете FineWeb.
Цель челленджа - поиск нестандартно мыслящих инженеров. Авторы лучших проектов получат приглашения на собеседование. Дополнительным стимулом станет призовой фонд в 1 млн. долларов, который распределят в виде грантов на аренду копьюта у провайдера Runpod.
На GitHub уже опубликованы базовые решения (https://github.com/openai/parameter-golf), проверочные скрипты и публичный лидерборд. Принять участие в конкурсе можно до 30 апреля.
https://openai.com/index/parameter-golf/
🐍 Python полезные ресурсы 🚀Max
#news #ai #ml #openai #chatgpt
❤9🔥5👍2