Борис опять
15.1K subscribers
1.44K photos
72 videos
30 files
1.48K links
life = curiosity + irreducible noise

Whois: https://xn--r1a.website/boris_again/3400

Лс: @btseytlin
Download Telegram
Forwarded from epsilon correct
Gemma 3 270M

Выпустили крохотулю размером в 270М параметров – почти как старый добрый берт. Очень дёшево запускается на телефонах, следует инструкциям, может выполнять простые задачи. Quantized-aware training в 4 бита.

Можно поиграться в браузере с созданием сказок языковой моделью прямо в браузере.
🔥427
159😢193
Недавно уже писал об исследовании DevCrowd, в котором мой канал занял 5 место среди топовых ТГ-каналов, которые регулярно читают дата-специалисты. Решил покопаться и посмотреть, что там ещё интересного на рынке происходит.

Что с рынком работодателей? Если в прошлом году DS выбирали Яндекс (57,9%), Т-банк (45%) и Сбер (40%), то в этом — в топ ворвалась технологическая платформа Авито. Топ этого года: Яндекс, Авито, Т-Банк.

Помните Авито не так давно объявляли планы инвестиций в ИИ на 3 года которые превышают 12 млрд рублей? Видимо это работает.

Еще из занимательного:

— Только 40% data-специалистов не планируют в ближайшее время менять работу.
— 27% специалистов применяют в работе внутренние LLM. Это меньше чем ChatGPT и Deepseek, но больше чем Gemini! Неожиданно высокий показатель.
— Внезапно Pytorch чаще используют для построения моделей, чем Scikit-Learn. Неужели происходит адопшн DL?
— Python и Jupyter — безоговорочные лидеры среди тулов для анализа данных. Популярнее SQL!
— При этом SQL и владение бд на первом месте в рейтинге самых важных навыков. Важнее чем исследовательское мышление и коммуникация.
— В инфраструктуре лидируют PostgreSQL, Airflow и Clickhouse.
— 79.6% хотят повышение зарплаты — денежная мотивация сильно выросла относительно прошлого года, запрос на повышение зарплаты стал более приоритетным.
— Запросы на интересные задачи и сильное комьюнити остаются на втором и третьем месте.
👍3110👎64
​​Is AI writing any good?

Есть такой писатель фэнтези, Mark Lawrence. Он довольно популярен и время от времени организует различные активности.

2 года назад он организовал эксперимент с попыткой сравнить качество написания текстов реальными авторами и AI.

Идеально было бы организовать написание длинных текстов, но их сложнее сравнивать, и людям может быть лень их читать, поэтому ограничились текстами в ~350 слов. 4 автора и ChatGPT 4, потом количество текстов стало 10. Промпт был "write a piece of fiction based on meeting a dragon", при этом для ChatGPT дали дополнительные инструкции.

Потом это дали почитать желающим и попросили проголосовать в двух опросах: отранжировать тексты в порядке предпочтения и попробовать угадать написан текст AI или нет.

Результат: в большинстве случаев (кроме двух) люди правильно угадали был ли автором AI (но лишь с небольшим перевесом), топ-2 и топ-3 по предпочтениям заняли тексты написанные AI (причём люди ошибочно считали, что топ-2 текст написан человеком). Результаты получились не особо радостные для авторов - топ два места из трёх у AI, в большинстве случаев люди не смогли чётко отличить AI от человека.

И вот недавно был проведён второй раунд. Результаты и тексты. В написании текстов принимало участие 4 автора с общим тиражом проданных книг около 15 млн. Со стороны AI участвовал GPT-5 (не уточнено какая версия). Опять тексты по 350 слов.

Для чистоты эксперимента предлагаю вам самим вначале прочитать тексты и проголосовать :)

Какие же итоги? 964 голоса. Люди угадали правильно авторство трёх историй (1 AI, 2 автора), неправильно тоже три (2 AI, 1 автор) и два раза была ничья (1 AI, 1 автор). Получается по факту рандомное угадывание.

Но ещё печальнее то, что средняя оценка сгенеренных историй выше, чем написанных людьми. И топ-1 место по предпочтениям - AI.

Организатор опроса с печалью признаёт, что AI выиграл этот раунд.

> Should AI generate fiction, imagery, voices etc competing with artists in a number of fields and fooling the public. No, of course not. I hate that idea and most people do too.

> Will it happen? It's already happening. Wherever anyone can circumvent skill and heart and just profiteer off a new technology, they're going to do it. People threaten people with knives in the street for a few dollars - are people going to try to sell you AI books ... of course.

> It's a huge shock to me that fiction which, in this test, scores higher than great authors who write wonderful stories full of soul and heart and wit and intelligence, can be generated by the multiplication of a relatively small number of not particularly large matrices. On the face of it it undercuts so many things we value about being human.

В настоящий момент AI не может писать хорошие, последовательные истории большого размера, но прогресс не стоит на месте. И повторю, что промтп для написания историй был очень простой - если потратить больше времени на написание промта, результат будет ещё лучше.

Обсуждение на reddit и ycombinator.
👍24🤔93🔥1
Forwarded from PRACTICAL AI Broadcast
Пятый митап из серии Practical AI: Expert Talks.

Борис Цейтлин

Тема: Автоматизация бизнес-процессов с AI и где она наиболее
эффективна.

🟡 Для кого
Для руководителей и предпринимателей, которые хотят понять, какие бизнес-процессы можно реально улучшить с помощью искусственного интеллекта.
🧠Бонус: как найти для этого правильных специалистов - разработчиков.

🔍 Разбираем:
Все говорят про ИИ, но мало кто может показать конкретные кейсы из крупного бизнеса. Как ИИ помогает не "в теории", а на практике

На митапе Борис поделится опытом "с полей":
— Личный опыт масштабирования процесса с помощью ИИ.
— Как понять куда стоит вставлять ИИ, а куда нет смысла.
— Как нанимать AI-специалистов: роли на рынке и о чем спрашивать кандидатов.

🎙 Спикер:
Борис Цейтлин — ведущий инженер по машинному обучению (ex-eBay, ex-Yandex).
Уникальный специалист, который понимает и техническую "кухню", и то, как она должна работать на цели бизнеса.
Объяснит сложные вещи простым и понятным языком.

🗓 Дата и время: 21 августа,
11:00 GMT -3 (Буэнос-Айрес)
15:00 GMT +1 (Порту)
17:00 GMT+3 (Мск)

📍 Место: Онлайн, в Zoom.
Участие бесплатное. Запись будет.
➡️ Зарегистрироваться: https://forms.gle/iskDr9WWEAHk2wE39
15🔥10👍2👎1
Когда отвечаешь на собеседовании 🤪
Please open Telegram to view this post
VIEW IN TELEGRAM
675🤔3
Нет, Perplexity, НЕ ТАК. BRUH

Причем дать мне поисковую выдачу по запросу "qr code generator" он отказывается, говорит присылай ссылку и я сделаю
85🔥2😢21
Начинаем!
Всем спасибо! Пришло аж 60 человек и вопросы были классные. Позже будет запись и презентация.

Спасибо Дане и Practical AI за организацию!
35👍18🔥11
Pro tip: поставь в зуме имя "AI notetaker" и можешь молча присутствовать на любых встречах
179👍19🔥118
Media is too big
VIEW IN TELEGRAM
# Anything2JSON

Можно наконец рассказать про пет-проект, которым я сейчас занимаюсь: any2json. Потому что у меня наконец что-то успешно обучилось.

Идея такая: маленькая LM которая принимает на вход произвольные структурированные (toml, yml, xml, html, ...) данные и конвертирует их в JSON согласно заданной схеме.

То есть быстрый и универсальный конвертер для случаев, когда у вас есть много каким-то образом структурированных данных, но вам нужно свести их к нужному формату.

На видео демо (важно: без structured outputs): результат первого успешного трейнинг рана SmolLM2-135M. Как видите моделька может выдать валидный JSON и даже адаптироваться к небольшим изменениям входа и схемы.

Она пока что глупая и делает слишком много ошибок, но это не страшно. Основной каркас создан: data engine для датасета и скрипты для тренировки на коллабе и runpod. Теперь улучшение это вопрос итераций. Надеюсь обойдемся без RL, но посмотрим.

Буду вам потихоньку рассказывать про этот проект
🔥95👍41139👎5
Во-первых: зачем?

Потому что я могу.

В eBay я позанимался тем, что делал бенчмарки и SFT датасет для мультимодальных inhouse LLM. Мне очень понравилась придумывать как из имеющихся данных сделать клевые инструкции. Показалось, будто у меня есть некоторая интуиция как добывать и делать хорошие данные.

Поэтому оказавшись на свободе мне захотелось сделать что-то своё в этой области, заодно изучить как можно больше. Придумал сделать какой-то полезный тюн, который будет включать все этапы:
1. Собрать данные
2. Построить data engine, генерить синтетику
3. Провести эксперименты и обучить модели
4. Заплатить за компьют 😱😱😱😱
5. Задеплоить
6. Бенчмаркать

Почему именно конвертация в JSON:
1. Конверсия из одного формата в другой – самая LLM-ная задача на свете. Маловероятно, что не заработает.
2. Задача не требует много мозгов, надо только понимать синтаксис. Значит можно обойтись маленькой моделью, может быть до 1b. Я же не миллиардер гонять экспы для 8b.
3. Задача верифицируется. Для любой схемы и JSON можно проверить подходит ли этот JSON к схеме. Значит будет легко доставать и генерировать данные.
4. Просто бенчмаркать.
5. Это может кому-то пригодиться! Бекендеры только и делают, что перекладывают JSON. Есть надежды, если получится, продавать это как сервис по API. Но главная цель просто фан и поучиться.

В общем хочется сделать универсально, но при этом очень быстро.

Чувствую себя каким-то живым мемом. Устал перекладывать JSON и получать за этой деньги, вырвался из найма, чтобы спокойно перекладывать JSON за свой счет. Это как если бы дальнобойщик в отпуске возил кирпичи по кругу на своем маленьком грузовичке, чисто для души

В какой-то момент обнаружил, что прокрастинирую написание книги дебажа трейнинг раны этого пет-проекта 🙂👀
Please open Telegram to view this post
VIEW IN TELEGRAM
9239🔥12👍11👎3
https://www.strangeloopcanon.com/p/walter

Хороший пост про (достаточно успешные) попытки научить LLM делать хорошие твиты с помощью RL. Казалось бы нет задачи проще, но насколько же это не так.

В основном про невероятную способность моделей хакать любой ревард.

Причём блог пост не про технические детали, а скорее про личный опыт. Для деталей есть статья про метод авторов.
153👎1
Вчера прошлись с другом по Лиссабону и заглянули в иммигрантский квартал (Martim Moniz). Неожиданно нашли себе истинно европейское развлечение: смотреть как дерутся на ножах люди беднее тебя.

Для дополнительного колорита прям на той же площади проходило какое-то индийское празднование человек эдак на двести, возможно свадьба
122🤔16😢12👎51👍1
Forwarded from Den4ik Research
Наш русскоязычный датасет для TTS опубликован!

Сегодня выкладываем открытые корпуса на 4000+ часов речи, а еще синтезатор речи ESpeech-TTS-1

Наш датасет содержит больше 4000 часов русской речи. Статистика по корпусам:

Многоголосые:
ESpeech-podcasts - 3200 часов
ESpeech-webinars - 850 часов

Одноголосые:
ESpeech-igm - 220 часов
ESpeech-buldjat - 54 часа
ESpeech-upvote - 296 часов
ESpeech-tuchniyzhab - 306 часов

Данные лежат вот тут: https://huggingface.co/ESpeech

Техрепорт датасета доступен тут: https://github.com/Den4ikAI/ESpeech/blob/main/ESpeech_techreport.pdf


Также, мы решили провести некоторые эксперименты с TTS. Получилось обучить F5-TTS на 10000 часов речи и сделать одну из лучших по нашим замерам моделей в опенсурсе для русского языка.

Какие модели доступны?
ESpeech-TTS-1 [RL] V1 - Первая версия модели с RL
ESpeech-TTS-1 [RL] V2 - Вторая версия модели с RL
ESpeech-TTS-1 PODCASTER [SFT] - Модель обученная только на подкастах, лучше генерирует спонтанную речь
ESpeech-TTS-1 [SFT] 95K - чекпоинт с 95000 шагов (на нем основана RL V1)
ESpeech-TTS-1 [SFT] 265K - чекпоинт с 265000 шагов (на нем основана RL V2)

Лайкайте модель которая больше понравится чтобы мы понимали есть ли смысл запускать RL.

Послушать модели без скачивания можно вот здесь:

https://huggingface.co/spaces/Den4ikAI/ESpeech-TTS

Совместно с @speech_recognition_ru ещё сделали лидерборд русского ТТС, где можно глянуть метрики:

https://huggingface.co/spaces/ESpeech/open_tts_leaderboard_ru
Задать вопросы по поводу данных и модели можно в наших телеграм каналах:
https://xn--r1a.website/den4ikresearch
https://xn--r1a.website/voice_stuff_chat

Вы можете мне задонатить, чтобы у меня были ресурсы делать более крутые модели и датасеты:

USDT (TRC20): TEpEM4VVmGmqKHn4Xz1FxM7qZiXjWtUEUB
BTC: bc1qw5lq7fc455e47hggax6zp8txw4ru7yvsxvawv3
https://www.tbank.ru/cf/7WKnNMqWtOx
🔥28👍544
Мучаю comet browser на самом полезном юзкейсе: принимать инвайты в линкдине с учетом расизма.

Так не работает: accept all invites except from indian people
62🤔4🔥2
Так работает: accept all invites except from people with indian-sounding names
79🔥4