379K subscribers
4.37K photos
833 videos
17 files
4.85K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
Media is too big
VIEW IN TELEGRAM
⚡️ Андрей Карпаты о том, что делает стиль работы Илона Маска уникальным

Карпаты, руководивший командой компьютерного зрения Tesla Autopilot, объясняет, почему Маск — особенный лидер.

1️⃣ Маленькие, сильные, технические команды
— В обычных компаниях команды разрастаются, но Илон всегда выступает против этого.
— Наём новых людей нужно буквально «выбивать».
— Низкоэффективных сотрудников он быстро убирает.
— Никакого «среднего менеджмента» без технического бэкграунда.

2️⃣ Офис как место драйва
— Ненавидит стагнацию и большие бесполезные митинги.
— Поощряет уходить со встреч, если ты не учишься и не вносишь вклад.
— Культура: меньше «комфорта», больше фокуса на интенсивной инженерной работе.

3️⃣ Прямой контакт с инженерами
— Обычно до CEO не добраться напрямую — сотрудники общаются через несколько уровней начальников и вице-президентов.
— Маск же много времени разговаривает напрямую с инженерами.
— Источник истины — код и инженеры, а не менеджеры.

4️⃣Лично решает сложные вопросы
— Если инженеры говорят: «Не хватает GPU», он сразу звонит ответственному за кластеры.
— Если виновата NVIDIA — звонит напрямую Дженсену Хуану.

🟠 Карпаты: «Многие недооценивают, насколько Илон вовлечён в повседневные операции. Он постоянно устраняет узкие места и держит руку на пульсе».

🟢 Урок: маленькие сильные команды, прогрессивная инженерная культура и CEO, который лично решает критические проблемы.

@ai_machinelearning_big_data

#Karpathy #elonmusk
Please open Telegram to view this post
VIEW IN TELEGRAM
126🔥60👍41🗿11😭4😁3🤔3🐳3
🔥 Nanochat D32 : микромодель Карпаты за $1000, которая реально работает

Карпаты написал, что завершил обучение Nanochat D32, обученной за 33 часа при бюджете $1000 (вместо $100).

Результаты - удивительно хорошие для такой «крошки»:

- 📈 CORE score: 0.31 (выше, чем у GPT-2 — ~0.26)
- 🧮 GSM8K: с 8% до 20%
- 🚀 Рост виден на всех этапах - pretraining, SFT и RL

Карпати пишет:
> «Не ждите от микромоделей чудес. Они обходятся $100–$1000, а не миллиарды долларов, как у крупных лабораторий.
> Разговаривать с моделью - как с ребёнком из детсада: они милые, ошибаются, путаются, галлюцинируют, но это весело.»


💡 Факты:
- Nanochat тренируется с нуля
- Самая маленькая модель Nanochat содержит примерно в тысячу раз меньше параметров, чем GPT-3.
- Обнолвенный скрипт run1000.sh уже доступен в репозитории

📎 Подробности и отчёт:
https://github.com/karpathy/nanochat/discussions/8

Карпати уже тестирует веб-чат с моделью (ссылку не публикует, чтобы не обвалили сервер).

Дальше -оптимизация и возможно, переход к следующему уровню масштабирования.

#AI #LLM #Nanochat #Karpathy #AIresearch #OpenSourceAI
🔥8224👍13😁2👌1👻1💘1
🧠 Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, сравнив её «мозг» с мозгом пчелы.

Он обучил модель считать, сколько раз буква r встречается в слове strawberry, и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.

Сначала генерируются диалоги:

«Сколько букв r в слове strawberry?»

и правильные ответы.

После этого модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.

Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.

Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче понимает задачу.

Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово;
— через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.

Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.

📘 Разбор: github.com/karpathy/nanochat/discussions/164

@ai_machinelearning_big_data

#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
97👍56🔥19🤗3💘3🗿1
🌟 Reader3: легковесная читалка для книг от Andrej Karpathy

Андрей Карпаты опубликовал у себя в Github небольшой проект - утилиту под названием reader3.

На первый взгляд, это просто легковесная читалка для электронных книг в формате EPUB, которую можно запустить у себя на компьютере. Но главная идея в том, чтобы читать книги вместе с LLM.

Reader3 разбивает книгу по главам, и пользователь может легко скопировать текст текущей главы и вставить его в свой любимый LLM, чтобы обсуждать сюжет, анализировать стиль или задавать вопросы по тексту.

Но самое интересное здесь — это философия, которая стоит за проектом. Карпаты пишет, что проект написан "на 90% вайбкодингом", просто для иллюстрации идеи и что он не собирается его поддерживать или улучшать.

Я начинаю привыкать читать все (блоги, статьи, главы книг и т. д.) с помощью LLM. Обычно первый проход — ручной, второй — «объяснение/резюме», третий — вопросы и ответы.

В результате я обычно получаю более глубокое понимание, чем если бы я просто прошел дальше. Этот процесс становится у меня одним из самых популярных вариантов чтения.


А вместо этого предлагает пользователям... просто попросить свою языковую модель изменить код так, как им нравится.

Код теперь эфемерный,

— пишет Андрей, намекая на то, что эпоха статичных библиотек и долгой поддержки уходит в прошлое.

Для тех, кто хочет попробовать, процесс максимально прост. Нужно скачать книгу в формате EPUB и запустить пару команд в терминале, используя uv:

uv run reader3.py yourbook.epub

# Then run the server:

uv run server.py


После этого ваша книжная полка станет доступна в браузере по адресу localhost:8123.


📌Лицензирование: MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Karpathy #Github #Book
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6331🔥19🤔9🥱5😁3❤‍🔥2🥰2🤣2🤷1