Андрюша Карпатый снова навалил базы: nanochat miniseries v1 😮

Андрей Карпатый не перестаёт радовать нас годным контентом. Он выкатил жирный апдейт в своём репозитории nanochat - проекте, который учит создавать свой ChatLGBT с полного нуля.

Если раньше мы просто учились запускать пайплайн, чтобы оно работало, то теперь Андрюха погружает нас именно в сам процесс обучения. Главный вопрос апдейта: как тратить вычислительные ресурсы (бабосиксаны) максимально эффективно? 🤔

Разбираем, что там внутри:

1️⃣ Scaling Laws
Для многих новичков подбор параметров модели звучит как что-то непонятное, но Карпатый показывает, что это - строгая и понятная математика. Суть проста: хватит гадать на кофейной гуще, какую архитектуру выбрать и сколько данных скормить. Бро использует законы масштабирования.

Эксперимент: Карпатый запустил серию обучений (miniseries) с фиксированным бюджетом (~$100 на H100) и потратил его по-разному:
🟣 Одни модели были «маленькими», но учились долго (много токенов)
🟡 Другие были «жирными», но учились быстро (мало токенов)

Результат: Все модели стоили одинаково, но одна конкретная конфигурация дала лучшее качество

2️⃣ Предсказуемость - наше всё
Вы не играете в казик, когда запускаете обучение. Вы можете провести дешёвые эксперименты за сотку баксов, найти идеальную формулу, а затем просто увеличить масштаб (вложить $100k или $1M) и гарантированно получить ожидаемый прирост качества. Инженеры OpenAI/Anthropic не тыкают пальцем в небо, они так считает деньги и масштабы 🍗

3️⃣ Сдвиг фокуса на Pretraining
В первой версии nanochat фишкой был «полный цикл» до веб-интерфейса. В miniseries v1 акцент сместился на Pretraining. Запомните: именно здесь закладывается фундамент интеллекта. Если вы обосрались на претрейне, то никакой файн-тюн (SFT/RLHF) это уже не исправит 🍌

Что с этим делать? Если хотите реально понимать, как работают LLM , а не просто импортировать либы:
• Залетайте в обсуждение: github.com/karpathy/nanochat/discussions/420
• Смотрите на графики Loss vs Compute
• Ковыряйте код скрипта miniseries.sh - это эталон того, как нужно организовывать эксперименты

Итог 🏋️
Масштабирование - это сплошная инженерка. Андрюха дал вам песочницу, чтобы освоить её за копейки, прежде чем лезть в серьёзные бюджеты. Поэтому тыкаем это обсуждение с ЛЛМ-кой, чтобы понять его

Из Фронтендера в NLP-Гигачада за месяц: Как мы залутали два оффера по 300к 🐵

Многие дрочат курсы годами, смотрят видосы на ютубе и думают, что оффер свалится с неба. Но на деле получают болт и отказы из-за нерелевантного опыта. Лично мне - это знакомая история 😓

Сегодня расскажу про кейс моего слона Тимура (два оффера на 300к). Он больше года пытался вкатиться в ML из Фронтенда. Ботал теорию всю подряд, смотрел записи чужих собесов, но рынок его тупо игнорил. Резюме было мёртвым: 1-2 приглашения в месяц и постоянные отказы на скринингах из-за фильтров по опыту. Парень просто упёрся в стену и топтался на месте

И тут самое лучшее ментосртво начало уничтожать 💪

Мы созвонились на бесплатной консультации, разобрали его ситуацию, выбрали вектор развития (он выбрал разъебать в NLP), по итогу он залетел на пакет до оффера.

Что мы сделали:
1️⃣ Пересобрали резюме: упаковали опыт так, что HR-ы перестали его фильтровать и начали сами за ним бегать.
2️⃣ Построили чёткий RoadMap до Middle: только база и то, что реально спрашивают на собесах прямо сейчас.
3️⃣ Провели жёсткие мок-интервью: подсветили пробелы в хардах, я дал ему конкретные ресурсы, где быстро докрутить теорию.
4️⃣ Ликвидировали страх собесов: cделали из него уверенного в себе специалиста, который стал сам выбирать из множества офферов

Итог:
🟣 Первая неделя: Конверсия улетела в космос - 10 приглашений на собесы (вместо 1-2 в месяц)
🟡 Третья неделя: Тимур уже спокойно щёлкал технические собесы как орешки.
🟢 Четвёртая неделя: ТИМУР ЗАСЕЯЛ, ДВА ОФФЕРА В NLP/ML ПО 300к 💸

Вот так работает системный подход: пока одни плаки-плаки, что рынок перегрет и джуны никому не нужны, мои слоны забирают самые жирные офферы. Тимур - огромный красавчик, горжусь!

Больше отзывов тут. А вам предлагаю тебе залететь на бесплатную консультацию с моей командой, на которой поможем тебе построить твой маршрут до оффера. Пиши на @savelkoteam

Cursor vs Claude Code: Кто кого уничтожит?

Сейчас активно погружаюсь в хайп-кодинг, поэтому стало интересно чем отличается claude code от cursor`а? С cursor я дружу, но никогда не щупал claude code, но многие о нём очень часто говорили и именно его чаще всего юзают. Поэтому давайте разбираться, в чем принципиальная разница между ними?

Глобальная философия: Accelerator vs Delegator
🟣 Cursor - это ускоритель, такой помогатор, где ты всё ещё пилот. Ты всё ещё пишешь код, и ты сам управляешь процессом, а Cursor просто делает тебя х10 быстрее. Это инструмент для состояния потока: итерации занимают секунды, контекст индексируется через RAG, чтобы выдавать ответы мгновенно, иногда жертвуя глубиной ради скорости 🍴
🟡 Claude Code - это такое подрядчик/аутсорсер. Ты говоришь «сделай рефакторинг этих 50 файлов, чтобы я заработал много деняк», и он уходит думать, планировать, выполнять команды и гонять лысого. Под капотом у него честные 200k токенов контекста, которые он держит целиком, не обрезая их, как это иногда делает Cursor для оптимизации. Это хоть медленно (одна задача может занять 3-5 минут) и дорого (жрёт токены API как не в себя), но зато он может перелопатить полпроекта, пока вы смотрите рилсы, ну или тоже гоняете лысого 🤤

С технической точки зрения Cursor работает как акселератор - он ускоряет микро-действия разработчика. Claude Code работает как делегатор - он забирает на себя целый пласт работы, выполняя её последовательно и автономно. Один требует вашего постоянного внимания и кликов, второй - чёткого ТЗ и бюджета на токены.

Где подвох?
Cursor работает по подписке: ты платишь фикс (20$ в месяц + платишь за дополнительные токены) и понимаешь, сколько у тебя запросов. Claude Code - это пылесос для денег, он работает через подписку Claude Pro ($20/месяц) или мессенджер Max ($100-$200/месяц). Если дать ему сложную задачу на анализ всего проекта, он может сжечь твой лимит быстрее, чем ты успеешь написать промпт 😔

Итог для слоняр:
Не надо выбирать, надо комбинировать. Гигачады используют гибридный подход: Claude Code загоняют в терминал для глобальных архитектурных изменений и черновых работ, а в Cursor полируют результат и пишут фичи в реальном времени. Cursor - чтобы летать, Claude - чтобы копать и сиять

Вот такой ресёрч я провёл, такие выводы сделал, а вы уже щупали Claude Code или сидите на Cursor? 👇