Градиент обреченный
8.44K subscribers
919 photos
21 videos
8 files
496 links
Download Telegram
Байдупедия

Появилась вторая крупная ИИ энциклопедия, в пару к Грокипедии. Сделана китайским гуглом — компанией Baidu, поэтому практически все статьи там сейчас поднебесноцентричные.

Москва, США и Украина — это все ерунда и таких статей не найти. Зато на тему Китая как будто всё есть, от жизнеописания тиктокеров до группы крови Джеки Чана.

Статьи на пяти языках, и перевод и изначальные китайские статьи составлены моделями, русский выглядит вполне читабельно. Много встроенного местного видео по темам (хостится в Китае, грузится с трудом).

https://baike.baidu.com/ru/index
27❤‍🔥8👍4🗿3😁2😭2👎1🔥1
Как устроен Codex

Любопытный пост от Gergely Orosz про то, как делают Codex в OpenAI, какие практики используют разработчики, про скиллы, ресерч и т.д.

Полный пост за пейволлом, но Гергей (насколько я могу транслитерировать венгерский) разрешил опубликовать весь пост в виде перевода на русский. Если хотите перевод, ставьте лайк.

https://substack.com/home/post/p-188285137
👍14216🔥131
🔺 Как устроен Codex

Перевел полный пост Gergely Orosz с деталями того, как в OpenAI делают и используют Codex. Есть интересные инсайты и рассуждения от команды:

🟢 Онбординг в команду. Новый сотрудник работает в паре с инженером из команды и в первой половине дня наблюдает за его процессом разработки. Во второй половине дня ему дают задачу, и ожидается, что он выкатит её в продакшн в тот же день.

🟢 Почему выбрали Rust, а не TypeScript. Как его используют смежные команды.

🟢 У коллег реакция разная: «Одни говорят: "Это лучшее, что могло случиться. ... Впереди большое светлое будущее!". Другие: "Чувствую, что теряю навыки и начинаю терять связь с кодовой базой. Если не пишу код, мне сложнее понимать, что происходит".

🟢 Сегодня 50–90% кода (в разных командах по разному) в OpenAI генерируется Codex.

🟢 Полный цикл обучения модели, от старта до деплоя, занимает пару месяцев. Рассказывают про агентный цикл.

🟢 Некоторые инженеры используют «правило 30/70»: 30% кода пишут руками, а 70% генерят. 30% — осознанный выбор, потому что это заставляет думать, сохранять связь с кодовой базой и тренировать инженерное чутьё.

🟢 «Инженерный вкус» становится ключевым навыком. Все интервьюеры независимо называют "вкус" самым важным качеством для инженера-программиста в новой реальности. Объясняют почему и что имеется в виду.

🟢 У опытных инженеров остаются устойчивые преимущества. Архитектура, понимание человеческих потребностей, предвидение изменений. Всё вышеперечисленное — то, чего модель не может, потому что ей недоступен контекст человека, живущего в реальном мире.

🟢 Причины, по которым человек всё ещё планирует лучше Codex.

🟢 "Проблеск будущего ПО, создаваемого ИИ: валидация может стать важнее самого сгенерированного кода."

🟢 Исходники Codex'а

👉 https://habr.com/ru/companies/ods/articles/1001012/

@doomgrad
Please open Telegram to view this post
VIEW IN TELEGRAM
7🔥35👍179😭1
🔺 Taalas HC1

Друзья, это какая-то жуть. Прочитал новость и попробовал новую железку, на которую не просто записали в память какую-то LLM, а физически реализовали в кремнии (!)

Так как в этом случае обходится бутылочное горлышко всей типичной архитектуры современной электроники (где память и вычисления разнесены и память работает гораздо медленней), то эта штука генерирует 17000 токенов в секунду 😱

Захардкодили квантизованную LLama 3.1 8B. Из-за хардкода же, само собой, на железке только эта модель и есть. Пишут, что можно будет подключать LoRA адаптеры, чтобы файнтюнить под свои задачи.

Весной планируют выпустить вторую модель, в которую врежут средних размеров reasoning LLM. А зимой начнут разработку новой архитектуры HC2 под frontier модели.

Стоить такая плата будет в 20 раз дешевле чем SoTA GPU и потреблять в 10 раз меньше энергии.

👉 Можно потыкать здесь — https://chatjimmy.ai/
🔥76🤯2461👍11
🔺 hf-mem

Утилита, показывающая сколько нужно памяти для запуска модели с HF, кол-во её параметров и заодно их разбивку. Качает только метадату, по ней и считает.

uvx hf-mem --model-id Qwen/Qwen-Image


(uvx тут запускает hf-mem без установки в систему)

Есть флаг --experimental (работает для ForCausalLM и ForConditionalGeneration классов), с ним считает размер KV cache'а, необходимого для инференса с заданными max-length и batch-size.

👉 https://github.com/alvarobartt/hf-mem
🔥50👍1753🗿1
Коротко как провел выходные
1😁85🤣208👀4👎3💯21👍1🔥1
🔺 get-shit-done

Изучаю подходы к разработке через спеки, когда происходит детальное описание новой фичи, её взаимодействия с другими компонентами, контракты и т.д. (по сути это роль аналитика, составляющего ТЗ). По этим спецификациям дальше идёт поэтапная разработка. Подход для традиционной разработки стандартный, плюсы тут налицо — зафиксировали требования, делаем.

Подход этот постепенно перетекает в разработку с ИИ-агентами, которая формализируется на наших глазах. Несколько набирающих популярность фреймворков на эту тему уже есть, один из них это get-shit-done (нейминг от бога).

Как устроено?

🟢 По сути, это набор скиллов (структурированные инструкции и шаблоны). Есть для Claude Code, Codex, Gemini, OpenCode. В случае с CC, в папке .claude/get-shit-done появятся все инструкции и описания пайплайнов, которые будут выполняться.

Ставим в папку с проектом (не забываем делать ветку), запускаем агент, видим, что появилась куча новых команд, типа /gsd:new-project, /gsd:plan-phase, /gsd:execute-phase.

🟢 Если пишем не с нуля, то запускаем /gsd:map-codebase. Агенты в параллель изучаю код и откладывают артефакты в папку .planning. Доки получаются весьма полезные, описывается архитектура и структура проекта, стек, стиль кодирования и т.д. Читаем документы и правим. Особенно полезен CONCERNS.md, потенциальные проблемы и "запахи", которые нашлись, пишутся туда.

Если даже не использовать GSD по прямому назначению, то как минимум такое описание сделать полезно, а ссылки на него добавить в AGENTS.md.

После этого можно запускать /gsd:new-project. Описываем подробно, что хотим сделать, отвечаем на вопросы, в итоге формулируется разбитый на 3-4 фазы план.

На каждый чих составляются пишется и коммитится документация, потерять что-то из этого будет трудно. После каждой команды можно смело очищать контекст (/clear). Документацию читаем (разработка через чтение), правим.

С фазами работаем командами /gsd:plan-phase 1 и /gsd:execute-phase 1, прошли все фазы, проверили, делаем /gsd:complete-milestone. Документация обновляется, детали идут в архив, создается тег релиза. Повторяем со следующей фичей.

Concerns

🟢 Не надо использовать для простых задач, типа каких-то одношаговых интеграций, рефакторинга табличек или кода в пределах нескольких файлов и т.д. Оно разобьет вам сердце всё на 4 фазы и каждую фазу будет 5 минут планировать и 15 минут делать.

🟢 Штука очень прожорливая, по 20 раз все перепроверяет и пишет кучу доков. Обычной подписки точно не хватит, если использовать как подход к разработке. Если одну-две фичи сделать за пару дней, то норм.

Попробую ещё присмотреться насколько это эффективней чем без всех этих обвесов с фазами делать, но подход мне нравится. Думаю, что будет набирать популярность дальше.

👉 https://github.com/gsd-build/get-shit-done
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22🔥1211🤔2🗿1
Уволился!
😱170🎉8246🔥36👏1310💔7👀3😁1
Друзья, спасибо за поддержку и предложения! (всех запомнил)

Действительно уволился из Сбера. Прочитал много интересных версий на эту тему, но — на валютную удаленку не перехожу, меня не уволили, Яндекс не переманил, за границу не уехал, в монахи не постригся.

В Сбере работалось очень комфортно. У компании есть огромное количество ресурсов, а руководство видит в ИИ потенциал, поэтому их будет только больше. Многому в Сбере научился и познакомился там с кучей классных людей. Свои плюсы и минусы, как и везде, есть, расскажу подробно в рамках постов #про_работу. Сразу скажу, что если у вас будет возможность там поработать, то смело идите. Рекомендую Департамент развития ИИ (Сергей Марков) и продовые команды Гигачата (Фёдор Минькин).

Уйти из Сбера трудно, так как найти подобного масштаба проекты непросто, а по зарплате это, пожалуй, один из самых лучших вариантов в российском IT.

Но дух авантюризма из меня ещё не выветрился и я решил устроить творческий отпуск. Проектов, задумок и хобби у меня в количестве, поэтому в ближайшие полгода позанимаюсь ими. Буду писать больше постов, погружаться в технические инструменты, делиться опытом с вами, а вы со мной.

В общем всё и все будут в плюсе, кроме, разве что, кошелька. Планы — вещь зыбкая, особенно в наше время, но пока так, а по ходу разберемся. Пожелайте мне удачи.
10202👍70👏34🎉15🔥87😁5😱2👎1
В Claude Code вернули Ultrathink режим. Можно тратить токены еще быстрее.

На самом деле это просто синтаксический сахар, чтобы не переключаться между режимами думания руками (ставишь средний и дописываешь Ultrathink всегда, когда надо).

Вспоминается Midjourney и "ultrahigh, 4k, trending on artstation".
2👍23😁11🔥963🤔1
🔺 Визуализации

В Claude вчера встроили интерактивные визуализации в чат, выглядят цельно. Раньше они, на самом деле, тоже были, но создавались как артефакты и отображались в боковой панели. В любом случае это лишний повод их посмотреть.

Рисуется всё в векторном формате, верстается в виде виджета с переключателями. То есть схема получается динамическая, можно в неё потыкать при желании.

В ChatGPT на днях тоже выкатили визуализацию научных концепций, там это пока что ограничено 70-ю предподготовленными ответами на темы типа закона Кулона, потенциальной и кинетической энергии и т.д.

Что интересно, у меня их примеры заработали только в версии 5.3 Instant (без размышлений), иначе просто объясняет текстом без всяких диаграмм, либо пытается рисовать в ASCII.

А вот таблица элементов программирования в клоде получилась забавная, закинул сюда.
👍22😁10🔥943
Друзья, коллеги из Сбера пишут, что в департаменте RnD, где я работал, появилась возможность для найма исследовательских команд.

Развивают перспективные направления, такие как Computer Use и работу в средах, редактирование речи и музыки, мультимодальный reasoning и т.д. Ресурсов у ребят достаточно, так что свой исследовательский зуд, если таковой имеется, можно будет удовлетворить в полной мере.

Писать можете Саше @hukenovs напрямую
24👍156👀3🎉2😭2🔥1
🤟 Claude Code + telegram

В Claude Code добавили channels. Теперь можно общаться с открытым терминалом через чат пока рубишься в контру.

Настраиваем

🟢 Нужна версия v2.1.80+, делаем claude —update

🟢 Если не подключен официальный репозиторий со скиллами, то подключаем — /plugin marketplace add anthropics/claude-plugins-official

🟢 Устанавливаем плагин /plugin install telegram@claude-plugins-official

🟢 В @BotFather создаем себе бота, получаем токен, прикапываем в .env — /telegram:configure <token>

🟢 Перезапускаем с флагом —channels (если не хотим, чтобы клод слушал канал, то в следующий раз этот флаг не ставим) — claude --channels plugin:telegram@claude-plugins-official

🟢 Видим, что не работает ( telegram MCP failed, проверяем в '/plugin' → Installed), ставим bun — npm install -g bun. Перезапускаем с --channels.

🟢 Пишем в бота что-нибудь, получаем pairing code, пишем в терминал /telegram:access pair <code>. Наш телеграм аккаунт добавляется в allowlist.

🟢 Лочим, чтобы никого кроме нас не слушал — /telegram:access policy allowlist

Ограничения

Попробовал, сразу заметил, что интерактив не поддерживается. На gsd (писал про него тут, регулярно им пользуюсь) команды пишет, что это не телефонный разговор тут нужно только через терминал, потому что там используется консольный псевдо-UI (вкладочки, списки с опросами и т.д.).

В режиме плана, соответственно, тоже. В консоли опции для выбора отрисовывает, в телеграм слать не умеет.

Всё остальное — распараллеливание, написание доков, agent teams и т.д. работает.

Каналы — это общая функциональность, их можно делать самому под свои приложения, так что, если дотянуть в свой телеграм плагин интерактив с кнопочками, то можно будет им полностью управлять через телегу и планировать какие-то объемные фичи будучи не у компа. Кто сделает, тот молодец.

Всё это пока в research preview, так что тестируем.
Please open Telegram to view this post
VIEW IN TELEGRAM
18🔥1311👍3😁2
🔺 Как дела, Сергей

После увольнения работать стал ещё больше и меньше стал уставать, удивительно. Со своим проектом как будто и в семь утра начать возиться не зазорно и выходные просидеть (отдыхать я тоже успеваю, не подумайте).

Сначала хотел просто обернуть Lingtrain в приличный вид и выложить как публичный сервис, чтобы люди делали себе книжки на разных языках и параллельные корпуса.

Чтобы все работало в многопользовательском режиме, нужно было сделать механизм очередей, подключить модели по API и собрать баги, посидел недельку с этим.

Чтобы проект себя финансово окупал, надо дать людям возможность его оплачивать и заодно поддерживать развитие. Думал через Бусти сделать, но там как-будто комиссии огромные и надо делать дополнительные интеграции, чтобы на сайте автоматически понимать, какой пользователь задонатил.

Решил своё бусти сделать через ЮКассу. Чтобы подключить ЮКассу, надо иметь юр. статус, готовый сайт с описанным процессом оплаты, условия пользования продуктом, соглашение о сборе персональных данных, механизм отписки и т.д. Недельку только доки вкуривал.

Аутентификацию, авторизацию, бд и т.д. опустим)

Само приложение перенести на новые рельсы тоже оказалось очень объемно, все-таки я его лет пять писал и там много чего могло сломаться при переписывании (и сломалось). Зато проделал кучу оптимизаций алгоритмов выравнивания. Агенты тут классно помогли, разметил ими данные, сделал мини-бенч, поставил эксперименты клод-кодом и кодексом, ими же и внедрил.

Дизайн. Отдельная тема, ведь хочется, чтобы все выглядело красиво и удобно. Модели хоть и оказали колоссальную помощь (проделанную работу раньше я бы примерно полгода делал), но не всегда делают именно так, как ты это видишь.

А ещё новые пользователи, которые не в контексте, должны как-то понять о чем вообще проект и как пользоваться, нужны помогаторы и документация. А ещё лендинг красивый. А ещё...

В общем скоро покажу, что получается. Созвонов по проекту нет, есть все шансы доделать.
172🔥42👍21😁17😱32
Ну наконец-то!

Ровно месяц назад запустил кодового агента с командой (сохраняйте на стену, чтобы не потерять)

"Сделай прикольный сервис, чтобы с языками был связан, книжки там делал разные, игры, чтобы блог ещё был и подписки, хорошо делай, плохо не делай, чтобы люди посмотрели и такие ну ни фига себе ай красиво как, VC funded, theranos by elisabeth holmes, steve jobs, make 100m roi".

Буквально только что завершилось!

https://lingtrain.ru/blog/pervyy-post--a18bea

В комментах предлагаю обсудить, кто какие фильмы и сериалы смотрит, а то всё пересмотрел уже, надо что-то новенькое.
😁2018🔥10👍7🎉3
🔺 Утёк Claude Code

В 2.1.88 версию консоли (сейчас она 2.1.89) при публикации на npm в сборку попал .map файл с исходным читаемым кодом, по которому исследователи восстановили исходники.

Его оттуда подчистили и само собой, оно уже много где лежит. Смотрим, изучаем как работает оркестрация, команды агентов, тамагочи.

https://github.com/GitHpriyanshu23/Claude-code-leaks
🎉14115🔥5😁1
Тут OpenRouter заказал новый дизайн у Лебедева
😁111🔥16👍5🤯3👎2💯2💔2👀2
Услышал как бабушки в поезде обсуждают, что пользуются VPN'ом, чтобы общаться по ватсапу. Всё-таки РКН отличную работу по впнизации населения провел, молодцы.
😁107💯297👍4🔥3😭1