Machine learning Interview
30.1K subscribers
1.8K photos
157 videos
13 files
1.23K links
ИИ, Rust, вайбкодинг, Data Science, Deep Learning и делюсь тем, что интересно и полезно!

Вопросы - @workakkk

РКН: clck.ru/3FmwRz
Download Telegram
🔥 Kimi K3 на 2,78 ТРИЛЛИОНА параметров запустили на CPU с 8 ГБ RAM. Без GPU, BLAS и фреймворков

Проект kimi-k3-in-c реализует inference Kimi K3 практически с нуля на portable C99. Чекпоинт модели занимает 1,56 ТБ, но пик RAM при запуске составил всего 8,24 ГБ.

Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов.

Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды.

Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference.

github.com/FareedKhan-dev/kimi-k3-in-c

#AI #Kimi #LLM #C #LocalAI
🔥2774👍1🗿1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI заменила Chronicle на Computer History в десктопной версии ChatGPT

В десктопном ChatGPT вместо Chronicle заработала Computer History. Прежний механизм собирал контекст скриншотами экрана, новый пишет журнал действий - клики, ввод текста, шорткаты, переключение окон. События складываются в единую хронологию и лежат локально.

Сбор по умолчанию выключен. В настройках приватности можно вывести из-под наблюдения отдельные приложения и сайты.

Разобрав журнал, ChatGPT замечает повторяющиеся действия и предлагает собрать под них сценарий для рутинной задачи. На тот же журнал опираются ответы ChatGPT и Codex - их можно спросить, например, как правился конкретный файл.

Computer History работает на macOS у подписчиков Pro, Business и Enterprise.
chatgpt.com

✔️ Claude Code научился возобновлять генерацию после сброса лимитов

Если генерация обрывается на лимите сообщений, теперь можно включить ожидание вместо перезапуска. Когда квота обновится, Claude Code подхватит контекст и продолжит с места остановки.

Раньше прерванную задачу приходилось поднимать руками - жать Try again или отправлять команду заново.
ClaudeDevs в X

✔️ X открыла код алгоритма рекомендаций

Соцсеть выложила на GitHub расширенную версию кода, который собирает ленту For You.

Кодовая база выросла - добавились конфигурации моделей, внутренние фильтры и веса сигналов в основном движке ранжирования. Закрытыми остались только антиспам-модули на Grok - чтобы владельцы ботнетов не разобрали их и не научились обходить.

В настройках Х появился инструмент Under the Hood, который выгружает JSON со статистикой аккаунта. В файле видно, какие системные метки система навесила на профиль и отдельные посты за последний месяц, - по ним можно понять, не попал ли аккаунт под ограничения.

JSON вместе со ссылкой на репозиторий можно скормить сторонней модели и разобраться, почему просели охваты.

Пока выгрузка работает в пилоте - аккаунт должен быть старше года и выпускать хотя бы десять постов в месяц.
X Open Source

✔️ В Калифорнии школьники будут советовать властям, что делать с ИИ

Губернатор штата объявил о создании консультативного совета из 20 старшеклассников, который будет участвовать в разработке правил в сфере ИИ.

Первая группа уже обсуждает с чиновниками, как внедрять генеративные модели в школы, как защищаться от дипфейков и где проходят этические границы ИИ.

Осенью откроется набор новых участников. На весну 2027 года намечена отдельная программа, где подростков научат запускать собственные проекты в цифровой среде.

Калифорния стала вторым штатом с молодежным советом по ИИ - такой же с 2025 года работает в Нью-Йорке.
gov.ca.gov

✔️ Bank of China начал кредитовать разработчиков под расход токенов

Один из четырех крупнейших госбанков Китая запустил программу Computing Power Token Loan. ИИ-разработчикам дают до 30 млн юаней (около 4 млн долларов) на срок до трех лет.

Залог не нужен - вместо него банк смотрит на расход токенов, стоимость контрактов на вычисления и выручку от ИИ-продуктов.

Аналитики настроены скептически по двум причинам. Во-первых, расход токенов показывает, насколько активно компания работает, но ничего не говорит о том, зарабатывает ли она. Во-вторых, метрику легко накрутить лишними вызовами API, чтобы поднять себе лимит.

Чтобы это отслеживать, нужен независимый аудит логов потребления, а таких площадок пока нет.
cls.cn


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65🔥5
🚀 DeepSeek Harness набрал 122K+ звёзд на GitHub всего за 3 дня и стал одним из самых быстрорастущих репозиториев в истории платформы.

Harness сделан как оркестрационный слой, где почти всё можно заменить плагином:

• модель
• shell
• редактирование файлов
• web search
• skills
• storage
• sessions
• reasoning effort
• permission scope
• UI
• scheduling

Конфигурация собирается через YAML, а сам Harness запускается локально как web-приложение.

sub-agents можно подключить Claude Code, Codex или другие агенты как плагины и отправлять разные подзадачи туда, где они решаются лучше.

MIT-лицензия позволяет вообще не использовать API DeepSeek: можно подключить другого провайдера или собственную локальную модель.

Практически одновременно с релизом Harness DeepSeek подняла цену cache-hit input примерно в 6–12 раз.

А именно cached input особенно активно расходуют агентные циклы: каждый новый шаг снова тащит system prompt, историю и накопленный контекст.

То есть компания выпускает фреймворк, который делает агентные циклы массовыми, и в ту же неделю заметно повышает цену именно на тот тип токенов, который такие циклы потребляют больше всего.

https://github.com/deepseek-ai/deepseek-harness
🔥189👍8
Айтишникам не нужно сидеть в универе четыре года. Двух вполне достаточно, считает Сэм Альтман.

На встрече с тех-стажёрами глава OpenAI вспомнил, что сам проучился в Стэнфорде всего два года, и назвал этот срок почти оптимальным. По его мнению, после этого отдача от классического университетского образования начинает заметно снижаться.

Альтман также отметил, что знает много людей, которые вообще не окончили колледж, но при этом построили очень успешную карьеру.

Звучит красиво, хотя здесь сложно не вспомнить про ошибку выжившего: истории тех, кто бросил университет и стал миллиардером, мы знаем отлично. Истории тех, кому такой сценарий не помог, обычно никто не цитирует.

Интереснее другое: сколько инженеров в самой OpenAI действительно работают без законченного высшего образования.
😁40👍158🥴8🔥4
🚀 DeepSeek V4 Pro внезапно стал заметно сильнее - без переобучения модели

К DeepSeek V4 Pro 0813 подключили harness под названием J-Space, который снижает ошибки в длинных цепочках reasoning и tool use.

По опубликованным результатам прирост местами очень серьёзный:

* Terminal Bench: 87.9 → 90.1
* NL2Repo: 61.5 → 73.4
* CyberGym: 83.3 → 86.8
* DeepSWE: 62.7 → 72.0
* Toolathlon: 74.1 → 79.5

В ряде agentic/coding тестов такая связка якобы обходит даже Fable 5 и Opus 4.8.

https://github.com/Tiger3807861189/DeepSeek-V4-J-Space-Capability-Realization-Report
14🔥8👍3🤩3😁1🤔1