🔥 Kimi K3 на 2,78 ТРИЛЛИОНА параметров запустили на CPU с 8 ГБ RAM. Без GPU, BLAS и фреймворков

Проект kimi-k3-in-c реализует inference Kimi K3 практически с нуля на portable C99. Чекпоинт модели занимает 1,56 ТБ, но пик RAM при запуске составил всего 8,24 ГБ.

Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов.

Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды.

Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference.

github.com/FareedKhan-dev/kimi-k3-in-c

#AI #Kimi #LLM #C #LocalAI

🐍 В Python у while есть else. И многие разработчики узнают об этом спустя годы

Выглядит непривычно:

number = 0

while number < 5:
    print(number)
    number += 1
else:
    print("Цикл завершился")

Блок else выполнится, если цикл закончился естественно, то есть условие while стало ложным.

Но есть важный нюанс. Если внутри сработает break, else уже не выполнится.

number = 0

while number < 5:
    if number == 3:
        break

    number += 1
else:
    print("Сюда не попадём")

Из-за этого while...else удобно использовать там, где нужно отличить нормальное завершение поиска от досрочного выхода.

Например, цикл пытается найти нужное значение. Если нашёл, делает break. Если дошёл до конца без успеха, срабатывает else.

Синтаксис существует в Python давно, но до сих пор выглядит как маленькая пасхалка языка.

#Python #Programming #Backend #PythonTips

🐍 Опытный Python-разработчик рассказал, для каких проектов в 2026 году он уже не выбирает Python первым.

Автор десятилетиями использовал Python практически для всего, но со временем пришёл к простой мысли: хороший универсальный язык не обязан быть лучшим инструментом для каждой задачи.

В презентации разбирается, где ограничения Python начинают перевешивать его удобство и почему для некоторых проектов сегодня разумнее посмотреть на другие языки и экосистемы.

При этом это не очередное «Python умер».

Наоборот, автор по-прежнему активно использует Python и отдельно показывает области, где язык остаётся одним из лучших вариантов.

Получился полезный взгляд без фанатизма: выбирать язык не по привычке, а под конкретную задачу.

https://menno.io/presentations/not-python-2026/index.html#/

#Python #Programming #SoftwareEngineering #Development

🐍 Python-разработчики часто тестируют код с зависимостью от времени. Но обычный mock для дат — это намного сложнее, чем кажется.

Библиотека time-machine решает эту проблему: она позволяет буквально «перемещать время» внутри тестов.

Например:

import datetime as dt
import time_machine

@time_machine.travel("2030-01-01")
def test_future():
    assert dt.date.today() == dt.date(2030, 1, 1)

В отличие от популярных подходов вроде freezegun, библиотека не ищет и не заменяет все импорты в проекте.

Она работает на уровне C API CPython, перехватывая функции даты и времени напрямую. Поэтому скорость не зависит от количества загруженных модулей. В бенчмарках time-machine оказался более чем в 100 раз быстрее freezegun на простых сценариях.

Полезно для тестирования:

• подписок и платежей
• истечения токенов
• календарных функций
• планировщиков задач
• логики с дедлайнами

Проект:
https://github.com/adamchainz/time-machine

https://adamj.eu/tech/2026/08/03/python-time-machine-o1-freezegun-on/

Полный инженерный курс по AI-агентам на русском: от tool calling до production

Курс инженерный, а не обзорный. Здесь почти нет рассуждений о том, «изменит ли ИИ мир», зато есть: минимальные работающие реализации каждого механизма, лабораторные с критериями приёмки, шаблоны для копирования, чек-листы перед релизом, каталог антипаттернов и набор бенчмарков, по которым можно честно сравнить две версии своего агента.

Качество агента почти никогда не упирается в модель. Оно упирается в инженерию вокруг модели: как описаны инструменты, что попадает в контекст, где стоят проверки, что происходит при третьей подряд ошибке и сколько это стоит за тысячу запусков. Модель - двигатель. Курс -про всё остальное в автомобиле.

https://github.com/justxor/Aiagentsfullcourse

🔥 DeepSeek Harness - пример того, почему сегодня важна не только модель, но и всё окружение вокруг неё

Harness - это слой между LLM и реальной работой: инструменты, terminal, permissions, память, tool loop и правила обработки ответов.

У deepseek-harness есть Python-библиотека, CLI dsh, MCP-сервер и интеграция в формате Anthropic Skill. Проект документирует особенности протокола DeepSeek V4-Pro/V4-Flash и автоматически обрабатывает проблемные места вроде reasoning_content, parallel tool calls, streaming и context limits.

Например:

pip install deepseek-harness-cli

Ключевая идея очень актуальна для agent engineering:

одна и та же модель с разным harness может вести себя как совершенно другой агент.

Модель отвечает за интеллект.
Harness - за то, сможет ли этот интеллект стабильно работать с инструментами и длинными workflow.

Вот полезный гайд, где собрали большой разбор проекта: 23 секции, от запуска за минуту до архитектуры и теории Cordis.

Что особенно интересно:

архитектура максимально модульная - компоненты можно заменять плагинами;
проект model-agnostic и работает с OpenAI-compatible API;
под harness лежит Cordis - отдельная формальная модель безопасного самоизменения программ;
можно менять не только tools, но даже логику, которая решает, что агент должен делать дальше;
проект пока developer preview, поэтому breaking changes ожидаемы


Разбор: https://helmcode.com/deepseek-harness

⚡️ Harness Engineering - полный курс на русском

Как заставить AI-агента писать код надёжно. Не «какую модель выбрать», а как спроектировать вокруг неё рабочую систему: инструкции, инструменты, среду, состояние и верификацию.

Курс - от нуля до продвинутых тем: теоретическая база из 11 блоков, 14 модулей, 8 практических проектов, 14 лабораторных работ, диагностический протокол «как починить агента», библиотека готовых шаблонов, карта инструментов, 40 приёмов и каталог антипаттернов.

Главный тезис курса: способность модели и надёжность исполнения - это две разные вещи. Одна и та же модель в «голой» среде и в среде с продуманным harness даёт качественно разные результаты. Апгрейд модели - это самый дорогой и обычно не самый эффективный способ починить агента.

https://github.com/justxor/Harness_ru

Разница между C++ и Python