Machine learning без путаницы

Когда только начинаешь разбираться в ML, часто возникает ощущение беспорядка — разрозненные материалы из разных источников затрудняют понимание ключевых требований, и в итоге непонятно, что на самом деле нужно учить и твое ли это направление.

Бесплатный демокурс «Погружение в machine learning» от karpovꓸcourses дает структурированное первое знакомство с профессией: погрузитесь в основы Python, разберете базовые ML-подходы, видят, как данные превращаются в модели и решения, и понимают, какие навыки действительно нужны для старта.

Доступ открывается сразу после регистрации, забирайте по ссылке: https://clc.to/erid_2W5zFJdNWfi

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFJdNWfi

🚀 LiteRT - универсальная основа для AI прямо на устройстве

Google представил LiteRT — новый универсальный фреймворк для on-device AI, который развивается из TensorFlow Lite и становится базой для высокопроизводительного ML и генеративного AI на устройствах.

🔥 Что важно

⚡ До 1.4× быстрее GPU-ускорение
LiteRT показывает прирост производительности на GPU по сравнению с TensorFlow Lite, снижая задержку и улучшая отклик моделей.

🌐 Кроссплатформенность
Работает на Android, iOS, macOS, Windows, Linux и Web. Использует OpenCL, OpenGL, Metal и WebGPU через новый движок.

🤖 Поддержка NPU
Добавлено ускорение на нейропроцессорах с единым API, что упрощает разработку под разные чипы и повышает скорость инференса.

⚙️ Модели из PyTorch и JAX
Есть удобная конвертация моделей, что упрощает перенос современных AI-моделей на устройство.

📦 Open-source
Фреймворк открыт и подходит для продакшена — можно строить реальные on-device AI-приложения.

LiteRT позволяет запускать современные AI и GenAI модели прямо на устройстве — быстрее, с меньшей задержкой и лучшей приватностью, без постоянной зависимости от облака.

https://developers.googleblog.com/litert-the-universal-framework-for-on-device-ai/

🧠 Claude Cognitive: Умная память для Claude Code

Claude Cognitive добавляет рабочую память к Claude Code, позволяя эффективно управлять контекстом и координировать многопоточную работу. Это решение значительно снижает затраты токенов и улучшает производительность разработчиков, обеспечивая сохранение контекста и предотвращая дублирование работы.

🚀Основные моменты:
- Умная маршрутизация файлов с учетом внимания (HOT/WARM/COLD).
- Многофункциональная координация состояния для долгосрочных сессий.
- Экономия токенов до 95% в зависимости от размера кодовой базы.
- Поддержка многопоточной работы без повторного открытия задач.

📌 GitHub: https://github.com/GMaN1911/claude-cognitive

💡 Что если можно гарантировать, что ответ LLM всегда будет строго в нужном формате?

Большинство инструментов идут постфактум-путём.
Например, Instructor или PydanticAI проверяют вывод после генерации. Если валидация не прошла - ошибка отправляется обратно в модель, и она пробует снова.

Каждый такой ретрай - это токены, время и деньги, которые не дали полезного результата.

Подход Guidance принципиально другой.
Он ограничивает пространство возможных токенов во время генерации, поэтому модель просто не может выдать невалидный формат.

Не «сгенерировал криво - починили», а «криво сгенерировать невозможно».

Что это даёт:

Жёстко ограниченные ответы через regex и функции выбора

Python-логика прямо в процессе генерации (if/else, циклы)

Генерация JSON с валидацией по Pydantic-схеме

Это уже не просто «prompt engineering».
Это превращение LLM из болтливого генератора текста в управляемый программируемый компонент.

🤖 nanobot: Легкий ИИ-ассистент

nanobot — это ультра-легкий персональный ИИ-ассистент, который предлагает основные функции в всего лишь ~4000 строках кода, что на 99% меньше, чем у Clawdbot. Он идеально подходит для исследований благодаря чистому и понятному коду, а также обеспечивает быструю работу с минимальными ресурсами.

🚀Основные моменты:
- Ультра-легкий: всего ~4000 строк кода
- Быстрая работа и низкое потребление ресурсов
- Легкость в использовании и настройке
- Поддержка общения через Telegram и WhatsApp
- Готов к исследованиям и модификациям

📌 GitHub: https://github.com/HKUDS/nanobot

🚨 Теперь можно запускать 70B LLM на видеокарте с 4GB VRAM

AirLLM буквально выбивает почву из аргумента “для больших моделей нужно дорогое железо”.

Фреймворк позволяет запускать модели размером до 70B параметров даже на GPU с 4GB видеопамяти.

Как это возможно?

Вместо загрузки всей модели в память сразу, AirLLM:

- подгружает модель по слоям
- выполняет вычисления
- освобождает память
- переходит к следующему слою

Фактически, это потоковая обработка модели.

Более того, авторы показывают запуск Llama 3.1 405B на 8GB VRAM.

Что это даёт разработчикам:

- не требуется квантование по умолчанию
- можно запускать Llama, Qwen, Mistral, Mixtral локально
- работает на Linux, Windows и macOS
- не нужен сервер с огромным GPU

Это сдвигает барьер входа для локального LLM-разработки и экспериментов.

AirLLM полностью open source - можно использовать, изучать и встраивать в свои пайплайны.

https://github.com/0xSojalSec/airllm

🚀 Токенизация в LLM - как “Hello” превращается в цифры.

Токенизация - это первый шаг перед тем, как LLM вообще начнет “думать”.

Модель не понимает текст напрямую.
Она понимает только числа.

Поэтому любой текст сначала разбивается на маленькие кусочки - токены:
- иногда это целые слова
- иногда части слов (su, per, man)
- иногда один символ
- иногда даже пробел - тоже токен

Пример:
Фраза "I love programming" разбивается не обязательно на слова, а на кусочки слов:

[I] ,[ love] ,[ program] , [ming]

Обрати внимание:

- " love" начинается с пробела - потому что пробел тоже часть токена
- programming разделилось на 2 токена: " program" + "ming"

То есть Токенизация - это когда LLM режет текст на маленькие кусочки (токены) и переводит их в числа.

Важно:

Чем больше токенов - тем дороже запрос и тем быстрее съедается контекст.

Плохая токенизация = странные ошибки (особенно в коде, ссылках, редких словах).

Поэтому LLM отлично понимают частые слова, но могут путаться на редких именах, терминах и смешанных языках.

И лайфхак: если хочешь “дешевле” и “чище” ответы - пиши короче, без мусора, без повторов.
Контекст - это валюта.

# Tokenization demo (Python)
# pip install tiktoken

import tiktoken

text = "I love programming in Python 🐍"

enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode(text)

print("Text:", text)
print("Token IDs:", tokens)
print("Tokens count:", len(tokens))

# decode back
print("\nDecoded tokens:")
for t in tokens:
    print(t, "->", repr(enc.decode([t])))

https://www.youtube.com/shorts/A7DCcYLq38M

🤯 1.7B доменов - крупнейший паблик датасет “public domains” (бесплатно)

Кто-то решил: “а что если реально собрать ВЕСЬ интернет?”
И сделал это.

🔥 1.7 BILLION доменов
- уникальные
- отсортированные
- мульти-TLD
- чистый список без мусора

И самое дикое: весит всего 4.6 GB в сжатом виде.

Почему это реально полезно:
этот список - идеальная база для задач, где нужны “масштаб” и “полная картина”.

Use cases:
✅ OSINT и массовая разведка
✅ threat intel / аналитика угроз
✅ исследование фишинга и детекторы фишинговых доменов
✅ reputation scoring и классификация доменов
✅ passive recon / subdomain enum / brute-force
✅ подготовка данных для AI/LLM (файнтюн, классификаторы, фильтрация)

Хочешь построить:
- лучший детектор фишинга?
- классификатор доменов на ML?
- движок репутации доменов?

Теперь есть топливный бак на 1.7B записей 😈

Репозиторий: github.com/tb0hdan/domains