Обновление для моих скриптов для сжатия видео в телеграм или куда-либо

Глобальных обновлений нету, ключи которые я сделал год назад выполняют то зачем созданы - отличное качество и быстрое декодирование на любом дерьмовом смартфоне

Сделано большое количество минорных изменений:
— Адаптивное разрешение в зависимости от соотношения (вертикальные) видео будет уменьшено до 1280x по больше стороне, но если оно меньше, то уменьшения не произойдёт вовсе. Так как я использую скрипт в том числе для мемов которые слишком много весят.
— Возможность кодировать фильмы прямо как есть, теперь скрипт выбирает только первую дорожку звука и делает сведение в стерео автоматически. Удаляет субтитры.
— Работа фоновым процессом, выставляет низкий приоритет при запуске
— crf28 вариант низкого качества переименован в low
— У стандартного и low варианта оставлено обычное распаралеливание на 6-8 ядер (без потерь качества), для fast варианта сделано распаралеливание на 16+ ядер

Актуальную версию всегда можно скачать на моём сайте

gemma 2 27b это топ 2 лучшая из существующих локальных моделей для общения и получения информации, лучшая забытая llm. Небольшой пост о том, почему это обвалилось под грузом амбиций.

Есть много разных тестов ллм, есть те кто анализирует математику, решение задач, а есть те кто тестирую человечность и понимание того, о чём говорят, я предпочитаю среди десятков тест winogrande который очень точно отображает текущие тенденции нейросетей. Суть теста понять о чём речь "Анна положила яблоко рядом с корзиной, потому что она хотела, чтобы оно не упало. Кого означает “она”: Анна или корзина?" и ещё несколько тысяч подобных вопросов.
А результаты:
qwen2.5 14b — 79.3%
llama 3.1 70b — 83.3%
gemma 2 27b — 83.7%
mistral small 2409 (22b) — 84.6%
llama 3.1 405b — 86.7%
mistral large 123b — 86.7%
GPT4 — 87.7%
А потом этот тест как то разонравился.
mistral small 3.2 24b — 79.4%
gemma 3 27b — 78.8%
qwen3 32b — 73.6%
Все начали делать упор в скорость, логику, математику. Уменьшая размер слоя, делая больше слоёв — идеально эту смену парадигмы можно увидеть на примере глобальной смены архитектуры между gemma 2 и gemma 3. Ну и разумеется если вы уже давно используйте нейросети и чуете что вайб какой то не такой, вам не кажется. Нейросети всё менее "живые" и всё более механические.

Итак в чём же более конкретно проблема gemma 2 27b и почему "лучшей из лучших" я называю именно mistral small 2409 22b.

Проблема 1: использование собственной нестандартной функции активации soft-capping. в момент выхода нейросети сторонний софт просто не был готов к использованию, а сторонние реализации были медленными, от чего gemma 2 при запуске на видеокартах была медленнее с упором в вычисления, на пустом месте медленнее всех. Даже не смотря на то, что сейчас такой проблемы уже нету, все реализовали и оптимизировали эту функцию, она всё равно является одной из самых медленных. Но это совершенно не проблема при запуске на процессоре, так как упор будет в память и это никак не повлияет на скорость.

Проблема 2: самый маленький размер эмбединга на ранке при самом большом размере словаря на рынке, 4608 нейронов на слово на словарь размером 256000 слов. только сам словарь весит 1.1B по размеру от всей модели, что технически делает её 26b моделью по данным. gemma является самой многоязычной моделью в мире вообще, с большим отрывом по покрытию всех возможных языков всех стран, и что бы не генерировать по 1 букве за раз, огромный словарь содержит "слова" всех языков. Это обеспечивает в том числе отличную быструю генерацию слов на русском языке. При этом меньший размер эмбедингов освобождает место и позволяет сделать больше нейронов под знания и логику, сделав модель умнее. В чём же тут проблема? — Размытие смыслов. Модель может путать близкие по смыслу слова, между которыми очень тонкая грань, например род, окончания, буквы внутри слов, падежи, кристальный/хрустальный. Для русского языка это может быть более заметно из-за сложной логики построения слов, и этой проблемы совершенно нету у mistral small 2409 который имеет наоборот анамально большой размер эмбедингов на маленький словарь(6144 нейронов при 32к словаре, текущие стандарты в нейросетях это 5120 при 100-130к), от чего его речь намного более чистая.

Проблема 3: сжатие модели. из-за очень мелкого эмбединга его сжатие приводит к тому, что модель просто так может посреди предложения написать что-то на другом языке, 完全是胡说八道 и ещё больше тупых ошибок при письме. Специально для этого (позже) были созданы варианты квантования типа Q4_ K_L Q5_K_L Q6_K_L которые сжимают эмбединг самым слабым сжатием, что бы не испортить его. Но эмбединг это ещё пол беды, при сжатии оказалось что функция активации soft-capping является более "капризной на округление" чем все другие функции, поэтому при сжатии нейросеть тупеет примерно в 3 раза сильнее чем аналогичные модели при том же сжатии. Сочетание проблемы 1 и проблемы 2 при сжатии в q4_k_s или "awq 4 bit" превращали модель в тыкву. В погоне запихать её в 16 гигабайт видеопамяти превращали её в говно которое работает медленнее всех и хуже всех. Все эти инновации были вырезаны в gemma 3 ибо рыночек порешал.

Подэтожить могу так: модель хорошая, если у вас есть 24-32 гигабайта озу, что бы запустить Q5_K_L Q6_K_L варианты нейросети, или 32 гб видеопамяти что бы запускать 8 бит квантование. Она может быть лучше чем mistral small 2409 22b, ну и всё ещё отличной моделью среди всех существующих моделей, возможно лучшей в наше время. Но это очень компромиссное решение, тем не менее это топ 2 рекомендуемая мной модель.

мод Raise the Hands a Little More
для Slay the Spire
steamcommunity.com/sharedfiles/filedetails/?id=3339994084

Мод для Slay the Spire чтоб приподнять карты на пару процентов и видеть их ебучее описание без наведения на них мышкой, а так же писать их характеристику в название и расположить их ровно (вкусовщина)

Мод запускается через ModTheSpire но на пиратке просто дропнуть его в папку mods в папку с игрой, запустить Mod Launcher.bat, прожать галочки BaseMod StSLib и Raise the Hands a Little More и нажать Play

Функции на клавишах
F1: Поднять карты
F2: Выровнять карты (применяется после действия)
F3: Показать номера в заголовке (урон защита итд)

Если провайдеры сделают платным подключение к любому иностранному айпи, придётся переходить в i2pd с обрезанием возможности подключения ко всем иностранным айпи, что для i2p не проблема, meshnet сам разберётся.
Оставайтесь на связи.

ahah ww

Я создал интернет 2

Смешной протокол, который работает поверх i2pd который работает поверх интернета.

Полная открытость всех сообщений, но полная анонимность любого сообщения.
Протокол, и моя сеть на нём основанная, работает как смесь имиджборды и мессенджера.
Существует некое число, мой термин "бар", например из букв "12", и пользователь хотел бы получать сообщения оттуда, он запрашивает "подписку в сети" и ему пересылают все будущие сообщения с этой меткой этого бара.
Отправка сообщений же может быть откуда угодно, суть в том что бы сгенерировать сообщение с "меткой", потратив на это вычислительные ресурсы. Потом созданный пакет как бы забросить, закинуть, дропнуть в сеть. А те кто в сети сами разберутся куда его. От того для отправки даже не нужно делать подписку.

Невозможно отследить ни кто прислал сообщения, ни кто подписан, невозможно ни заблокировать нихуя.

Программа запускается по одному клику. (смотрите что бы в пути не было кириллицы)
Становитесь клиентами
Поднимайте сервера, делайте мэши