Вся суть развития LLM нейросетей сейчас в оптимизации и уменьшении, потому что они уже давно достигли своего предела, будучи обучены на всём интернете, примерно 4 года назад, в лабораториях OpenAI. То есть уже всё. Сейчас весь прогресс идёт в оптимизации, что бы внутри 4 гигабайт локальной и быстрой нейросети смогли сжать знания всего интернета, это делают и делают успешно. Есть множество архитектур такие как gemma mistral llama qwen nemo gpt и много чего ещё, но все они основаны на одном подвиде нейросетей - архитектура трансформера... Так вот - вся суть прогресса сейчас это создать отличный архиватор для информации, для текста, который мог бы по запросу выдавать какие то данные, и делать это точнее и точнее. И весь прогресс который происходит сейчас: была в прошлом году нейросеть 70B размера, а сейчас нейросеть с такими же результатами тестирования но уже 9B (при квантизации gguf выходит 5 гигабайт данных). Но никакого скачка уже не будет, как это было когда из глупых GPT2 мы перешли на нейросеть обученной выдавать ответы на вопросы ChatGPT. Ведь LLM нейросеть на архитектуре трансформера чисто технически мало чем отличается от подбора возможных следующих слов на клавиатуре при наборе текста. Сами же нейросети выпускают в 2-х видах, это собственно оригинальная нейросеть, которая продолжает текст, и ничего больше, совершенно, она просто продолжает писать текст который подаётся на вход, по 1 слову (токену) за раз. И есть вторая нейросеть которая называется обычно Instruct или it -- это нейросеть которая до-обучена на том, как выглядит диалог вида вопрос-ответ (именно это, но в другом виде делают все эти DPO SPPO SimPO WPO и другие, просто обучают микроскопический участок нейросети отвечающий за её выдачу, они не умнеют от этого, не меняются глобально (любое разцензуривание работает точно так же), хотя они и решают некоторые "тесты" лучше, они остаются с теми же знаниями что и до этого, по тем же причинам gemma и gemma-it не смотря на полную идентичность имеют сильно разные показатели в тестах). И если вы задаёте нейросети вопрос, она начинает достраивать эту входную фразу так, как она была обучена: что после любого вопроса идёт ответ, и тот ответ должен быть примерно такого содержания и такой структуры как те, на которых проводилось обучение. Ответ из миллионов комбинаций слов которые когда либо были написаны в интернете, статьях и книгах. Ответ лишь продолжение некой незаконченной идеи, которую лишь надо закончить на основе миллионов других законченных идей, которые уже были где либо написаны. Несмотря на отсутствие точности выдачи, вы вполне реально можете скачать на свой компьютер например gemma-2-9b gguf и больше никогда не спрашивать ничего в интернете, потому что почти все знания уже есть внутри нейросети. Проблема появляется в момент когда вы хотите что-то от нейросети: она действительно может сократить текст, перевести текст, разбить его по главам или написать его содержание (например целой книги). Но никаких новых идей она не даст, ничего уникального. И она даже не сможет обработать вашу уникальную идею, расширить её, или описать, как в случаи если попросить её написать код с элементами которые крайне не популярны или вообще изобретены вами... Лишь имитация. Но несмотря на мою критичность и очень долгий опыт работы с LLM, - Сама мысль что все знания мира и человечества, все идеи книг, история и события, могут, с большой погрешностью, но поместиться на DVD 4.7 gb Немного завораживает.

Пиздец

Эмулирование процессоров на уровне логических вентилей на JS
Zilog Z80 (ZX Spectrum)
Ricoh 2A03 (NES/Dendy)
MOS Technology 6502 (Apple I)