🚀 Grok 2.5 теперь можно запускать локально!

Unsloth выкатили оптимизированную версию модели:

🔹 270B параметров работает на обычном Mac с 128GB RAM (~5 токенов/сек)
🔹 Размер уменьшен с 539GB до 118GB (–80%)
🔹 Ключевые слои модели сохранены в 8-битном формате, а все остальные сжаты с помощью динамического 3-битного GGUF.

🟢Гайд: https://docs.unsloth.ai/basics/grok-2
🟢 GGUF: https://huggingface.co/unsloth/grok-2-GGUF

@ai_machinelearning_big_data

#AI #xAI #Grok2 #LLM #OpenSource #MachineLearning #DeepLearning

🔥 WFGY 2.0 — Semantic Reasoning Engine for LLMs (MIT)

Это движок с открытым исходным кодом, цель которого — уменьшить галлюцинации и логические сбои в системах типа RAG / LLM, особенно когда:
- источники OCR-текста плохо распознаются,
- происходит «semantic drift» (когда ответ уходит от вопроса),
- «ghost matches», когда извлечённый фрагмент кажется релевантным, но на самом деле нет.

Обычно ошибки ловят уже в готовом сгенерированном тексте, из-за чего они часто повторяются.

В Semantic Reasoning Engine всё наоборот: если система видит, что рассуждения «кривые» или сбились с курса, она останавливается, сбрасывается или ищет другой путь и отвечает только когда состояние стабильно.

🛡Авторы называют это semantic firewall - семантический «файрвол».

Проверки встроены прямо в процесс мышления модели, а не поверх ответа с фильтрами или регексами. Это помогает избегать ошибок до того, как они попадут в вывод.

📌 Проект включает карту из 16 типичных ошибок LLM:
- неверный поиск данных,
- сбившаяся логика,
- «провалы памяти»,
- путаница ролей агентов и другие.

Для каждой есть простое текстовое исправление. Никаких SDK — достаточно вставить инструкции прямо в промпт.

🟢Как модель решает, правильные ли ответ генерируется:
- ΔS (drift) - не уходит ли смысл слишком далеко от шага к шагу
- λ (convergence) - сходится ли рассуждение к решению или крутится в цикле
- Coverage — достаточно ли фактов и аргументов учтено

Если все три условия выполнены, ответ считается «качественным».

🟢В тестах стабильность вывода выросла до 90–95% против обычных 70–85% у традиционных подходов.

▪ Github: https://github.com/onestardao/WFGY

@ai_machinelearning_big_data

#ai #llm #opensource #reasoning #hallucinations #promptengineering