Всем привет! Это Мастридер. В этом канале буду рассказывать про свой опыт внедрения нейронок и других прорывных технологий в жизнь. Делиться личным опытом, лайфхаками и интересными ресурсами, которые нахожу. И анонсировать свои проекты в этой сфере.

Ближайший из них — третий поток образовательной группы "Адаптация", встречи которого начнутся в понедельник, 27 октября. Ссылку на запись в группу вы увидите здесь одними из первых. Всего будет 30 мест, из них 5 уже заняли до публичного анонса друзья учеников предыдущих потоков. В прошлых двух потоках были солд-ауты, так что не пропустите анонс, если хотите записаться в этот раз.

Делюсь инструкцией по настройке локальных нейронок, если вы захотели это сделать (про то, какие это нейронки и зачем они нужны, писал сегодня на "Мастридах").

Итак, я делал всё через приложение LM Studio. У меня Мак, но на Винду это приложение тоже есть. Вот сайт, оно бесплатное: https://lmstudio.ai/download?os=mac

Что дальше? После установки LM Studio выбираете внутри нужный вам уровень сложности (я выбрал Power User) и качаете нужные вам нейронки прямо внутри приложения. Либо можете скачать их с сайта разработчика, а потом внутри LM Studio вручную вставить ссылку на конкретную папку, где лежит файл с нейронкой (имхо, первый вариант проще).

Если качаете модель Qwen типа instruct (как я), можете выставить такие настройки в ней (копирую инструкцию от ЧатГПТ — пятая итерация, предыдущие четыре у меня нормально не сработали):

1) Context (вкладка справа сверху)
В поле System вставь ровно:

English by default. 1–2 sentences unless I say “longer”. No emojis. No role-play. Don’t ask me questions back unless I ask. Don’t show chain-of-thought; answer only.

(Примечание от меня: можно и на русском эту модель просить отвечать. Я прошу инглиш, т.к. есть ощущение, что на английском она меньше тупит).

Больше ничего в Context не заполняй.

2) Model → Settings
• Temperature: 0.5
• Limit Response Length: ON → 200
• Context Overflow: Truncate Middle
• Stop Strings: пусто

3) Model → Sampling
• Top-p: 0.9
• Top-k: 40
• Repeat Penalty: 1.15
• Min-P: выключить

4) Preset
Нажми Save (или Save As New… → назови Qwen short).

5) Новый диалог
В левой колонке + → New Chat, убедись, что сверху выбрана qwen2.5-7b-instruct, и активен пресет Qwen short.

6) Тест
Напиши: Hey, how’s it going?

Кто сделает это всё успешно, напишите — поделитесь своим опытом! А кто уже пользуется локальными нейронками, напишите — какими. Открыл в рамках эксперимента комменты в этом канале. Если будет много спама, закрою :)

И небольшой прикол: сначала я скачал свою первую локальную нейронку через приложение "Терминал" Мака. Всё прошло успешно, кроме того, что она распознала какие-то команды из терминала как промпт для самой себя и начала выдавать лютые галлюцинации :)

Как мне потом объяснила ГПТшка, дело в том, что медицинская нейронка Meditron запрограммирована отвечать только на промпты на английском (хотя отвечать может и на русском, если ей дать правильный системный промпт). А ещё в том, что это только медицинский консультант. И, если ей задавать общие вопросы о жизни, она начинает пороть какую-то чушь.

И третья причина: на тот момент я просто скачал нейронку и не задал в ней никакие настройки. А нужно было поправить температуру (параметр параметр, который определяет степень "импровизации" нейронки: насколько её ответы на один и тот же промпт могут отличаться в разных диалогах), плюс параметр Repeat Penalty и максимальную длину ответа в токенах.

Всё это, как я понял, можно настраивать и в терминале, но это не особо удобно, так что LM Studio — наш с вами выбор.

Интересен такой контент? Делиться такой внутрянкой?