Мне практически каждый день задают те или иные вопросы по каким-то проблемам или настройками из сферы ИТ: в личных сообщениях, в комментариях или форуме на сайте, тут в чате, в ВК. Последнее время переадресовываю эти вопросы ИИ и отправляю ответ. Чаще всего он решает задачу.

Хочу лишний раз всем напомнить, кто пропустил вспышку - используйте ИИ. Он уже сейчас решает очень большой спектр задач. Да, иногда неидеально и не полностью, но не пользоваться им в наши дни, всё равно, что ходить пешком, когда уже можно ехать на автобусе или машине. Транспорт не отменяет хождение, но идти, когда можно ехать, особого смысла нет, если стоит задача быстро попасть в нужное место, а не прогуляться.

Я сам не сказать, что прям активно использую ИИ, но пользуюсь каждый день. Из платных версий уже 2 раза по дешёвке покупал Perplexity и оба раза мне блокировали аккаунты. Пользуюсь бесплатными: ChatGPT, DeepSeek, Qwen, Perplexity. Пока у них ещё нормальные бесплатные лимиты. Для простых задач хватает и бесплатных версий. По отзывам платные намного качественнее, но у меня и задач для них пока нет. Код не пишу, хотя есть желание попробовать. Уже обдумал задачи, на которых опробую. В ежедневной текучке хватает бесплатных.

DeepSeek, Qwen и Perplexity работают без каких-либо ограничений. Не нужно VPN включать. Не вижу никаких причин ими не пользоваться, но куча знакомых и незнакомых мне людей до сих пор ими не пользуются. Не знаю, почему. То ли разбираться лень, то ли не верят, что они им помогут. Если не пробовали ещё, то обязательно попробуйте и начинайте использовать. Чего ждать то? Будущее уже наступило. Теперь работа с ИИ будет обыденностью. Самое главное - не махайте рукой, типа это фигня, если он не решит какую-то задачу или наврёт. С ИИ надо учиться взаимодействовать и не ждать от него чуда. Это рабочий инструмент, к которому нужно привыкнуть и использовать по назначению.

Я и юридические вопросы ему задаю. Много врёт и даёт неточную информацию, доверять нельзя, но как отправная точка может помочь. И бытовые, по ремонту машины, например. Тут хорошо помогает. Сказывается богатая база информации на автофорумах, которая не теряет актуальности со временем.

По ИТ само собой. Портянки bash и регулярок пишет почти всегда рабочие, хоть и не оптимальные. По ошибкам и логам тоже очень хорошо помогает решать проблемы. Сконфигурировать какой-то новый сервис или актуализировать конфигурацию под только что вышедшую версию чаще всего не может, начинает фантазировать. Сказывается отсутствие обучающего материала, который ещё не написали. Для старых сервисов даёт конфигурации рабочие, но часто неоптимальные, с лишними параметрами. Я обычно получаю от него конфигурацию, прошу всё пояснить и дальше по документации сверяю некоторые моменты и убираю или меняю то, что мне не нужно. То есть использую ИИ только как помощник, не доверяю ему полное решение задачи. Хотя он может решить, но плохо. Так как я пока ещё могу сам проверить всё, делаю это.

❓А у вас как дела с ИИ складываются? Есть ещё те, кто его не использует? Чем руководствуетесь при этом? Отдельно поинтересуюсь, какие платные подписки покупаете и самое главное, как оплачиваете? Не разбирался пока с этой темой.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Расскажу историю по мотивам утренней, как моя невнимательность и ошибки бесплатных СhatGPT и Qwen привели к тому, что я несколько часов ходил по кругу и не мог решить простейшую задачу. Думаю, это будет наглядным примером того, как не стоит сильно доверять ИИ даже в простых задачах.

Как я уже писал, у меня была задача - собирать логи Mikrotik в Loki. Первое, что я сделал - задал вопрос на эту тему ChtaGPT, чтобы в целом понять структуру задачи. Он ответил вполне логично, что можно взять устаревший Promtail, или современный и рекомендуемый Alloy. И сразу предложил к нему конфигурацию.

Я, уже наученный опытом использования конфигураций от ИИ, сразу же пошёл в документацию, чтобы самому собрать нужные параметры. Меня интересовали параметры для раздела loki.source.syslog. Я этот поисковой запрос вбил в Яндексе, в надежде сразу попасть в документацию, как это обычно бывает. И я действительно попал в документацию Grafana, только для продукта Agent, который был предшественником Alloy. У них одинаковая структура конфигурации, просто у Alloy намного больше параметров. Но визуально они не отличаются.

Я собрал конфиг для syslog на основе этой документации. Запустил, всё работает. Оправляю логи с Mikrotik и получаю ошибку парсинга. Я опять пошел в ИИ и спросил его, в чём ошибка и как решить. Он логично отвечает, что Alloy ожидает RFC5424, а получает RFC3164-подобный формат от Микротика.

И дальше он предлагает параметр, который решает эту проблему:

syslog_format = "rfc3164"

❗️Но вставляет его не в тот раздел конфигурации. Я добавляю, запускаю, получаю ошибку конфигурации на параметр syslog_format, якобы его не существует. Пишу это в ИИ и он мне на голубом глазу отвечает:

В Grafana Alloy нет параметра syslog_format (я привёл аналогию с другими инструментами — здесь это не работает).

Я возвращаюсь на вкладку документации для Agent, всё там проверяю и действительно не вижу этого параметра. Ну а дальше поехали всевозможные костыли, на которые я потратил кучу времени, но задачу таки решил через одно место.

И уже позже, когда я разбирался с метками на основе syslog полей, я попадаю в документацию Alloy и с удивлением вижу там:

The messages must be compliant with the RFC5424 syslog protocol or the RFC3164 BSD syslog protocol.

Это было как гром среди ясного неба. Я не понимаю, чем я вообще занимался и какую задачу решал. Сравнил две вкладки с документацией Agent и Alloy. Они очень похожи, так как последний является продолжением первого, просто для него добавились дополнительные параметры.

Сделать нужно было вот так:

loki.source.syslog "syslog_in" {
 listener {
  address = "0.0.0.0:1514"
  protocol = "udp"
  syslog_format = "rfc3164"
 }
 forward_to = [loki.process.syslog_process.receiver]
}

А ИИ предложил так:

loki.source.syslog "syslog_in" {
 listener {
  address = "0.0.0.0:1514"
  protocol = "udp"
}
 syslog_format = "rfc3164"
 forward_to = [loki.process.syslog_process.receiver]
}

Поставил параметр не в ту секцию. Когда получил ошибку на syslog_format, с какого-то перепугу заявил, что его не существует. А я из-за невнимательности поверил и решил, что его действительно нет.

Параллельно я этот же вопрос решал с Qwen и он тоже не дал рабочей конфигурации для Alloy.

Такая вот для меня поучительная история получилась. Не знаю, как работают платные версии, но бесплатные явно путаются и в некоторых сферах работают плохо. Я так понял, что тут наложилось то, что был Promtail, Agent и теперь появился Alloy. Все 3 программы решают одинаковые задачи, существовали одновременно, конфигурации похожи, поэтому получается путаница. Проще было с самого начала сделать всё самому. Это бы заняло 10-15 минут. А в итоге несколько часов потратил. Правда, многому научился. И получил в итоге самый удобный вариант, о котором напишу в следующей заметке.

☝️ По сути тут ошибся я сам, с себя ответственности не снимаю. С ИИ какой спрос? Он постоянно ошибается. В итоге наложилось одно на другое. ИИ мог бы помочь мне, но сделал ещё хуже - пустил по ложному следу.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Решил понемногу погружаться в тему ИИ, чтобы изучить технологию работы с ними не на уровне вопросов в окно чата, а чуть поглубже. Начать решил с локальных моделей, так как они всегда под рукой, бесплатны, нет ограничений доступа, а технически взаимодействие с ними такое же, как и с большими платными моделями. Разница лишь в качестве ответов. Для обучения это некритично.

Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст:

▪️AMD Ryzen 5 5600
▪️32 ГБ Памяти
▪️RTX 5060 8 ГБ

Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал.

Работал с Ollama и LM Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. LM Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а LM Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные.

У LM Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. LM Studio делает примерно то же самое у себя.

У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например:

- Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду;
- Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15;
- Gemma-4-31B-it-Q4_K_M только 1.

Для первоначального знакомства ориентироваться стоит на популярные модели:

◽️Qwen
◽️Llama
◽️Gemma
◽️GigaChat
◽️Mistral

Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно.

Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей:

🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач.
🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно.
🔹Работа с моими текущими задачами, документами, календарём.
🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д.

Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними:

- Google MCP Servers
- NeuralDeep MCP (много российских интеграций)
- Official MCP Registry
- MCPmarket

Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно.

Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Покажу один из примеров, где локальные модели вполне могут справляться с поставленными задачами. Есть открытый проект Vane, в прошлом назывался Perplexica. Как можно понять из названия, это копия функциональности Perplexity. Автор переименовался, потому что хочет развивать продукт в другом ключе, а не делать клон популярного сервиса.

Vane работает на базе открытого поисковика SearxNG. Он собирает поисковую выдачу, передаёт результат в ИИ, который формирует ответ. Всё это работает локально и управляется вами. В чём преимущество и удобство Vane? Тут три основных момента.

1️⃣ Вы управляете через настройки SearxNG поисковой выдачей. Можете выбирать поисковую систему, или несколько систем, с которых будет браться выдача.

2️⃣ Вы сами выбираете модель, которая будет формировать выдачу. Это могут быть как платные внешние модели, типа OpenAI, Gemini, Groq, Anthropic, так и локальные, запущенные через Ollama или LM Studio.

3️⃣ Все результаты хранятся у вас локально. Нет риска быть забаненными и потерять все диалоги.

Я погонял этот движок на базе локальных моделей через LM Studio. Настройка очень простая. У меня всё сразу получилось. При использовании моделей Openai/gpt-oss-20B, Qwen3.6-35B-A3B, Qwen3-Coder-30B-A3B ответ готовится 1-3 минуты, что вполне терпимо. И при этом он нормального качества. Если брать модели попроще, то качество ответов мне не понравилось.

Рассказываю, как всё это настроить у себя. Запускаем Vane на любой виртуальной машине. Много ресурсов не надо, 4vCPU и 4GB памяти хватает за глаза. Может и меньше - это стандартный размер моей тестовой виртуалки.

# docker run -d -p 3000:3000 -v vane-data:/home/vane/data --name vane itzcrazykns1337/vane:latest

Vane запустится сразу с настроенным SearxNG, где по умолчанию настроен поисковик Google. Для постоянного использования SearxNG лучше установить и настроить отдельно, чтобы можно было управлять выдачей. Это нетрудно сделать. Для тестов хватит и гугла.

Качаем и устанавливаем LM Studio. Там простой установщик, сложностей никаких нет. Запускаем LM Studio, идём в раздел Model Search, там где робот с лупой нарисован. Ставим максимально возможную для вас модель. Проще всего начать с Qwen или GPT-OSS. Они для этих задач хорошо подходят.

Идём в раздел Local Server, загружаем скачанную модель. Контекст выставляем примерно 20 000. Мне его всегда хватало. Если меньше, то иногда поисковик ругался, что не хватает контекста. После загрузки модели включаем ползунок Status: Stopped, чтобы он стал Status: Running. В свойствах сервера активируйте параметр Serve on Local Network, чтобы он стал доступен по сети, а не только локально.

Открываем в браузере виртуалку с Vane на порту 3000. Он запущен без аутентификации, сразу можно работать. Идём в настройки, нажимаем Add Connection, выбираем Connection Type - LM Studio и указываем адрес машины с запущенной ИИ, порт по умолчанию 1234. У меня адрес LM Studio - http://192.168.137.200:1234/.

Заходим в добавленное подключение, выбираем Chat Model - openai/gpt-oss-20b, Embedding Model - all-MiniLM-L6-v2. Я не знаю, чем они принципиально отличаются. С этой мне больше всего понравилась скорость и результаты.

На этом всё. Открываем новый чат и вводим запрос. Работает примерно так же, как бесплатная Perplexity, только тут вы управляете и поисковиком, и моделью. Можете подключить нормальную коммерческую, результат будет отличный, и при этом всё хранится и управляется вами.

Понравилось, что он умеет ходить на заданные сайты и готовить выжимку из новостей, или конкретной статьи. Не пишет, как Qwen, что я не умею ходить по ссылкам. Важно, чтобы сайт его не распознал, как работа и не заблокировал парсинг. Какие-то блокируют, какие-то нет.

Из багов заметил, что иногда падал контейнер с Vane, когда использовал разные embedding модели, в том числе запущенные в LM Studio. Со стандартной all-MiniLM-L6-v2 проблем не было.

Получается вполне себе функциональное и прикладное решение.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Вчера был на бесплатной конференции по машинному обучению и искусственному интеллекту от Селектел. Пока свежи воспоминания, поделюсь некоторыми мыслями на эту тему. Конфа была больше для руководителей и людей, принимающих решения. Было мало технических подробностей и много примеров внедрения в бизнесе для решения различных задач.

🔹Особенность ведения бизнеса в современных реалиях в РФ такова, что локальные нейросети, развёрнутые на своих или арендованных серверах - это повсеместная история. Доступ к технологическим мировым лидерам ограничен как технически (блокировки, санкции), так законодательно (персональные данные, трансграничная передача). Особых проблем в этом нет, так как многие задачи успешно решаются условно небольшими нейросетями, а сама технология ещё не оформилась в какую-то стабильную и понятную историю. Идут постоянные изменения, обновления, улучшения. Всё меняется очень быстро. Завязки на что-то одно крупное будут скорее вредить, чем помогать.

💡У меня в голове по этому проводу возникла мысль, что сейчас очень хорошее время зайти специалистом в эту область знаний. Я не про себя сейчас, а вообще. Технология развивается, всё постоянно меняется, устоявшихся практик и готовых специалистов нет или очень мало. Если вы ищите себя в IT и пока не знаете, на чём сфокусироваться, обратите внимание на ML и AI.

ML-инженеры уже давно сформировались, это не сказать, что что-то новое, а вот AI-инженеры, которые занимаются построением инфраструктуры для использования нейросетей, сейчас будут очень востребованы. Вокруг нейросети нужно построить масштабную и нагруженную технологическую платформу, чтобы всё это успешно работало. Она сейчас включает в себя как минимум сам движок LLM, RAG, векторную БД, MCP Server, агенты, LLM прокси для роутинга запросов. Наверняка появится какая-то платформа для управления всем этим. Сейчас каждый свою пишет так, как ему кажется удобнее.

🔹Вопреки расхожему мнению, что небольшие локальные модели на те же 30B не могут конкурировать с огромными облачными, это не так. Для многих локальных задач небольших моделей достаточно. Наиболее популярные модели от qwen, gemma, gpt-oss, minimax.

🔹Некоторые примеры решения задач с помощью ИИ:
◽️Рекрутёр обзвонщик разговаривает с кандидатами, ищет подходящих, передаёт дальше.
◽️Текстовая и голосовая работа операторов с базой знаний, которая постоянно обновляется. Популярная задача, актуальная почти для всех компаний.
◽️Изменение стоимости доставки в интернет-магазине в зависимости от нагрузки сервиса, чтобы снижать при нехватке водителей поток клиентов повышением цены.
◽️У банков иишки уже много лет решают кучу задач: предсказания по кредитам, выплатам, внутренняя база знаний, поддержка клиентов, антифрод, работа с документами и т.д.

Понравилась история с примером AI агента, который помогает операторам банка отвечать клиентам почему им не начислили тот или иной кэшбек. Банки настолько усложнили схему с кэшбеками, что без AI не разобраться. Я по этой причине вообще не пользуюсь никакими кэшбеками принципиально. Не хочу забивать себе этим голову.

🔹Несколько практических моментов, которые для себя вынес:
- MiniMax и OpenCode - ai ассистент в терминале и ide.
- LiteLLM Proxy - проксирование запросов в разные LLM.
- Модели нормально крутятся в Kubernetes.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Трачу сейчас всё доступное для обучения свободное время на взаимодействие с ИИ. Очень увлекает, трудно оторваться вечером и лечь спать. Мои публикации на этот счёт стоит воспринимать как заметки. Это не обучающий материал и не лучшие практики, которые стоит перенимать. Делюсь своими наблюдениями и опытом.

Поставил себе цель в первую очередь изучить работу агентов. Для этого на первом этапе сформулировал простую, но вполне прикладную для меня задачу, которую хочу решить полностью с помощью агентов. Основные вехи:

◽️Настроить ansible-контроллер и написать плейбуки для автоматической установки агента Zabbix под разные системы.
◽️Настроить автоматическое добавление узлов на сервер мониторинга и назначение шаблонов, внесение в них изменений.
◽️Настроить MCP-сервер и организовать взаимодействие с сервером Zabbix человеческим языком, чтобы можно было делать примерно такие запросы: "Назови мне узлы, где в течении ближайшей недели закончится свободное место на дисках", "Какие компьютеры остаются включёнными в выходные дни", "Какие виртуальные хосты веб серверов больше всего нагружены" и т.д.

Это основные тезисы, с которых я начал. Сейчас уже техзадание, доработанное самим агентом выглядит намного объёмнее и конкретнее.

Начал изучение агентов с OpenClaw и OpenCode. Они на слуху, я видел много материалов по ним. К сожалению, в основном видел какие-то бестолковые примеры, где просто всё устанавливают и делают какие-то условные задачи для демонстрации работы. Из-за этого я даже не понял, что это два совершенно разных инструмента.

Сначала установил OpenClaw. Это монстр, где куча функциональности. Он не просто агент, это - погонщик агентов. У него много настроек и возможностей. Он жрёт кучу токенов и на локальных моделях безбожно тормозит. Сделать что-то путное с ним без жирной подписки не получится. Начинать с него знакомство с агентами было ошибкой. Я только кучу времени потерял и не получил практического опыта.

Потом установил и настроил OpenCode на небольшой виртуалке (2CPU, 4GB RAM). С ним работать одно удовольствие. Без проблем во всём разобрался и начал вайбкодить 😁 Сразу покажу последовательность действий, чтобы можно было повторить.

# curl -fsSL https://opencode.ai/install | bash

Подключил к нему пару моделей из своей LM Studio:

# cat ~/.config/opencode/opencode.json

{
 "$schema": "https://opencode.ai/config.json",
 "provider": {
  "lmstudio": {
   "npm": "@ai-sdk/openai-compatible",
   "name": "LM Studio (local)",
   "options": {
    "baseURL": "http://192.168.137.200:1234/v1"
   },
   "models": {
    "qwen/qwen3.5-9b": {
     "name": "qwen3.5-9b"
    },
    "qwen/qwen3.6-35b-a3b": {
     "name": "qwen3.6-35b-a3b"
    }
   }
  }
 }
}

Добавил 2 модели: qwen3.5-9b и qwen3.6-35b-a3b. На первой с контекстом до 30к работает шустро, нет ощущения, что всё тормозит. Я даже удивился, что агент так бодро работает и вполне осмысленно. По строке в секунду появляется в чате. Удобно разрабатывать план, вносить уточнения.

Для работы с контекстом в 30к нужно сильно дробить задачи, иначе его не хватает. Плейбуки для ансибла пишутся нормально на модели qwen3.5-9b. Модель 35b-a3b подойдёт только для проработанного задания, чтобы запустить его и оставить думать на пару часов.

После настройки opencode, создаём каталог, инициализируем там git репозиторий и кладём в него файл с заданием, которое вы написали.

# mkdir zabbix-ai
# cd zabbix-ai/
# git init

Дальше можно работать тут же в консоли, но я для удобства открыл VSCode, подключился к серверу по SSH. Там более удобное окружение для одновременной работы с файлами и терминалом.

В каталоге с инструкцией запустил opencode:

# opencode

Открылся чат. Выбрал в нём режим Plan, модель qwen3.5-9b и стал командовать. Начал с того, что дал задание написать подробный план работ на основе инструкций из моего файла.

Ну а дальше пошёл бесценный опыт взаимодействия с агентом, который в двух словах не описать. Об этом напишу отдельно, когда задача будет решена.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Расскажу кратко, как я работаю с AI. Не нужно воспринимать это как инструкцию и повторять слепо за мной. Я особо не разбирался с этой темой, не тестировал, где лучше, дешевле, удобнее. Использую набор продуктов и сервисов, которые меня устраивают и решают поставленные задачи. Всё это сейчас невозможно купить напрямую, поэтому делюсь информацией, чтобы вам не пришлось тратить время, чтобы попробовать то же самое.

Я использую китайский сервис z.ai и его модели GLM-4.7 и GLM-5.2. Вторая подороже по расходу токенов, но на своих задачах я не особо вижу разницу. Если токенов много, ставлю 5.2, если мало остаётся, использую 4.7. Мне хватает самого начального тарифа за $18.

Напрямую с российских карт оплатить не получится. Я использую посредников на plati.market. Ссылка на продавца, где я оплачивал последние 3 месяца. Сначала купил оплаченный аккаунт, а потом его же продлевал. После оплаты приходится в чат отправлять логин и пароль от учётки. Сейчас, кстати, почему то стоимость ниже, чем была всего пару недель назад. Я плачу USDT. У меня есть некоторая сумма, которую непонятно как и куда выводить. Мне очень удобно тратить именно их на подписку.

В качестве агента использую opencode. Он нативно интегрируется с z.ai. Достаточно в сервисе создать ключ для доступа по API и указать его в opencode. Мне нравится этот агент за простоту и функциональность. Чтобы начать работать, не нужна какая-то особенная настройка. Можно просто установить и пользоваться. Будет нормальный результат сразу. Потом уже можно что-то донастроить по своим потребностям.

У меня отдельная виртуалка с opencode, там директории с проектами, оттуда они пушатся во внешний git репозиторий. Какие задачи решаю с помощью агента? Довольно простые, прикладные, которые упрощают повседневную рутину. В основном это плейбуки ансибла. Приведу конкретные примеры:

▪️Набор плейбуков для базовой настройки систем с различными ролями + обвязка вокруг них на bash скриптах для некоторого удобства.
▪️Плейбук для быстрой установки и интеграции в мою инфраструктуру новой VPS со всем, что надо для обхода деградации, замедления и блокировки.
▪️Мониторинг температуры некоторого железа с помощью Zabbix.
▪️Быстрое автоматическое добавление узлов с различными системами в мониторинг и сбор логов.

Ну и так далее. То есть ничего особенного, чего бы я не смог сделать сам, но агент это делает намного быстрее. Сначала он что-то разработает. Я ему даю доступ к тестовым виртуалкам. Он там сам всё проверяет и отлаживает, пишет инструкцию по использованию. А потом уже я иду, проверяю и в дальнейшем пользуюсь сам. То есть какие-то процессы полностью на автоматическое исполнение я агенту не отдаю.

Это я привёл примеры по администрированию. Я и некоторые другие свои задачи с ним решал, но сразу скажу, что навайбкодить что-то прям хорошее, рабочее у меня не получилось. Это не такая простая задача, как кажется. До удовлетворительного результата, чтобы сделать, закрыть задачу и начать пользоваться, у меня не получилось довести. Пока всё в полурабочем состоянии. На это надо много времени. У меня свободного почти нет, поэтому занимаюсь в основном текучкой.

Ещё отдельный спектр задач по поиску информации в интернете и консультированию. Агент хорошо ходит по ссылкам, что-то проверяет, анализирует, структурирует и выдаёт результат. Это разовые задачи без артефактов на выходе. По сути работает как поисковик и советник.

Первое время я прям много всего делал, нужного и ненужного. Было интересно, ночами сидел, не мог оторваться. Завораживает, как агент сам делает осмысленную работу за тебя. Лимиты все тратил. А сейчас всё основное сделано, пользуюсь не так часто.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

У меня основной инструмент взаимодействия с ИИ - агент OpenCode. Мне в целом привычна и удобна работа в консоли, особенно для решения конкретных прикладных задач. Я тут же могу проверить решение - запустить, подключиться к другому серверу и т.д. Но иногда не хватает веб интерфейса для некоторых задач. У opencode есть свой встроенный веб интерфейс, но он мне совершенно не понравился. Неудобный.

Не так давно я смотрел обзор агента Coddy от автора. Мне он показался интересным, запомнил. И вот дошли руки попробовать. Сразу скажу, что он мне понравился и я оставил его себе для работы. К сожалению, у меня нет возможности пользоваться и сравнивать разные агенты, коих сейчас выходит очень много. В Coddy просто есть сразу всё, что лично мне нужно.

Что понравилось в Coddy и что он умеет:

▪️Простой инструмент из одного бинарника, конфига и папок со скилами, сессиями, кроном и т.д. Его легко запускать, переносить, обновлять.
▪️Три режима работы: ACP (взаимодействие агентов), HTTP (работаете в браузере), Gateway (взаимодействие через Telegram или другой мессенджер). Все три режима используют единое хранилище сессий. Например, в браузере можно посмотреть, что вы делали в других сессиях.
▪️Куча основных инструментов уже встроены: чтение файлов, запуск команд, ssh соединения, поиск через поисковики, анализ сайтов и т.д.
▪️Простой и лаконичный веб интерфейс. Ничего лишнего.
▪️Можно подключать все популярные llm, в том числе локальные.
▪️Нормально работает с локальными моделями, так как по умолчанию почти не расходует контекст на свою работу.
▪️Вся функциональная современная база есть: rules, sheduler, skills, mcp, long-term memory между сессиями или глобальная.
- По умолчанию всегда спрашивает, прежде чем что-то выполнять.

Что не понравилось:

◽️Не показывает статистику по генерации ответа. Не видно, какая была скорость генерации токенов для локальных моделей.
◽️Добавлять настройки через веб интерфейс неудобно.
◽️Результат работы планировщика можно посмотреть только в консоли, либо я не понял, где и как искать результаты работы в веб интерфейсе.
◽️Запросы на выполнение той или иной команды иногда почему-то выводятся где-то вверху в чате, хотя сам чат уже уехал вниз. Похоже на какой-то баг.

В общем, мне этот агент показался удобным, чтобы в одном месте собрать всю работу с llm. Поставил coddy на постоянку, буду использовать вместе с opencode, первого для работы в браузере, второго - в консоли.

На картинках мои примеры работы с локальной моделькой omnicoder-9b. Я её долго мучал. Она шустро у меня работает и не сказать, что сильно тупая. Если аккуратно подойти к настройке, то многие админские задачи сможет выполнять. Например, проверять регулярно какие-то логи с хостов и формировать отчёт.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

У меня есть задача, которую я себе поставил, когда стал на практике разбирать работу с ИИ не в формате чата и выполнения простых агентских задач. Хочу получить возможность локально работать со своими документами, коих у меня немало - документы по моему ИП, различные квитанции по оплате, документация по стройке и дому, мои текстовые заметки по различным темам и некоторые другие. Отправлять всё это на постоянной основе в облачные сервисы не хочется. Эта же задача может быть актуальна практически для любого современного бизнеса. Так что разобраться в ней полезно.

Недавно я увидел программу AnythingLLM, которая показалась готовым решением, где описанную задачу можно решить максимально просто. На практике там очень много нюансов и лично мне не удалось получить удовлетворительный вариант. Расскажу обо всём по порядку.

В Anythingllm есть два варианта работы с локальными файлами:

1️⃣ Вы создаёте рабочее пространство и вручную загружаете в него файлы по теме. Они обрабатываются, составляется векторное представление (embedding) и записывается в векторную базу данных. Вы получаете полноценную RAG-систему. Теперь при ответах LLM может учитывать информацию из RAG.

В Anythingllm удобно то, что по умолчанию в каком-то виде всё это уже настроено и работает, не нужно разбираться в нюансах - выбирать базу данных, embedder. Для каких-то совсем простых ситуаций этого будет достаточно. Но если нужна полноценная работа, то со всем этим нужно детально разбираться. Там очень много нюансов. Первое, с чего начать - заменить embedding модель с английской на мультиязычную.

2️⃣ Можно настроить агентский skill, который умеет работать с файлами - искать, открывать, изменять и т.д. Доступы и ограничения гибко настраиваются. Сделано удобно, работает нормально. Но опять же, со своими нюансами.

В ютубе много роликов на тему Anythingllm, но все они очень поверхностны. Скачали, запустили, закинули вручную 10-20 файлов и что-то ищем в них, редактируем. Это сразу заработает.

Я тестировал на ~1500 файлах, связанных с деятельностью моего ИП - договоры, акты, соглашения и т.д. Подключил локальную LLM через LM Studio. Пробовал разные модели. Более-менее нормальный результат можно получить только с нейронкой от qwen3.5-9b и выше. Но даже её мне не хватало. Для глобального поиска по всей базе не хватает контекста даже в 128к токенов. Моя RTX 5060 и его не тянет. Саму Anythingllm я запускал отдельно на другой машине. Ей тоже нужны ресурсы, но в основном разово, при обработке новых документов.

Тестировал на следующих запросах:

◽️составь таблицу всех контрагентов и отсортируй их по количеству договоров
◽️найди самую низкую оплату по договору и самую высокую
◽️составь список наиболее популярных услуг в договорах и т.д.

Хотел получить какую-то простую и быструю аналитику без необходимости вытаскивать её из бухгалтерской программы. Хотя очевидно, что подобную задачу логичнее выполнять именно в ней.

В процессе тестов выяснилось, что если вы подключаете директорию через skill, то она никак не обрабатывается. Файлы из неё не попадают в RAG. LLM может с ней работать напрямую, что требует огромного контекста, если там много файлов. Для того, чтобы что-то найти, надо всё прочитать и загрузить в контекст, либо явно указывать, с каким конкретно файлом мы работаем. Фактически это бессмысленный для меня в таком виде вариант.

По умолчанию в RAG документы добавляются только вручную. Чтобы это автоматизировать, надо использовать API и писать логику. В этом ничего особо сложного нет, но нужно заниматься. Получается уже не такое простое и удобное решение.

Как я понял, простого решения задачи в лоб нет. В таком виде с сырыми файлами работать не получится. Надо всё это обрабатывать, загонять в базу данных и работать с ней. Я себе представлял, что RAG позволит без этого обойтись, но как показала практика, нужен очень большой контекст.

В целом, Anythingllm мне понравилась. Простой и функциональный инструмент. Думаю, что буду его использовать дальше в рамках его возможностей.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

LLM со всеми их огромными возможностями стремительно и плотно входят в нашу жизнь, так что игнорировать их категорически противопоказанно, если вы хотите оставаться востребованным специалистом. Даже если вам кажется, что на текущий момент они вам ничем не помогут, скорее всего вам кажется. Пробуйте, изучайте, находите применение.

Покажу на примере, как можно взаимодействовать с Proxmox VE с помощью LLM и Proxmox MCP Server. Думаю, на этой фразе у многих возникает вопрос, как можно ИИ дать доступ к своему кластеру. Вдруг поломает что-нибудь. С этим нет особых проблем, так как доступ будет через токен, которому можно добавить права PVEAuditor и кроме как читать информацию, он больше ничего не сможет сделать. А если вы поверите в ИИ и себя, то можно и расширить.

Показываю сразу бесплатную рабочую конструкцию, которую вы можете повторить у себя и попробовать. Я буду использовать консольного агента opencode и одну из его бесплатных моделей. Если у вас есть своя, можете подключить её. Всё выполняю в тестовом окружении. В прод уже сами подумаете, как вам лучше всё это развернуть.

1️⃣ Устанавливаете opencode.

2️⃣ Создаёте директорию для проекта, например, PVE.

# mkdir ~/PVE

3️⃣ Клонируем себе MCP Server:

# git clone https://github.com/GethosTheWalrus/proxmox-mcp

4️⃣ MCP написан на python, поэтому нужно установить uv со всеми зависимостями для запуска. Если не хотите этого делать, то можно запустить mcp в docker.

# curl-LsSf https://astral.sh/uv/install.sh | sh
# cd proxmox-mcp
# uv sync

5️⃣ Проверяем запуск:

# uv run proxmox-mcp-server

Нe должно быть ошибок. Закрываем по Ctrl+C.

6️⃣ Создаём в Proxmox токен, привязываем к пользователю, назначаем права.

7️⃣ Добавляем MCP в конфигурацию opencode в файле ~/.config/opencode/opencode.json:

  "mcp": {
    "proxmox": {
      "type": "local",
      "enabled": true,
      "command": [ "uv","--directory", "/root/proxmox-mcp", "run", "proxmox-mcp-server" ],
      "environment": {
        "PROXMOX_HOST": "192.168.177.101",
        "PROXMOX_PORT": "8006",
        "PROXMOX_USER": "root@pam",
        "PROXMOX_TOKEN_NAME": "mcp",
        "PROXMOX_TOKEN_VALUE": "d5dk27-2ced-96a1cdd",
        "PROXMOX_VERIFY_SSL": "0"
      }
    }
  }

8️⃣ Проверяем, подключился ли сервер:

#opencode mcp listn

┌ MCP Servers
│
● ✓ proxmox connected
│   uv --directory /root/proxmox-mcp run proxmox-mcp-server
│
└ 1 server(s)

8. Переходим в папку проекта и запускаем opencode:

# cd ~/PVE
# opencode

Выбираем доступную модель. Если не подключали свою, то можете выбрать одну из бесплатных. Они помечены меткой Free.

Теперь запросы к PVE кластеру можно делать человекоподобным языком. Приведу полезный практический пример:

Выведи IP адреса виртуальных машин на ноде Proxmox srv-admin.

Можно не указывать конкретную ноду, а сначала сделать запрос к кластеру и попросить показать все ноды. В ответ на запрос агент выведет какой-то список. Возможно он вам будет неудобен. Через несколько уточнений вы можете получить удобную таблицу. Чтобы каждый раз не получать разные таблицы, можно тут же попросить агента запомнить формат.

Агент в папке проекта создаст файл AGENTS.md и опишет структуру таблицы. Последующие похожие запросы IP адресов будут сразу иметь удобный формат.

На картинке снизу таблица, которую я собрал на тестовом сервере, где есть машины с Kubernetes и Docker. Добавил туда все интересующие интерфейсы и исключил те, что не нужны. Получилось очень наглядно. Если кластер большой, то такой простой запрос может быть очень полезен, когда надо быстро что-то найти или разобраться.

Описанный MCP может очень много всего делать. Если у вас тестовый кластер, то можете обкатать автоматизацию по созданию, удалению окружений с полными настройками хранилищ, сетей и т.д. И не забывайте, если что-то не понятно, не получается, не знаешь, как делать, спрашивай того же агента. Он всё расскажет, если разрешить, то и настроит. Но с последним аккуратно. А то он такого может настроить.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#proxmox #ai #opencode

Недавно решил попробовать в качестве агента ИИ из подписки ChatGPT Plus. У меня нет постоянно платного аккаунта там, пользуюсь бесплатным. Не захотел покупать на свой основной, где большая история запросов, хотел просто попробовать. Для этого купил за 600р. аккаунт с общим доступом. Как я понял, его продают нескольким людям и они могут одновременно им пользоваться. Не знаю, как это работает и почему аккаунты не банят за такое использование. Но факт в том, что это работает.

Зашёл в аккаунт и просто обалдел. Там история чатов с кучей конфиденциальной информации, коммерческими договорами, сканами документов, переписками из чатов и т.д. 😱 Мне аж как-то не по себе стало, когда я понял, что глупость одних людей так подставляет других, которые даже об этом не догадываются. Там какой-то юрист работал и фигачил всю приватную информацию в чат, которая стала доступна в том числе и мне, и ещё куче других людей. Он даже не догадался удалять свои чаты там. Возможно не понимал, что купил аккаунт с общим доступом.

Всегда стараюсь по максимуму не делиться своими документами, потому что представляю, как легко сканы могут уйти куда-то на сторону. Это на самом деле вступление, написать собирался не об этом. Просто лишний раз предупредил.

У ChatGPT немного замороченная система доступа к API по ключам. В подписке ChatGPT Plus указано, что можно использовать Codex, что подразумевает агентскую работу. А обычно агенты работают по API с доступом по ключу. Но тут немного не так. Токены продаются отдельно от ChatGPT, это вообще другой сервис. А Codex подключается к подписке ChatGPT Plus через OAuth аутентификацию.

Я уже привык использовать OpenCode, и он поддерживает аутентификацию OAuth для подключения к ChatGPT. Запускаем opencode, выбираем /connect, потом ChatGPT Plus/Pro (browser). Вам покажут ссылку, которую надо скопировать в браузер, где сделана аутентификация в аккаунт ChatGPT. Пройдёте по этой ссылке, она отредиректит вас на 127.0.0.1 на какой-то порт, уже не помню какой. Его открывает OpenCode для прохождения аутентификации. Если у вас OpenCode работает на другой машине, как у меня, то нужно будет через SSH сделать проброс порта с машины, где работает OpenCode, на вашу локальную, где открывали ссылку в браузере. Если не понимаете, о чём я рассказал, то закиньте этот абзац в ИИ, но всё расскажет.

В итоге всё работает в OpenCode. Эти общие аккаунты обычно покупают для чатов, так что агентские токены, если повезёт, будут ваши. Если не повезёт, то их не будет вообще. У меня на одном акке все были доступны, а на другом кто-то сжигал недельный лимит за пару дней. Для разовых задач или для того, чтобы просто попробовать - нормальный вариант. Например, я вижу, что там кто-то активно картинки редактирует на разные обложки. Тут пофиг, что аккаунт общий. Если понравится, сделаете себе подписку на свой аккаунт. Сейчас лето, я почти ничего нового не делаю, подписки вообще не оплачиваю.

Забыл важный нюанс. Доступ агента к ChatGPT из РФ заблокирован. Проще всего развернуть его на внешней VPS, где проблем с доступом нет.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

Посмотрел на прошлой неделе обзор Orca - бесплатный оркестратор ИИ-агентов. Разработчики называют его Agent IDE. Изначально проект показался интересным, поэтому захотел его попробовать. Забегая вперёд скажу, что инструмент реально удобный, но больше для разработчиков, кто ведёт много и больших проектов. Для задач эксплуатации все его возможности не нужны. Но в целом кому-то может понравиться сам принцип работы. Мне понравилось, но у меня уже свои привычки и если нет каких-то киллер фич, то я вряд ли буду использовать что-то новое.

Orca позволяет открывать разные проекты и вести в них разработку с помощью различных агентов. Она удобно компонует все рабочие инструменты в рамках своего интерфейса. Вы сразу видите репозиторий проекта со всеми файлами, консоль сервера, интерфейсы агентов, которые что-то делают, есть встроенный веб браузер, если вам в рамках проекта нужно что-то открывать и смотреть. Не нужно переключаться между различными программами. Она сразу всё замывает на себя.

💡Расскажу, на каком примере я всё это проверил и как настроил. У меня есть свои небольшие git репозитории с проектами. Хранятся в облачных gitlab и giflic. В качестве основного агента у меня трудится opencode, остальные только тестирую и присматриваюсь. Из-за того, что к некоторым сервисам доступ из РФ заблокирован, у меня один агент локальный (дома на VPS), один на внешней VPS. В зависимости от LLM, использую то тот, то другой.

В Orca можно подключать как локальные проекты и агенты, так и вынесенные во вне. Это мне понравилось больше всего. Если у вас агенты и проекты в разных местах, то в Orca их можно все собрать в одном месте.

Локально у меня вообще ничего нет. Я подключил в Orca по SSH репозиторий с кодом, который лежит в одной из директорий на сервере. Там же настроен Opencode. В Orca я могу смотреть и редактировать файлы, запускать что-то в консоли, и тут же в отдельном окне запускать агента, давать задачи. Если проект закрыть и потом снова открыть, Orca автоматически подгружает последний чат с агентом. Мелочь, а удобно.

Если я захочу к этому же проекту добавить другого агента, который размещён на другой VPS, или у меня локально на компьютере, я смогу это сделать. Более того, эти разные агенты могут одновременно работать с одним и тем же проектом, не мешая друг другу. Просто создаёте новую ветку, выбираете другого агента и вперёд. Я не вникал глубоко, как это работает, потому что мне не надо, но насколько я понял, это основная фича, которая будет очень полезна разработчикам, которые работают над большими проектами.

Orca будет удобна тем, кто тестирует различные модели и агенты. Она позволяет организовать удобное рабочее пространство для этого. Она и мне показалось удобной даже на тех небольших задачах, что у меня есть. В первую очередь, потому что из-за ограничений приходится постоянно извращаться и настраивать разные схемы работы. Второй момент - я не запускаю агентов локально. Они все у меня вынесены во вне. Локальная Orca позволит всех их замкнуть в своём интерфейсе. Я её ещё немного потестирую. Возможно и оставлю, буду пользоваться.

Приведу конкретный пример, как мне агенты помогают в работе. Взял один из своих репозиториев, где лежат мои велосипеды по разворачиванию стека Prometheus и некоторых других компонентов. Я это всё наколхозил для себя в своё время. Переменных нет, всё правится в коде. Попросил агента немного переделать, вынеся все настраиваемые значения в переменные и попутно актуализировав проект, изменив на новые версии всё ПО, которое там используется. Попутно он написал инструкцию, как всем этим пользоваться, чтобы потом вспоминать не пришлось. И проверил, как всё работает.

Не бог весть какая задача, но он довольно быстро моим руководством всё сделал и отладил, начиная от настройки Orca. Сам бы я потратил больше времени. Сначала пришлось бы вникнуть в то, что я тут когда-то настроил и смотрел последний раз полгода назад.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai

У меня есть доступ к так называемому общему платному аккаунту ChatGPT Plus, которым одновременно пользуются несколько человек. Для разовых задач разницы нет, какой это аккаунт. Я его использую для рисования картинок и поиску и обработки справочной информации.

Иногда заглядываю в соседние диалоги, посмотреть, что там люди делают. Много чего делают и даже не удаляют за собой. Всё оставляют на всеобщее обозрение, в том чичсле и персональную информацию. Это будет на их совести и глупости.

Приложил пару забавных диалогов оттуда. Это не фейки, я реально их сам заскринил. Некоторые люди разговаривают с ботом, как с человеком. На всякий случай напомню, что это контрпродуктивно и бессмысленно. LLM - не человек. Не надо с ней спорить, уговаривать, убеждать и т.д. Просто чётко выдавайте указания без лишних оборотов и эмойций. Так и токены сэкономите, и свои нервы. Нет никакого смысла с машиной спорить. А зачастую и с человеком.

Кстати, по качеству ответов я давно не вижу разницы между бесплатным ChatGPT и подпиской за $20. У последней просто лимитов больше, а ответы такие же. Так что если болтаете с ним только в режиме чата и не рисуете картинки, то смысла покупать самый первый платный тариф нет.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#юмор #ai