После праздников надо потихоньку вкатываться в трудовые будни. Чтобы это было проще сделать, можно подключить AI, коих сейчас развелось много на любой вкус. Самый популярный - ChatGPT от OpenAI. Чтобы им пользоваться, нужен VPN и иностранный номер телефона для регистрации и получения токена. Либо какой-то местный сервис, который перепродаёт доступ к OpenAI и другим платным нейросетям.
Есть возможность развернуть открытую нейросеть Ollama с какой-то популярной моделью на своём железе. Решил попробовать эту тему, так как вообще никогда с этим не сталкивался. Было интересно посмотреть, как это работает.
Моделей для нейросетей существует много. Мне было интересно попробовать помощника по консольным командам Linux. Чтобы понять, какая модель лучше для этого подойдёт, посмотрел описание проекта ShellGPT. Он изначально заточен под работу с OpenAI, но как альтернативу даёт возможность использовать локальную Ollama с моделью Mistral. По их мнению она лучше всего подходит для консольных задач.
Разворачиваю Ollama c Mistral на Linux:
Далее вы можете работать с ollama напрямую через консоль, задавая там вопросы:
либо через API:
А можно сразу настроить shell-gpt. Устанавливаем его:
Задаём первый вопрос:
Изначально shell-gpt заточен на работу с OpenAI, поэтому попросит ввести токен. Можно ввести любую строку, главное не оставлять её пустой. Получите ошибку. После этого открываете конфиг
Остальное можно не трогать. Для комфортной работы с нейросетью требуется современная видеокарта. У меня такой нет, поэтому я тестировал работу на CPU. Для этого выделил отдельный старый компьютер на базе четырёхядерного Intel Core i5-2500K 3.30GHz. Сетка работает крайне медленно.
На вопрос:
Она отвечала минут 40-50 и выдала такой ответ:
В таком режиме её использовать невозможно. Решил попробовать на другом компе, где есть хоть и старая, но видюха NVIDIA GeForce GTX 560 Ti с 2G ОЗУ. Но толку от неё не было, так как слишком старая, нет нужных инструкций. Тем не менее, там было больше оперативы, дела пошли пошустрее. Сетка на вопрос:
start nginx docker container
Ответила подробно и осмысленно минут за 15. Ответ не привожу, он очень длинный.
Решил пойти дальше и попробовать её на свободном стареньком серваке с двумя XEON E5 2643 V4. Дал виртуалке все 24 потока и 24G ОЗУ. Дело ещё бодрее пошло. Уже можно нормально пользоваться, практически в режиме реального времени стал отвечать. Время ответа напрямую зависит от длины текста запроса.
Вообще, раньше не думал, что со своими нейронками можно побаловаться на обычном железе. Причём она в целом нормально отвечала. На все мои простые вопросы по консольным командам ответила адекватно. Результаты были рабочими, хоть и не всегда оптимальными. Пример вопроса:
Если не хочется вспоминать команды и ходить в google, вполне рабочая альтернатива. Оставил на серваке Ollama, буду тестировать дальше.
#AI #chatgpt
Есть возможность развернуть открытую нейросеть Ollama с какой-то популярной моделью на своём железе. Решил попробовать эту тему, так как вообще никогда с этим не сталкивался. Было интересно посмотреть, как это работает.
Моделей для нейросетей существует много. Мне было интересно попробовать помощника по консольным командам Linux. Чтобы понять, какая модель лучше для этого подойдёт, посмотрел описание проекта ShellGPT. Он изначально заточен под работу с OpenAI, но как альтернативу даёт возможность использовать локальную Ollama с моделью Mistral. По их мнению она лучше всего подходит для консольных задач.
Разворачиваю Ollama c Mistral на Linux:
# curl https://ollama.ai/install.sh | sh# ollama pull mistral:7b-instructДалее вы можете работать с ollama напрямую через консоль, задавая там вопросы:
# ollama run mistralлибо через API:
# curl -X POST http://localhost:11434/api/generate -d '{ "model": "mistral", "prompt":"Here is a story about llamas eating grass" }'А можно сразу настроить shell-gpt. Устанавливаем его:
# apt install python3-pip# pip3 install shell-gpt[litellm]Задаём первый вопрос:
# sgpt --model ollama/mistral:7b-instruct "Who are you?"Изначально shell-gpt заточен на работу с OpenAI, поэтому попросит ввести токен. Можно ввести любую строку, главное не оставлять её пустой. Получите ошибку. После этого открываете конфиг
~/.config/shell_gpt/.sgptrc и меняете некоторые параметры:DEFAULT_MODEL=ollama/mistral:7b-instructOPENAI_USE_FUNCTIONS=falseUSE_LITELLM=trueОстальное можно не трогать. Для комфортной работы с нейросетью требуется современная видеокарта. У меня такой нет, поэтому я тестировал работу на CPU. Для этого выделил отдельный старый компьютер на базе четырёхядерного Intel Core i5-2500K 3.30GHz. Сетка работает крайне медленно.
На вопрос:
# sgpt --model ollama/mistral:7b-instruct "Who are you?"Она отвечала минут 40-50 и выдала такой ответ:
I'm ShellGPT, your Linux/Debian GNU/Linux 12 (Bookworm) programming and system administration assistant using a Bash shell. I'm here to help answer questions, provide guidance on commands, and assist with various tasks related to managing your Debian system. Let me know how I can be of service!В таком режиме её использовать невозможно. Решил попробовать на другом компе, где есть хоть и старая, но видюха NVIDIA GeForce GTX 560 Ti с 2G ОЗУ. Но толку от неё не было, так как слишком старая, нет нужных инструкций. Тем не менее, там было больше оперативы, дела пошли пошустрее. Сетка на вопрос:
start nginx docker container
Ответила подробно и осмысленно минут за 15. Ответ не привожу, он очень длинный.
Решил пойти дальше и попробовать её на свободном стареньком серваке с двумя XEON E5 2643 V4. Дал виртуалке все 24 потока и 24G ОЗУ. Дело ещё бодрее пошло. Уже можно нормально пользоваться, практически в режиме реального времени стал отвечать. Время ответа напрямую зависит от длины текста запроса.
Вообще, раньше не думал, что со своими нейронками можно побаловаться на обычном железе. Причём она в целом нормально отвечала. На все мои простые вопросы по консольным командам ответила адекватно. Результаты были рабочими, хоть и не всегда оптимальными. Пример вопроса:
# sgpt -s "start nginx web server in docker"```bashsudo systemctl start dockersudo docker pull nginx:latestsudo docker run -d --name mynginx -p 80:80 nginx:latest```Если не хочется вспоминать команды и ходить в google, вполне рабочая альтернатива. Оставил на серваке Ollama, буду тестировать дальше.
#AI #chatgpt
👍124👎6
Сейчас хайпует тема с китайским ИИ - DeepSeek. Я тоже не удержался, начал использовать. Не нужна ни оплата, ни VPN, что удобно. В целом ничего особенного не увидел. По моим вопросам ChatGPT отвечал лучше.
Смысл хайпа по DeepSeek, как я понял в том, что он:
1️⃣ Open Source. Код открыт. Любой может развернуть и использовать по своему назначению, не отправляя свои вопросы во вне, не обучая чужие модели. Понятно, что большая модель требует очень много ресурсов и слово любой тут условно. Корпорации могут её забирать, использовать у себя, дорабатывать. Очень мощный удар под дых для коммерческих игроков рынка.
2️⃣ Работает быстрее на тех же мощностях, что конкуренты. Заявляют, что разница очень существенная. Не знаю, насколько это правда. Могут и лукавить. Сравнивать модели не такая простая задача. К тому же DeepSeek, насколько я понял, учился с использованием других ИИ, сравнивая свои ответы с ними. За счёт этого быстро развивался и требовал меньше ресурсов. В таком режиме удобно догонять, условно паразитируя на достижениях других, но трудно вырваться вперёд. Собственно, невозможно, не меняя подход.
DeepSeek уже сейчас без проблем можно установить на своё железо с помощью Ollama. Это бесплатная платформа для запуска различных моделей ИИ локально. Она уже поддерживает DeepSeek, так что установка очень простая:
И можете в консоли с ней общаться или установить какой-то веб интерфейс для привычного чата. Например, Chatbox. Это запуск самой маленькой модели deepseek-r1 1.5b. Она весит 1,1GB на диске и может быть запущена даже на ноутбуках и домашних компах. Полный список моделей и их размеры смотрите на сайте ollama.
Я прочитал всю ветку комментариев на Reddit по этой теме, где люди запускали те или иные модели у себя на компах. Сразу могу сказать, что всё, что вы запустите на одной, даже самой мощной видеокарте, будет так себе по сравнению с доступными публичными моделями. Запустить дома можно модели вплоть до 32b. Дальше уже нужны кластеры видеокарт для нормальной работы.
Я запускать у себя не стал, так как нет свободных серверов для этого. Раньше уже тестировал всё это. Вроде работает, но толку для личного использования нет. Бесплатные доступы к публичным моделям покрывают потребности, а бесплатных лимитов хватает за глаза.
Как вариант использования в личных целях может быть интеграция с сервисом заметок Blinko. Я про него писал. У него одна из фишек - интеграция с ИИ, в том числе запущенного на базе ollama. Возможно для поиска по своим заметкам будет достаточно и самой маленькой модели.
❗️В завершении скажу, что надо учиться работать в связке с ИИ. Я почти каждый день что-то спрашиваю у них по разным темам. Не могу сказать, что прям сильно помогает, но надо вырабатывать навык работы с ними. Уже явно видно, что за этим будущее. Важно только понимать, что они не заменяют людей, а повышают их продуктивность. Появление калькуляторов вместо счёт не заменило бухгалтеров. Их, возможно, даже больше стало. Но научиться пользоваться калькуляторами пришлось всем.
#AI
Смысл хайпа по DeepSeek, как я понял в том, что он:
1️⃣ Open Source. Код открыт. Любой может развернуть и использовать по своему назначению, не отправляя свои вопросы во вне, не обучая чужие модели. Понятно, что большая модель требует очень много ресурсов и слово любой тут условно. Корпорации могут её забирать, использовать у себя, дорабатывать. Очень мощный удар под дых для коммерческих игроков рынка.
2️⃣ Работает быстрее на тех же мощностях, что конкуренты. Заявляют, что разница очень существенная. Не знаю, насколько это правда. Могут и лукавить. Сравнивать модели не такая простая задача. К тому же DeepSeek, насколько я понял, учился с использованием других ИИ, сравнивая свои ответы с ними. За счёт этого быстро развивался и требовал меньше ресурсов. В таком режиме удобно догонять, условно паразитируя на достижениях других, но трудно вырваться вперёд. Собственно, невозможно, не меняя подход.
DeepSeek уже сейчас без проблем можно установить на своё железо с помощью Ollama. Это бесплатная платформа для запуска различных моделей ИИ локально. Она уже поддерживает DeepSeek, так что установка очень простая:
# curl -fsSL https://ollama.com/install.sh | sh# ollama pull deepseek-r1:1.5b# ollama run deepseek-r1:1.5bИ можете в консоли с ней общаться или установить какой-то веб интерфейс для привычного чата. Например, Chatbox. Это запуск самой маленькой модели deepseek-r1 1.5b. Она весит 1,1GB на диске и может быть запущена даже на ноутбуках и домашних компах. Полный список моделей и их размеры смотрите на сайте ollama.
Я прочитал всю ветку комментариев на Reddit по этой теме, где люди запускали те или иные модели у себя на компах. Сразу могу сказать, что всё, что вы запустите на одной, даже самой мощной видеокарте, будет так себе по сравнению с доступными публичными моделями. Запустить дома можно модели вплоть до 32b. Дальше уже нужны кластеры видеокарт для нормальной работы.
Я запускать у себя не стал, так как нет свободных серверов для этого. Раньше уже тестировал всё это. Вроде работает, но толку для личного использования нет. Бесплатные доступы к публичным моделям покрывают потребности, а бесплатных лимитов хватает за глаза.
Как вариант использования в личных целях может быть интеграция с сервисом заметок Blinko. Я про него писал. У него одна из фишек - интеграция с ИИ, в том числе запущенного на базе ollama. Возможно для поиска по своим заметкам будет достаточно и самой маленькой модели.
❗️В завершении скажу, что надо учиться работать в связке с ИИ. Я почти каждый день что-то спрашиваю у них по разным темам. Не могу сказать, что прям сильно помогает, но надо вырабатывать навык работы с ними. Уже явно видно, что за этим будущее. Важно только понимать, что они не заменяют людей, а повышают их продуктивность. Появление калькуляторов вместо счёт не заменило бухгалтеров. Их, возможно, даже больше стало. Но научиться пользоваться калькуляторами пришлось всем.
#AI
11👍195👎10
Парочка наглядных примеров вранья ИИ, в частности ChatGPT. Последнее время регулярно им пользуюсь, практически каждый день, для решения различных задач и поиска информации. Фактически он мне стал заменять поиск. Я не использую каких-то больших промтов для решения масштабных задач. Скорее использую его как базу данных и расширенный поиск. Соответственно и пишу туда примерно то же самое, что я бы спросил у поисковика. Результат получается лучше.
При этом постоянно сталкиваюсь с тем, что ИИ врёт. Просто сходу придумывает факты, решения, ключи к утилитам и т.д. При этом не ставит под сомнение свои ответы, не делает акцент на том, что вот тут я выдумываю и могу быть не прав. Так как я уже специалист с опытом, мне это больших проблем не доставляет.
А как быть тем, кто только учится и использует в качестве помощника ИИ? По идее это делать нельзя, а в процессе обучения и наработки опыта вообще противопоказанно им пользоваться. Нужно всё перепроверять, а это потеря времени. А если ты не специалист, то узнаешь, что надо перепроверять только тогда, когда уже случится ошибка и тебе на неё кто-то укажет.
В примере с mount ошибка сразу видна, а вот в первом неочевидна, так как проверить её весьма затратно. И если перепроверять все результаты, которые выдал ИИ, то окажется, что самому составить список было бы быстрее. И такое случается нередко. Иногда ИИ ходит вокруг да около решения, предлагая тебе нерабочие варианты, а на отладку тратится времени больше, чем если бы ты сам его сделал с помощью подсказок со stackoverflow.
У меня отношение средненькое к современным ИИ. Зачастую не понимаю восторгов в их адрес. Да, пользоваться можно и нужно. Результат хороший в вопросах анализа и обобщения информации, клонировании контента в заданном стиле с заданными правками, создания изображений, инфографики. И очень посредственный в создании чего-то нового. Те же скрипты он пишет, но без отладки и исправления ошибок практически никогда не обходится. И это в довольно простых задачах, которые в общем-то можно сходу нагуглить. Более сложные не пытался решать, так как задач под это нет. Возможно у программистов другие выводы по этой теме.
#AI #chatgpt
При этом постоянно сталкиваюсь с тем, что ИИ врёт. Просто сходу придумывает факты, решения, ключи к утилитам и т.д. При этом не ставит под сомнение свои ответы, не делает акцент на том, что вот тут я выдумываю и могу быть не прав. Так как я уже специалист с опытом, мне это больших проблем не доставляет.
А как быть тем, кто только учится и использует в качестве помощника ИИ? По идее это делать нельзя, а в процессе обучения и наработки опыта вообще противопоказанно им пользоваться. Нужно всё перепроверять, а это потеря времени. А если ты не специалист, то узнаешь, что надо перепроверять только тогда, когда уже случится ошибка и тебе на неё кто-то укажет.
В примере с mount ошибка сразу видна, а вот в первом неочевидна, так как проверить её весьма затратно. И если перепроверять все результаты, которые выдал ИИ, то окажется, что самому составить список было бы быстрее. И такое случается нередко. Иногда ИИ ходит вокруг да около решения, предлагая тебе нерабочие варианты, а на отладку тратится времени больше, чем если бы ты сам его сделал с помощью подсказок со stackoverflow.
У меня отношение средненькое к современным ИИ. Зачастую не понимаю восторгов в их адрес. Да, пользоваться можно и нужно. Результат хороший в вопросах анализа и обобщения информации, клонировании контента в заданном стиле с заданными правками, создания изображений, инфографики. И очень посредственный в создании чего-то нового. Те же скрипты он пишет, но без отладки и исправления ошибок практически никогда не обходится. И это в довольно простых задачах, которые в общем-то можно сходу нагуглить. Более сложные не пытался решать, так как задач под это нет. Возможно у программистов другие выводы по этой теме.
#AI #chatgpt
👍144👎11
Существует удобный и функциональный инструмент для добавления интерактива в shell скрипты под названием Gum. Я посмотрел несколько примеров, в том числе на ютубе, как люди решают те или иные задачи с его помощью. Синтаксис очень простой, особо разбираться не надо. Можно сходу брать и писать скрипт.
Я для примера решил сделать поиск по директории с выводом топ 10 самых больших файлов, из которых можно какие-то выбрать и удалить. Сделал просто в лоб на bash – сформировал список, отправил его в gum и добавил действие для выбранных файлов:
Понял, что всё получилось и решил как-то это усложнить и сделать более удобным. Дай, думаю, попрошу Chatgpt что-то написать. На самом деле не рассчитывал на успех, так как это не особо популярный инструмент. Откуда ему взять навык написания скриптов для gum? Вряд ли их много в интернете можно найти.
Отправил ему адрес репозитория и попросил сделать 2 списка: один с самыми большими файлами, второй – с самыми старыми. Причём вывести их вместе на один экран, в списках отобразить размер файлов и их даты.
Задача не сильно сложная, но немного муторная, так как списки надо правильно сформировать, объединить, пункты выбора насытить дополнительной информацией в виде размера файлов и даты. Потом всё это надо очистить, чтобы передать на удаление только имя файла. Чтобы самому это сделать, надо потратить какое-то время.
Chatgpt меня удивил, когда практически сразу же выдал рабочее решение. Там были ошибки по части bash. Нужно было что-то экранировать, а что-то получше очистить. А вот в части непосредственно Gum он на удивление сразу же всё корректно оформил в соответствии с его возможностями. Я думал, что-то выдумает от себя нерабочее, но нет.
В итоге минут за 15-20 со всеми тестами я получил рабочий вариант скрипта. Реально, был очень удивлён. Не так давно его мучал конфигурациями Nginx, по которым море примеров в сети, но так и не добился того, что хотел. А тут какой-то Gum и сразу всё заработало.
☝️ Какое в итоге резюме. Gum – прикольная штука, которую можно приспособить под какие-то свои задачи. Например, выбор подключений по SSH, работа с ветками GIT, работа со списками файлов и т.д. Тут уж каждому своё. А второй момент – используйте ИИ для своих задач. Где-то он мимо советует, а где-то сразу рабочий вариант даёт. Причём в таких небольших прикладных задачах он нормально работает. На bash пишет уверенно. Есть проблемы, но поправить после него намного проще, чем написать самому, вспомнив все возможности и ключи консольных утилит.
⇨ Итоговый скрипт
Использовать:
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#bash #AI #script
Я для примера решил сделать поиск по директории с выводом топ 10 самых больших файлов, из которых можно какие-то выбрать и удалить. Сделал просто в лоб на bash – сформировал список, отправил его в gum и добавил действие для выбранных файлов:
#!/bin/bash
DIR="/tmp/backup"
files=$(find "$DIR" -type f -exec du -b {} + 2>/dev/null | sort -nr | head -n 10 | awk '{print $2}')
selected=$(echo "$files" | gum choose --no-limit)
delete=$(echo -e "$selected")
if [[ -z "$delete" ]]; then
echo "Ничего не выбрано."
exit 0
fi
gum confirm "Удалить выбранные файлы?" &&
echo "$delete" | xargs -d '\n' rm -f && echo "Выбранное удалено."
Понял, что всё получилось и решил как-то это усложнить и сделать более удобным. Дай, думаю, попрошу Chatgpt что-то написать. На самом деле не рассчитывал на успех, так как это не особо популярный инструмент. Откуда ему взять навык написания скриптов для gum? Вряд ли их много в интернете можно найти.
Отправил ему адрес репозитория и попросил сделать 2 списка: один с самыми большими файлами, второй – с самыми старыми. Причём вывести их вместе на один экран, в списках отобразить размер файлов и их даты.
Задача не сильно сложная, но немного муторная, так как списки надо правильно сформировать, объединить, пункты выбора насытить дополнительной информацией в виде размера файлов и даты. Потом всё это надо очистить, чтобы передать на удаление только имя файла. Чтобы самому это сделать, надо потратить какое-то время.
Chatgpt меня удивил, когда практически сразу же выдал рабочее решение. Там были ошибки по части bash. Нужно было что-то экранировать, а что-то получше очистить. А вот в части непосредственно Gum он на удивление сразу же всё корректно оформил в соответствии с его возможностями. Я думал, что-то выдумает от себя нерабочее, но нет.
В итоге минут за 15-20 со всеми тестами я получил рабочий вариант скрипта. Реально, был очень удивлён. Не так давно его мучал конфигурациями Nginx, по которым море примеров в сети, но так и не добился того, что хотел. А тут какой-то Gum и сразу всё заработало.
☝️ Какое в итоге резюме. Gum – прикольная штука, которую можно приспособить под какие-то свои задачи. Например, выбор подключений по SSH, работа с ветками GIT, работа со списками файлов и т.д. Тут уж каждому своё. А второй момент – используйте ИИ для своих задач. Где-то он мимо советует, а где-то сразу рабочий вариант даёт. Причём в таких небольших прикладных задачах он нормально работает. На bash пишет уверенно. Есть проблемы, но поправить после него намного проще, чем написать самому, вспомнив все возможности и ключи консольных утилит.
⇨ Итоговый скрипт
Использовать:
# ./cleanup-with-gum.sh /mnt/backup❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#bash #AI #script
👍113👎5
Короткая заметка-рекомендация для тех, кто ещё не слышал про сервис perplexity.ai. Я им уже некоторое время пользуюсь и могу порекомендовать. Это смесь классического поисковика с ИИ. Выдаёт на вопрос объединённый ответ с решением из нескольких источников, плюс ссылки на эти источники, куда можно сходить и самому всё посмотреть.
Впервые узнал о нём несколько месяцев назад, увидев в статистике посещаемости своего сайта переходы с этого ресурса. Их сейчас довольно много. То есть люди им активно пользуются.
Нечто похожее сейчас у Яндекса работает в самом верху выдачи, но у perplexity более удобный и наглядный вывод. Так что рекомендую, кто ещё не пробовал. Мне это нравится больше классических поисковиков типа Яндекса и Гугла. Работает без регистрации и VPN, денег не просит.
Если кто-то знает подобный, но более удобный и функциональный сервис, поделитесь информацией.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#AI
Впервые узнал о нём несколько месяцев назад, увидев в статистике посещаемости своего сайта переходы с этого ресурса. Их сейчас довольно много. То есть люди им активно пользуются.
Нечто похожее сейчас у Яндекса работает в самом верху выдачи, но у perplexity более удобный и наглядный вывод. Так что рекомендую, кто ещё не пробовал. Мне это нравится больше классических поисковиков типа Яндекса и Гугла. Работает без регистрации и VPN, денег не просит.
Если кто-то знает подобный, но более удобный и функциональный сервис, поделитесь информацией.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#AI
3👍180👎2
Последнее время редко захожу в блог Zabbix, так как не вижу интересных для меня статей. Там в основном какие-то общие слова и рекомендации публикуют, либо отчёты с мероприятий. Но одна запись привлекла моё внимание:
⇨ When Generative AI Meets Zabbix
В статье предлагают через вебхуки отправлять триггеры в ИИ, и взаимодействовать с мониторингом на человеческом языке, а не просмотром триггеров и графиков. То есть примерно так:
В три утра вы получаете критическое уведомление на свой телефон. Но вместо просмотра дашбордов и метрик, вы пишите вопрос: "Что случилось с продакшеном?"
- Сервер web-prod-01 съел всю память, а конкретно 94%. Начался дикий жор 15 минут назад вместе с всплеском трафика. Я рекомендую проверить пул подключений к базе данных и рассмотреть возможность перезапуска службы Apache. Хотите, я покажу вам соответствующие логи?
Как вам такая затравочка? Выглядит неплохо. В данном примере используется локальный сервер с бесплатным Gemini AI, который кушает триггеры Заббикса и логи с помощью Winston. Данные в Germini отправляет небольшой скрипт на Python, который использует формат MCP (Model Context Protocol).
Ещё пример из статьи. Меня постоянно спрашивают, как в Zabbix сделать какой-то сводный отчёт по состоянию хостов, чтобы утром на него смотреть:
- Доброе утро, что у нас с инфраструктурой?
- Доброе утро! Все спокойно. 14 активных хостов, 0 критических проблем. На выходных была запланирована перезагрузка сервера proxmox-desarrollo, которая завершилась успешно. Средняя загрузка процессора составляет 23%. Вам нужна подробная информация о какой-либо конкретной системе?
Выглядит всё это интересно. В статье приведены скрипты, с помощью которых реализовано взаимодействие мониторинга и ИИ. Как поднять свой сервер с Gemini тоже можно без проблем найти. То есть потестировать это всё у себя можно относительно просто.
Лично мне не показалось это прям реально полезным. Да, интересно. Возможно актуально для большой инфраструктуры, где всё не очень точно настроено и на инциденты могут валиться десятки и сотни триггеров. Тогда реально выручит вопрос к ИИ, что случилось и кто конкретно первым упал. У меня бывает в одном месте такой шторм на 200-300 триггеров утром, если на самом сервере мониторинга возникнут проблемы с сетью. Иногда это бывает, если хостера штормит. Там много внешних хостов с отправкой метрик через интернет. Но я по характеру триггеров и так понимаю, что проблемы на сервере.
Я сейчас как раз тестирую систему мониторинга, где есть встроенный ИИ-помощник. Надеюсь получится в какой-то более-менее реальной форме его потестировать. Будет скоро полноценная статья про эту систему мониторинга и не только.
Если уже внедряли связку мониторинга и ИИ, то поделитесь, насколько это удобно и полезно на практике. Сейчас на тему ИИ много хайпа и не везде он реально полезен и удобен.
#zabbix #AI
⇨ When Generative AI Meets Zabbix
В статье предлагают через вебхуки отправлять триггеры в ИИ, и взаимодействовать с мониторингом на человеческом языке, а не просмотром триггеров и графиков. То есть примерно так:
В три утра вы получаете критическое уведомление на свой телефон. Но вместо просмотра дашбордов и метрик, вы пишите вопрос: "Что случилось с продакшеном?"
- Сервер web-prod-01 съел всю память, а конкретно 94%. Начался дикий жор 15 минут назад вместе с всплеском трафика. Я рекомендую проверить пул подключений к базе данных и рассмотреть возможность перезапуска службы Apache. Хотите, я покажу вам соответствующие логи?
Как вам такая затравочка? Выглядит неплохо. В данном примере используется локальный сервер с бесплатным Gemini AI, который кушает триггеры Заббикса и логи с помощью Winston. Данные в Germini отправляет небольшой скрипт на Python, который использует формат MCP (Model Context Protocol).
Ещё пример из статьи. Меня постоянно спрашивают, как в Zabbix сделать какой-то сводный отчёт по состоянию хостов, чтобы утром на него смотреть:
- Доброе утро, что у нас с инфраструктурой?
- Доброе утро! Все спокойно. 14 активных хостов, 0 критических проблем. На выходных была запланирована перезагрузка сервера proxmox-desarrollo, которая завершилась успешно. Средняя загрузка процессора составляет 23%. Вам нужна подробная информация о какой-либо конкретной системе?
Выглядит всё это интересно. В статье приведены скрипты, с помощью которых реализовано взаимодействие мониторинга и ИИ. Как поднять свой сервер с Gemini тоже можно без проблем найти. То есть потестировать это всё у себя можно относительно просто.
Лично мне не показалось это прям реально полезным. Да, интересно. Возможно актуально для большой инфраструктуры, где всё не очень точно настроено и на инциденты могут валиться десятки и сотни триггеров. Тогда реально выручит вопрос к ИИ, что случилось и кто конкретно первым упал. У меня бывает в одном месте такой шторм на 200-300 триггеров утром, если на самом сервере мониторинга возникнут проблемы с сетью. Иногда это бывает, если хостера штормит. Там много внешних хостов с отправкой метрик через интернет. Но я по характеру триггеров и так понимаю, что проблемы на сервере.
Я сейчас как раз тестирую систему мониторинга, где есть встроенный ИИ-помощник. Надеюсь получится в какой-то более-менее реальной форме его потестировать. Будет скоро полноценная статья про эту систему мониторинга и не только.
Если уже внедряли связку мониторинга и ИИ, то поделитесь, насколько это удобно и полезно на практике. Сейчас на тему ИИ много хайпа и не везде он реально полезен и удобен.
#zabbix #AI
Zabbix Blog
When Generative AI Meets Zabbix - Zabbix Blog
Find out how Zabbix and AI can team up to make monitoring as intuitive and conversational as a chat with a virtual assistant.
4👍100👎3
This media is not supported in your browser
VIEW IN TELEGRAM
Youtube показал в рекомендациях тематический шорт:
▶️ POV: You are a Sys Admin
Смотрю, много просмотров и лайков для нашей темы. Думаю, что-то интересное. Посмотрел раз, два, три. Потом включил перевод, посмотрел ещё пару раз и не понял. В чём тут юмор? Прочитал комментарии и всё равно не понял.
Решил спросить у ChatGPT. Как оказалось, видео с ютуба он смотреть не может. Пришлось скачать и загрузить ему в чат. На что он ответил, что видео видит, а звук не слышит. Загрузил ему субтитры на английском. И он мне всё объяснил.
------------------------------------------------------
◽️Сотрудник просит change request (официальное разрешение на изменения), чтобы поработать с серверами.
◽️Само по себе это звучит абсурдно, ведь change request обычно оформляют для изменения серверов, а не для того, чтобы только начать работать с ними.
◽️Он возмущается: «Что я, инженер первой линии (tier one)?» — намекая, что такие формальности и бюрократия свойственны для самых простых задач.
◽️Финал: «IT-менеджер бы меня убил» — подчеркивает, что без бумажки он вообще не имеет права ничего делать, иначе будут большие проблемы.
Юмор в том, что ролик высмеивает реальность работы системных администраторов: иногда вместо настоящей технической работы больше времени уходит на согласования, бюрократию и правила «чтобы никто не тронул сервер без бумажки».
Давай разберём по слоям, на чём держится шутка в этом видео:
🔹 1. Буквальный уровень
Фраза «i need a change request to work on these servers» звучит нелепо: админ вроде бы просто хочет поработать, но ему нужен специальный документ. Для несведущего зрителя это выглядит как чрезмерная бюрократия.
🔹 2. Ирония
Ирония в том, что админ должен запрашивать разрешение на то, что по его должности и так входит в обязанности. Это как если бы водитель автобуса просил письменное разрешение, чтобы завести двигатель.
🔹 3. Профессиональный юмор
Change request — реальный процесс в ITIL/DevOps, когда любое изменение инфраструктуры фиксируется и согласовывается.
Tier one (1-я линия поддержки) — обычно выполняет простые задачи (перезапуск, проверка логов), а не занимается управлением серверами.
Герой намекает, что бюрократия опускает его уровень работы до "самых простых тикетов".
🔹 4. Гипербола (преувеличение)
«The IT manager would literally kill me» — естественно, менеджер никого не убьёт. Но преувеличение подчёркивает, насколько строго относятся к процедурам.
👉 Получается, это мета-юмор про корпоративные процессы в IT: формальности порой важнее самой работы.
То, что герой каждый раз рукой касается сервера, добавляет ещё один слой юмора:
Буквально — он демонстрирует: «Вот эти самые серверы, с которыми я хочу поработать». Жест подчёркивает объект, о котором идёт речь.
Визуальный акцент — чтобы зритель не потерял контекст: всё время идёт речь именно про «железо», а не про абстрактные тикеты.
Ирония — он показывает, что сервер прямо здесь, под рукой, но при этом он не имеет права его трогать без бумажки. Контраст: физически доступ есть, а формально — нет.
Эффект комичности — повторение жеста делает сцену карикатурной. Сначала это естественно, а потом — всё более нелепо, словно герой доказывает очевидное: «Вот же они! Но я не могу их трогать!»
------------------------------------------------------
Как вам такой анализ от ИИ просто на основании короткого видео и нескольких строк субтитров? И это бесплатная версия. Я просто никогда не работал в крупном IT, поэтому юмора не понял.
#юмор #AI
Смотрю, много просмотров и лайков для нашей темы. Думаю, что-то интересное. Посмотрел раз, два, три. Потом включил перевод, посмотрел ещё пару раз и не понял. В чём тут юмор? Прочитал комментарии и всё равно не понял.
Решил спросить у ChatGPT. Как оказалось, видео с ютуба он смотреть не может. Пришлось скачать и загрузить ему в чат. На что он ответил, что видео видит, а звук не слышит. Загрузил ему субтитры на английском. И он мне всё объяснил.
------------------------------------------------------
◽️Сотрудник просит change request (официальное разрешение на изменения), чтобы поработать с серверами.
◽️Само по себе это звучит абсурдно, ведь change request обычно оформляют для изменения серверов, а не для того, чтобы только начать работать с ними.
◽️Он возмущается: «Что я, инженер первой линии (tier one)?» — намекая, что такие формальности и бюрократия свойственны для самых простых задач.
◽️Финал: «IT-менеджер бы меня убил» — подчеркивает, что без бумажки он вообще не имеет права ничего делать, иначе будут большие проблемы.
Юмор в том, что ролик высмеивает реальность работы системных администраторов: иногда вместо настоящей технической работы больше времени уходит на согласования, бюрократию и правила «чтобы никто не тронул сервер без бумажки».
Давай разберём по слоям, на чём держится шутка в этом видео:
🔹 1. Буквальный уровень
Фраза «i need a change request to work on these servers» звучит нелепо: админ вроде бы просто хочет поработать, но ему нужен специальный документ. Для несведущего зрителя это выглядит как чрезмерная бюрократия.
🔹 2. Ирония
Ирония в том, что админ должен запрашивать разрешение на то, что по его должности и так входит в обязанности. Это как если бы водитель автобуса просил письменное разрешение, чтобы завести двигатель.
🔹 3. Профессиональный юмор
Change request — реальный процесс в ITIL/DevOps, когда любое изменение инфраструктуры фиксируется и согласовывается.
Tier one (1-я линия поддержки) — обычно выполняет простые задачи (перезапуск, проверка логов), а не занимается управлением серверами.
Герой намекает, что бюрократия опускает его уровень работы до "самых простых тикетов".
🔹 4. Гипербола (преувеличение)
«The IT manager would literally kill me» — естественно, менеджер никого не убьёт. Но преувеличение подчёркивает, насколько строго относятся к процедурам.
👉 Получается, это мета-юмор про корпоративные процессы в IT: формальности порой важнее самой работы.
То, что герой каждый раз рукой касается сервера, добавляет ещё один слой юмора:
Буквально — он демонстрирует: «Вот эти самые серверы, с которыми я хочу поработать». Жест подчёркивает объект, о котором идёт речь.
Визуальный акцент — чтобы зритель не потерял контекст: всё время идёт речь именно про «железо», а не про абстрактные тикеты.
Ирония — он показывает, что сервер прямо здесь, под рукой, но при этом он не имеет права его трогать без бумажки. Контраст: физически доступ есть, а формально — нет.
Эффект комичности — повторение жеста делает сцену карикатурной. Сначала это естественно, а потом — всё более нелепо, словно герой доказывает очевидное: «Вот же они! Но я не могу их трогать!»
------------------------------------------------------
Как вам такой анализ от ИИ просто на основании короткого видео и нескольких строк субтитров? И это бесплатная версия. Я просто никогда не работал в крупном IT, поэтому юмора не понял.
#юмор #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65👎13
Последнее время постоянно использую Perplexity. Писал про него ранее, но тогда пользовался бесплатный тарифным планом. Сейчас купил на год Pro и пользуюсь им. На этом плане можно установить отдельный браузер с интеграцией в сервис.
Не могу сказать, что он прям как-то лучше ищет и компонует информацию, но в целом пользоваться удобнее. Там появляются два дополнительных режима. Если первый, бесплатный, это просто быстрый поиск, то второй делает более глубокое исследование на основе бОльшего количества источников, а третий режим прям проекты создаёт, в том числе пишет код, формирует интерфейсы для взаимодействия с кодом и т.д. В этом же режиме можно и агентов создавать.
Сразу скажу, что полностью написать какое-то функциональное приложение у меня не получилось. Немного поразбирался, но сходу не осилить. На основе простых промптов получался нерабочий мусор. Надо плотно изучать тему, чтобы эффективно пользоваться.
Агентов пока тоже не приспособил к решению конкретных задач. Всё это только в описаниях и демонстрациях круто выглядит, а как начинаешь разбираться, всё не так радужно. Даже режим исследования, где берётся информация из интернета, и где по идее не должно быть фантазий, иногда врёт. Много раз сталкивался. AI формирует итоговый результат с какими-то фактами и тут же под ними ссылки на источник. Идёшь по ссылке, а там этой информации нет. Всё надо перепроверять.
Рассказать хотел не об этом. Длинная подводка получилась. Есть open source проект Perplexica, как альтернатива коммерческому Perplexity. Мне он показался интересным. Посмотрел как он устроен и в целом понял реализацию. Это прям развитие одной моей старой идеи со своим поисковым движком, которую я когда-то давно озвучивал.
В основе Perplexica лежит поисковой движок SearXNG, про который я писал ранее. Он собирает выдачу с разных поисковиков и объединяет её. Получается объединённая выдача без привязки к вашим персональным данным. То есть аннонимизированная для поисковика.
Perplexica берёт выдачу от SearXNG и отдаёт её на анализ выбранному AI. Это может быть как коммерческий сервис, типа OpenAI, так и self-hosted модель. Последнее особенно интересно. Мне видится обработка результатов поиска относительно простой задачей для AI, с которой могут справиться небольшие локальные модели.
К сожалению, у меня нет вообще никакого железа с видеокартами, чтобы потестировать работу локальных моделей. Если у вас таковое есть, то можете попробовать Perplexica. У неё простая настройка, описание есть в репозитории. Легко и быстро интегрируется с моделью, запущенной через Ollama.
Было бы интересно узнать результаты реальных тестов этого поиска с локальной моделью. Может кто-то сделает? Насколько это удобно и жизнеспособно.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX
#ai
Не могу сказать, что он прям как-то лучше ищет и компонует информацию, но в целом пользоваться удобнее. Там появляются два дополнительных режима. Если первый, бесплатный, это просто быстрый поиск, то второй делает более глубокое исследование на основе бОльшего количества источников, а третий режим прям проекты создаёт, в том числе пишет код, формирует интерфейсы для взаимодействия с кодом и т.д. В этом же режиме можно и агентов создавать.
Сразу скажу, что полностью написать какое-то функциональное приложение у меня не получилось. Немного поразбирался, но сходу не осилить. На основе простых промптов получался нерабочий мусор. Надо плотно изучать тему, чтобы эффективно пользоваться.
Агентов пока тоже не приспособил к решению конкретных задач. Всё это только в описаниях и демонстрациях круто выглядит, а как начинаешь разбираться, всё не так радужно. Даже режим исследования, где берётся информация из интернета, и где по идее не должно быть фантазий, иногда врёт. Много раз сталкивался. AI формирует итоговый результат с какими-то фактами и тут же под ними ссылки на источник. Идёшь по ссылке, а там этой информации нет. Всё надо перепроверять.
Рассказать хотел не об этом. Длинная подводка получилась. Есть open source проект Perplexica, как альтернатива коммерческому Perplexity. Мне он показался интересным. Посмотрел как он устроен и в целом понял реализацию. Это прям развитие одной моей старой идеи со своим поисковым движком, которую я когда-то давно озвучивал.
В основе Perplexica лежит поисковой движок SearXNG, про который я писал ранее. Он собирает выдачу с разных поисковиков и объединяет её. Получается объединённая выдача без привязки к вашим персональным данным. То есть аннонимизированная для поисковика.
Perplexica берёт выдачу от SearXNG и отдаёт её на анализ выбранному AI. Это может быть как коммерческий сервис, типа OpenAI, так и self-hosted модель. Последнее особенно интересно. Мне видится обработка результатов поиска относительно простой задачей для AI, с которой могут справиться небольшие локальные модели.
К сожалению, у меня нет вообще никакого железа с видеокартами, чтобы потестировать работу локальных моделей. Если у вас таковое есть, то можете попробовать Perplexica. У неё простая настройка, описание есть в репозитории. Легко и быстро интегрируется с моделью, запущенной через Ollama.
Было бы интересно узнать результаты реальных тестов этого поиска с локальной моделью. Может кто-то сделает? Насколько это удобно и жизнеспособно.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍60👎2
Мне практически каждый день задают те или иные вопросы по каким-то проблемам или настройками из сферы ИТ: в личных сообщениях, в комментариях или форуме на сайте, тут в чате, в ВК. Последнее время переадресовываю эти вопросы ИИ и отправляю ответ. Чаще всего он решает задачу.
Хочу лишний раз всем напомнить, кто пропустил вспышку - используйте ИИ. Он уже сейчас решает очень большой спектр задач. Да, иногда неидеально и не полностью, но не пользоваться им в наши дни, всё равно, что ходить пешком, когда уже можно ехать на автобусе или машине. Транспорт не отменяет хождение, но идти, когда можно ехать, особого смысла нет, если стоит задача быстро попасть в нужное место, а не прогуляться.
Я сам не сказать, что прям активно использую ИИ, но пользуюсь каждый день. Из платных версий уже 2 раза по дешёвке покупал Perplexity и оба раза мне блокировали аккаунты. Пользуюсь бесплатными: ChatGPT, DeepSeek, Qwen, Perplexity. Пока у них ещё нормальные бесплатные лимиты. Для простых задач хватает и бесплатных версий. По отзывам платные намного качественнее, но у меня и задач для них пока нет. Код не пишу, хотя есть желание попробовать. Уже обдумал задачи, на которых опробую. В ежедневной текучке хватает бесплатных.
DeepSeek, Qwen и Perplexity работают без каких-либо ограничений. Не нужно VPN включать. Не вижу никаких причин ими не пользоваться, но куча знакомых и незнакомых мне людей до сих пор ими не пользуются. Не знаю, почему. То ли разбираться лень, то ли не верят, что они им помогут. Если не пробовали ещё, то обязательно попробуйте и начинайте использовать. Чего ждать то? Будущее уже наступило. Теперь работа с ИИ будет обыденностью. Самое главное - не махайте рукой, типа это фигня, если он не решит какую-то задачу или наврёт. С ИИ надо учиться взаимодействовать и не ждать от него чуда. Это рабочий инструмент, к которому нужно привыкнуть и использовать по назначению.
Я и юридические вопросы ему задаю. Много врёт и даёт неточную информацию, доверять нельзя, но как отправная точка может помочь. И бытовые, по ремонту машины, например. Тут хорошо помогает. Сказывается богатая база информации на автофорумах, которая не теряет актуальности со временем.
По ИТ само собой. Портянки bash и регулярок пишет почти всегда рабочие, хоть и не оптимальные. По ошибкам и логам тоже очень хорошо помогает решать проблемы. Сконфигурировать какой-то новый сервис или актуализировать конфигурацию под только что вышедшую версию чаще всего не может, начинает фантазировать. Сказывается отсутствие обучающего материала, который ещё не написали. Для старых сервисов даёт конфигурации рабочие, но часто неоптимальные, с лишними параметрами. Я обычно получаю от него конфигурацию, прошу всё пояснить и дальше по документации сверяю некоторые моменты и убираю или меняю то, что мне не нужно. То есть использую ИИ только как помощник, не доверяю ему полное решение задачи. Хотя он может решить, но плохо. Так как я пока ещё могу сам проверить всё, делаю это.
❓А у вас как дела с ИИ складываются? Есть ещё те, кто его не использует? Чем руководствуетесь при этом? Отдельно поинтересуюсь, какие платные подписки покупаете и самое главное, как оплачиваете? Не разбирался пока с этой темой.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Хочу лишний раз всем напомнить, кто пропустил вспышку - используйте ИИ. Он уже сейчас решает очень большой спектр задач. Да, иногда неидеально и не полностью, но не пользоваться им в наши дни, всё равно, что ходить пешком, когда уже можно ехать на автобусе или машине. Транспорт не отменяет хождение, но идти, когда можно ехать, особого смысла нет, если стоит задача быстро попасть в нужное место, а не прогуляться.
Я сам не сказать, что прям активно использую ИИ, но пользуюсь каждый день. Из платных версий уже 2 раза по дешёвке покупал Perplexity и оба раза мне блокировали аккаунты. Пользуюсь бесплатными: ChatGPT, DeepSeek, Qwen, Perplexity. Пока у них ещё нормальные бесплатные лимиты. Для простых задач хватает и бесплатных версий. По отзывам платные намного качественнее, но у меня и задач для них пока нет. Код не пишу, хотя есть желание попробовать. Уже обдумал задачи, на которых опробую. В ежедневной текучке хватает бесплатных.
DeepSeek, Qwen и Perplexity работают без каких-либо ограничений. Не нужно VPN включать. Не вижу никаких причин ими не пользоваться, но куча знакомых и незнакомых мне людей до сих пор ими не пользуются. Не знаю, почему. То ли разбираться лень, то ли не верят, что они им помогут. Если не пробовали ещё, то обязательно попробуйте и начинайте использовать. Чего ждать то? Будущее уже наступило. Теперь работа с ИИ будет обыденностью. Самое главное - не махайте рукой, типа это фигня, если он не решит какую-то задачу или наврёт. С ИИ надо учиться взаимодействовать и не ждать от него чуда. Это рабочий инструмент, к которому нужно привыкнуть и использовать по назначению.
Я и юридические вопросы ему задаю. Много врёт и даёт неточную информацию, доверять нельзя, но как отправная точка может помочь. И бытовые, по ремонту машины, например. Тут хорошо помогает. Сказывается богатая база информации на автофорумах, которая не теряет актуальности со временем.
По ИТ само собой. Портянки bash и регулярок пишет почти всегда рабочие, хоть и не оптимальные. По ошибкам и логам тоже очень хорошо помогает решать проблемы. Сконфигурировать какой-то новый сервис или актуализировать конфигурацию под только что вышедшую версию чаще всего не может, начинает фантазировать. Сказывается отсутствие обучающего материала, который ещё не написали. Для старых сервисов даёт конфигурации рабочие, но часто неоптимальные, с лишними параметрами. Я обычно получаю от него конфигурацию, прошу всё пояснить и дальше по документации сверяю некоторые моменты и убираю или меняю то, что мне не нужно. То есть использую ИИ только как помощник, не доверяю ему полное решение задачи. Хотя он может решить, но плохо. Так как я пока ещё могу сам проверить всё, делаю это.
❓А у вас как дела с ИИ складываются? Есть ещё те, кто его не использует? Чем руководствуетесь при этом? Отдельно поинтересуюсь, какие платные подписки покупаете и самое главное, как оплачиваете? Не разбирался пока с этой темой.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍196👎13
Расскажу историю по мотивам утренней, как моя невнимательность и ошибки бесплатных СhatGPT и Qwen привели к тому, что я несколько часов ходил по кругу и не мог решить простейшую задачу. Думаю, это будет наглядным примером того, как не стоит сильно доверять ИИ даже в простых задачах.
Как я уже писал, у меня была задача - собирать логи Mikrotik в Loki. Первое, что я сделал - задал вопрос на эту тему ChtaGPT, чтобы в целом понять структуру задачи. Он ответил вполне логично, что можно взять устаревший Promtail, или современный и рекомендуемый Alloy. И сразу предложил к нему конфигурацию.
Я, уже наученный опытом использования конфигураций от ИИ, сразу же пошёл в документацию, чтобы самому собрать нужные параметры. Меня интересовали параметры для раздела loki.source.syslog. Я этот поисковой запрос вбил в Яндексе, в надежде сразу попасть в документацию, как это обычно бывает. И я действительно попал в документацию Grafana, только для продукта Agent, который был предшественником Alloy. У них одинаковая структура конфигурации, просто у Alloy намного больше параметров. Но визуально они не отличаются.
Я собрал конфиг для syslog на основе этой документации. Запустил, всё работает. Оправляю логи с Mikrotik и получаю ошибку парсинга. Я опять пошел в ИИ и спросил его, в чём ошибка и как решить. Он логично отвечает, что Alloy ожидает RFC5424, а получает RFC3164-подобный формат от Микротика.
И дальше он предлагает параметр, который решает эту проблему:
❗️Но вставляет его не в тот раздел конфигурации. Я добавляю, запускаю, получаю ошибку конфигурации на параметр syslog_format, якобы его не существует. Пишу это в ИИ и он мне на голубом глазу отвечает:
В Grafana Alloy нет параметра syslog_format (я привёл аналогию с другими инструментами — здесь это не работает).
Я возвращаюсь на вкладку документации для Agent, всё там проверяю и действительно не вижу этого параметра. Ну а дальше поехали всевозможные костыли, на которые я потратил кучу времени, но задачу таки решил через одно место.
И уже позже, когда я разбирался с метками на основе syslog полей, я попадаю в документацию Alloy и с удивлением вижу там:
The messages must be compliant with the RFC5424 syslog protocol or the RFC3164 BSD syslog protocol.
Это было как гром среди ясного неба. Я не понимаю, чем я вообще занимался и какую задачу решал. Сравнил две вкладки с документацией Agent и Alloy. Они очень похожи, так как последний является продолжением первого, просто для него добавились дополнительные параметры.
Сделать нужно было вот так:
А ИИ предложил так:
Поставил параметр не в ту секцию. Когда получил ошибку на syslog_format, с какого-то перепугу заявил, что его не существует. А я из-за невнимательности поверил и решил, что его действительно нет.
Параллельно я этот же вопрос решал с Qwen и он тоже не дал рабочей конфигурации для Alloy.
Такая вот для меня поучительная история получилась. Не знаю, как работают платные версии, но бесплатные явно путаются и в некоторых сферах работают плохо. Я так понял, что тут наложилось то, что был Promtail, Agent и теперь появился Alloy. Все 3 программы решают одинаковые задачи, существовали одновременно, конфигурации похожи, поэтому получается путаница. Проще было с самого начала сделать всё самому. Это бы заняло 10-15 минут. А в итоге несколько часов потратил. Правда, многому научился. И получил в итоге самый удобный вариант, о котором напишу в следующей заметке.
☝️ По сути тут ошибся я сам, с себя ответственности не снимаю. С ИИ какой спрос? Он постоянно ошибается. В итоге наложилось одно на другое. ИИ мог бы помочь мне, но сделал ещё хуже - пустил по ложному следу.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Как я уже писал, у меня была задача - собирать логи Mikrotik в Loki. Первое, что я сделал - задал вопрос на эту тему ChtaGPT, чтобы в целом понять структуру задачи. Он ответил вполне логично, что можно взять устаревший Promtail, или современный и рекомендуемый Alloy. И сразу предложил к нему конфигурацию.
Я, уже наученный опытом использования конфигураций от ИИ, сразу же пошёл в документацию, чтобы самому собрать нужные параметры. Меня интересовали параметры для раздела loki.source.syslog. Я этот поисковой запрос вбил в Яндексе, в надежде сразу попасть в документацию, как это обычно бывает. И я действительно попал в документацию Grafana, только для продукта Agent, который был предшественником Alloy. У них одинаковая структура конфигурации, просто у Alloy намного больше параметров. Но визуально они не отличаются.
Я собрал конфиг для syslog на основе этой документации. Запустил, всё работает. Оправляю логи с Mikrotik и получаю ошибку парсинга. Я опять пошел в ИИ и спросил его, в чём ошибка и как решить. Он логично отвечает, что Alloy ожидает RFC5424, а получает RFC3164-подобный формат от Микротика.
И дальше он предлагает параметр, который решает эту проблему:
syslog_format = "rfc3164"❗️Но вставляет его не в тот раздел конфигурации. Я добавляю, запускаю, получаю ошибку конфигурации на параметр syslog_format, якобы его не существует. Пишу это в ИИ и он мне на голубом глазу отвечает:
В Grafana Alloy нет параметра syslog_format (я привёл аналогию с другими инструментами — здесь это не работает).
Я возвращаюсь на вкладку документации для Agent, всё там проверяю и действительно не вижу этого параметра. Ну а дальше поехали всевозможные костыли, на которые я потратил кучу времени, но задачу таки решил через одно место.
И уже позже, когда я разбирался с метками на основе syslog полей, я попадаю в документацию Alloy и с удивлением вижу там:
The messages must be compliant with the RFC5424 syslog protocol or the RFC3164 BSD syslog protocol.
Это было как гром среди ясного неба. Я не понимаю, чем я вообще занимался и какую задачу решал. Сравнил две вкладки с документацией Agent и Alloy. Они очень похожи, так как последний является продолжением первого, просто для него добавились дополнительные параметры.
Сделать нужно было вот так:
loki.source.syslog "syslog_in" { listener { address = "0.0.0.0:1514" protocol = "udp" syslog_format = "rfc3164" } forward_to = [loki.process.syslog_process.receiver]}А ИИ предложил так:
loki.source.syslog "syslog_in" { listener { address = "0.0.0.0:1514" protocol = "udp" } syslog_format = "rfc3164" forward_to = [loki.process.syslog_process.receiver]}Поставил параметр не в ту секцию. Когда получил ошибку на syslog_format, с какого-то перепугу заявил, что его не существует. А я из-за невнимательности поверил и решил, что его действительно нет.
Параллельно я этот же вопрос решал с Qwen и он тоже не дал рабочей конфигурации для Alloy.
Такая вот для меня поучительная история получилась. Не знаю, как работают платные версии, но бесплатные явно путаются и в некоторых сферах работают плохо. Я так понял, что тут наложилось то, что был Promtail, Agent и теперь появился Alloy. Все 3 программы решают одинаковые задачи, существовали одновременно, конфигурации похожи, поэтому получается путаница. Проще было с самого начала сделать всё самому. Это бы заняло 10-15 минут. А в итоге несколько часов потратил. Правда, многому научился. И получил в итоге самый удобный вариант, о котором напишу в следующей заметке.
☝️ По сути тут ошибся я сам, с себя ответственности не снимаю. С ИИ какой спрос? Он постоянно ошибается. В итоге наложилось одно на другое. ИИ мог бы помочь мне, но сделал ещё хуже - пустил по ложному следу.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍104👎4
Решил понемногу погружаться в тему ИИ, чтобы изучить технологию работы с ними не на уровне вопросов в окно чата, а чуть поглубже. Начать решил с локальных моделей, так как они всегда под рукой, бесплатны, нет ограничений доступа, а технически взаимодействие с ними такое же, как и с большими платными моделями. Разница лишь в качестве ответов. Для обучения это некритично.
Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст:
▪️AMD Ryzen 5 5600
▪️32 ГБ Памяти
▪️RTX 5060 8 ГБ
Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал.
Работал с Ollama и LM Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. LM Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а LM Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные.
У LM Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. LM Studio делает примерно то же самое у себя.
У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например:
- Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду;
- Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15;
- Gemma-4-31B-it-Q4_K_M только 1.
Для первоначального знакомства ориентироваться стоит на популярные модели:
◽️Qwen
◽️Llama
◽️Gemma
◽️GigaChat
◽️Mistral
Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно.
Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей:
🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач.
🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно.
🔹Работа с моими текущими задачами, документами, календарём.
🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д.
Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними:
- Google MCP Servers
- NeuralDeep MCP (много российских интеграций)
- Official MCP Registry
- MCPmarket
Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно.
Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст:
▪️AMD Ryzen 5 5600
▪️32 ГБ Памяти
▪️RTX 5060 8 ГБ
Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал.
Работал с Ollama и LM Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. LM Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а LM Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные.
У LM Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. LM Studio делает примерно то же самое у себя.
У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например:
- Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду;
- Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15;
- Gemma-4-31B-it-Q4_K_M только 1.
Для первоначального знакомства ориентироваться стоит на популярные модели:
◽️Qwen
◽️Llama
◽️Gemma
◽️GigaChat
◽️Mistral
Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно.
Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей:
🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач.
🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно.
🔹Работа с моими текущими задачами, документами, календарём.
🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д.
Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними:
- Google MCP Servers
- NeuralDeep MCP (много российских интеграций)
- Official MCP Registry
- MCPmarket
Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно.
Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍196👎3
В продолжение утренней темы, так как по длине туда всё не влезло. Хочу кратенько ещё одну тему затронуть, которая сейчас только набирает популярность - безопасная работа с ИИ. Пока не погружаешься в эту тему, до конца не понимаешь, какие конкретно есть опасности.
Например, в LM Studio появились плагины. Я когда про них читал, погрузился в эту тему. Они пишутся на JavaScript, в перспективе будет Python, и закодить там можно всё, что угодно. Помимо того, что в коде самих плагинов может что-то быть, но это проверяется относительно просто, они могут ходить по сайтам и собирать информацию. В этих сайтах могут быть запрятаны инструкции что-то сделать, что вам не понравится. Например, проверить какие-то локальные файлы, к которым есть доступ, найти там какие-нибудь токены от платных сервисов и отправить их куда-то во вне веб запросом. Или что-то более простое - гонять модельку по редиректам, устраивая кому-то ддос, или просто отправить её сканировать localhost или твою локальную сеть.
Ещё один вполне реальный пример. Вам присылают документ, который вы автоматом отправляете в ИИ на анализ. В документе есть инструкция - добавить ссылку на вредоносный сайт или заменить существующую. Может быть и посложнее - проверить локальный RAG на предмет каких-то паролей, токенов или другой приватной информации, и перейти по адресу aiserver.com/?info=password. Обычным GET запросом агент выдаст найденный пароль. А серия таких запросов может вообще какую угодно текстовую информацию выдать.
Чем плотнее ИИ-агенты будут интегрироваться в наши процессы, а мне видится это неизбежным уже в самом ближайшем будущем, тем больше у них будет доступов и возможностей. И тут впору появиться какому-то специализированному ИИ-антивирусу, который будет защищать от таких проблем. А пока их нет, вся защита на пользователях.
Публичные сервисы от всего этого защищены, а вот локальная защита - ваша ответственность. Самое очевидно - использовать самодельные песочницы. В простом случае - отдельные виртуалки и гонять информацию между ними без участия ИИ-агентов. И уж точно не запускать агентов с доступом ко всей информации или всему компьютеру. Сколько уже историй видел в инете, когда агенты грохали пользовательские файлы или всю систему.
#ai #security
Например, в LM Studio появились плагины. Я когда про них читал, погрузился в эту тему. Они пишутся на JavaScript, в перспективе будет Python, и закодить там можно всё, что угодно. Помимо того, что в коде самих плагинов может что-то быть, но это проверяется относительно просто, они могут ходить по сайтам и собирать информацию. В этих сайтах могут быть запрятаны инструкции что-то сделать, что вам не понравится. Например, проверить какие-то локальные файлы, к которым есть доступ, найти там какие-нибудь токены от платных сервисов и отправить их куда-то во вне веб запросом. Или что-то более простое - гонять модельку по редиректам, устраивая кому-то ддос, или просто отправить её сканировать localhost или твою локальную сеть.
Ещё один вполне реальный пример. Вам присылают документ, который вы автоматом отправляете в ИИ на анализ. В документе есть инструкция - добавить ссылку на вредоносный сайт или заменить существующую. Может быть и посложнее - проверить локальный RAG на предмет каких-то паролей, токенов или другой приватной информации, и перейти по адресу aiserver.com/?info=password. Обычным GET запросом агент выдаст найденный пароль. А серия таких запросов может вообще какую угодно текстовую информацию выдать.
Чем плотнее ИИ-агенты будут интегрироваться в наши процессы, а мне видится это неизбежным уже в самом ближайшем будущем, тем больше у них будет доступов и возможностей. И тут впору появиться какому-то специализированному ИИ-антивирусу, который будет защищать от таких проблем. А пока их нет, вся защита на пользователях.
Публичные сервисы от всего этого защищены, а вот локальная защита - ваша ответственность. Самое очевидно - использовать самодельные песочницы. В простом случае - отдельные виртуалки и гонять информацию между ними без участия ИИ-агентов. И уж точно не запускать агентов с доступом ко всей информации или всему компьютеру. Сколько уже историй видел в инете, когда агенты грохали пользовательские файлы или всю систему.
#ai #security
1👍75👎2
Покажу один из примеров, где локальные модели вполне могут справляться с поставленными задачами. Есть открытый проект Vane, в прошлом назывался Perplexica. Как можно понять из названия, это копия функциональности Perplexity. Автор переименовался, потому что хочет развивать продукт в другом ключе, а не делать клон популярного сервиса.
Vane работает на базе открытого поисковика SearxNG. Он собирает поисковую выдачу, передаёт результат в ИИ, который формирует ответ. Всё это работает локально и управляется вами. В чём преимущество и удобство Vane? Тут три основных момента.
1️⃣ Вы управляете через настройки SearxNG поисковой выдачей. Можете выбирать поисковую систему, или несколько систем, с которых будет браться выдача.
2️⃣ Вы сами выбираете модель, которая будет формировать выдачу. Это могут быть как платные внешние модели, типа OpenAI, Gemini, Groq, Anthropic, так и локальные, запущенные через Ollama или LM Studio.
3️⃣ Все результаты хранятся у вас локально. Нет риска быть забаненными и потерять все диалоги.
Я погонял этот движок на базе локальных моделей через LM Studio. Настройка очень простая. У меня всё сразу получилось. При использовании моделей Openai/gpt-oss-20B, Qwen3.6-35B-A3B, Qwen3-Coder-30B-A3B ответ готовится 1-3 минуты, что вполне терпимо. И при этом он нормального качества. Если брать модели попроще, то качество ответов мне не понравилось.
Рассказываю, как всё это настроить у себя. Запускаем Vane на любой виртуальной машине. Много ресурсов не надо, 4vCPU и 4GB памяти хватает за глаза. Может и меньше - это стандартный размер моей тестовой виртуалки.
Vane запустится сразу с настроенным SearxNG, где по умолчанию настроен поисковик Google. Для постоянного использования SearxNG лучше установить и настроить отдельно, чтобы можно было управлять выдачей. Это нетрудно сделать. Для тестов хватит и гугла.
Качаем и устанавливаем LM Studio. Там простой установщик, сложностей никаких нет. Запускаем LM Studio, идём в раздел Model Search, там где робот с лупой нарисован. Ставим максимально возможную для вас модель. Проще всего начать с Qwen или GPT-OSS. Они для этих задач хорошо подходят.
Идём в раздел Local Server, загружаем скачанную модель. Контекст выставляем примерно 20 000. Мне его всегда хватало. Если меньше, то иногда поисковик ругался, что не хватает контекста. После загрузки модели включаем ползунок Status: Stopped, чтобы он стал Status: Running. В свойствах сервера активируйте параметр Serve on Local Network, чтобы он стал доступен по сети, а не только локально.
Открываем в браузере виртуалку с Vane на порту 3000. Он запущен без аутентификации, сразу можно работать. Идём в настройки, нажимаем Add Connection, выбираем Connection Type - LM Studio и указываем адрес машины с запущенной ИИ, порт по умолчанию 1234. У меня адрес LM Studio - http://192.168.137.200:1234/.
Заходим в добавленное подключение, выбираем Chat Model - openai/gpt-oss-20b, Embedding Model - all-MiniLM-L6-v2. Я не знаю, чем они принципиально отличаются. С этой мне больше всего понравилась скорость и результаты.
На этом всё. Открываем новый чат и вводим запрос. Работает примерно так же, как бесплатная Perplexity, только тут вы управляете и поисковиком, и моделью. Можете подключить нормальную коммерческую, результат будет отличный, и при этом всё хранится и управляется вами.
Понравилось, что он умеет ходить на заданные сайты и готовить выжимку из новостей, или конкретной статьи. Не пишет, как Qwen, что я не умею ходить по ссылкам. Важно, чтобы сайт его не распознал, как работа и не заблокировал парсинг. Какие-то блокируют, какие-то нет.
Из багов заметил, что иногда падал контейнер с Vane, когда использовал разные embedding модели, в том числе запущенные в LM Studio. Со стандартной all-MiniLM-L6-v2 проблем не было.
Получается вполне себе функциональное и прикладное решение.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Vane работает на базе открытого поисковика SearxNG. Он собирает поисковую выдачу, передаёт результат в ИИ, который формирует ответ. Всё это работает локально и управляется вами. В чём преимущество и удобство Vane? Тут три основных момента.
Я погонял этот движок на базе локальных моделей через LM Studio. Настройка очень простая. У меня всё сразу получилось. При использовании моделей Openai/gpt-oss-20B, Qwen3.6-35B-A3B, Qwen3-Coder-30B-A3B ответ готовится 1-3 минуты, что вполне терпимо. И при этом он нормального качества. Если брать модели попроще, то качество ответов мне не понравилось.
Рассказываю, как всё это настроить у себя. Запускаем Vane на любой виртуальной машине. Много ресурсов не надо, 4vCPU и 4GB памяти хватает за глаза. Может и меньше - это стандартный размер моей тестовой виртуалки.
# docker run -d -p 3000:3000 -v vane-data:/home/vane/data --name vane itzcrazykns1337/vane:latestVane запустится сразу с настроенным SearxNG, где по умолчанию настроен поисковик Google. Для постоянного использования SearxNG лучше установить и настроить отдельно, чтобы можно было управлять выдачей. Это нетрудно сделать. Для тестов хватит и гугла.
Качаем и устанавливаем LM Studio. Там простой установщик, сложностей никаких нет. Запускаем LM Studio, идём в раздел Model Search, там где робот с лупой нарисован. Ставим максимально возможную для вас модель. Проще всего начать с Qwen или GPT-OSS. Они для этих задач хорошо подходят.
Идём в раздел Local Server, загружаем скачанную модель. Контекст выставляем примерно 20 000. Мне его всегда хватало. Если меньше, то иногда поисковик ругался, что не хватает контекста. После загрузки модели включаем ползунок Status: Stopped, чтобы он стал Status: Running. В свойствах сервера активируйте параметр Serve on Local Network, чтобы он стал доступен по сети, а не только локально.
Открываем в браузере виртуалку с Vane на порту 3000. Он запущен без аутентификации, сразу можно работать. Идём в настройки, нажимаем Add Connection, выбираем Connection Type - LM Studio и указываем адрес машины с запущенной ИИ, порт по умолчанию 1234. У меня адрес LM Studio - http://192.168.137.200:1234/.
Заходим в добавленное подключение, выбираем Chat Model - openai/gpt-oss-20b, Embedding Model - all-MiniLM-L6-v2. Я не знаю, чем они принципиально отличаются. С этой мне больше всего понравилась скорость и результаты.
На этом всё. Открываем новый чат и вводим запрос. Работает примерно так же, как бесплатная Perplexity, только тут вы управляете и поисковиком, и моделью. Можете подключить нормальную коммерческую, результат будет отличный, и при этом всё хранится и управляется вами.
Понравилось, что он умеет ходить на заданные сайты и готовить выжимку из новостей, или конкретной статьи. Не пишет, как Qwen, что я не умею ходить по ссылкам. Важно, чтобы сайт его не распознал, как работа и не заблокировал парсинг. Какие-то блокируют, какие-то нет.
Из багов заметил, что иногда падал контейнер с Vane, когда использовал разные embedding модели, в том числе запущенные в LM Studio. Со стандартной all-MiniLM-L6-v2 проблем не было.
Получается вполне себе функциональное и прикладное решение.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍112👎1
Вчера был на бесплатной конференции по машинному обучению и искусственному интеллекту от Селектел. Пока свежи воспоминания, поделюсь некоторыми мыслями на эту тему. Конфа была больше для руководителей и людей, принимающих решения. Было мало технических подробностей и много примеров внедрения в бизнесе для решения различных задач.
🔹Особенность ведения бизнеса в современных реалиях в РФ такова, что локальные нейросети, развёрнутые на своих или арендованных серверах - это повсеместная история. Доступ к технологическим мировым лидерам ограничен как технически (блокировки, санкции), так законодательно (персональные данные, трансграничная передача). Особых проблем в этом нет, так как многие задачи успешно решаются условно небольшими нейросетями, а сама технология ещё не оформилась в какую-то стабильную и понятную историю. Идут постоянные изменения, обновления, улучшения. Всё меняется очень быстро. Завязки на что-то одно крупное будут скорее вредить, чем помогать.
💡У меня в голове по этому проводу возникла мысль, что сейчас очень хорошее время зайти специалистом в эту область знаний. Я не про себя сейчас, а вообще. Технология развивается, всё постоянно меняется, устоявшихся практик и готовых специалистов нет или очень мало. Если вы ищите себя в IT и пока не знаете, на чём сфокусироваться, обратите внимание на ML и AI.
ML-инженеры уже давно сформировались, это не сказать, что что-то новое, а вот AI-инженеры, которые занимаются построением инфраструктуры для использования нейросетей, сейчас будут очень востребованы. Вокруг нейросети нужно построить масштабную и нагруженную технологическую платформу, чтобы всё это успешно работало. Она сейчас включает в себя как минимум сам движок LLM, RAG, векторную БД, MCP Server, агенты, LLM прокси для роутинга запросов. Наверняка появится какая-то платформа для управления всем этим. Сейчас каждый свою пишет так, как ему кажется удобнее.
🔹Вопреки расхожему мнению, что небольшие локальные модели на те же 30B не могут конкурировать с огромными облачными, это не так. Для многих локальных задач небольших моделей достаточно. Наиболее популярные модели от qwen, gemma, gpt-oss, minimax.
🔹Некоторые примеры решения задач с помощью ИИ:
◽️Рекрутёр обзвонщик разговаривает с кандидатами, ищет подходящих, передаёт дальше.
◽️Текстовая и голосовая работа операторов с базой знаний, которая постоянно обновляется. Популярная задача, актуальная почти для всех компаний.
◽️Изменение стоимости доставки в интернет-магазине в зависимости от нагрузки сервиса, чтобы снижать при нехватке водителей поток клиентов повышением цены.
◽️У банков иишки уже много лет решают кучу задач: предсказания по кредитам, выплатам, внутренняя база знаний, поддержка клиентов, антифрод, работа с документами и т.д.
Понравилась история с примером AI агента, который помогает операторам банка отвечать клиентам почему им не начислили тот или иной кэшбек. Банки настолько усложнили схему с кэшбеками, что без AI не разобраться. Я по этой причине вообще не пользуюсь никакими кэшбеками принципиально. Не хочу забивать себе этим голову.
🔹Несколько практических моментов, которые для себя вынес:
- MiniMax и OpenCode - ai ассистент в терминале и ide.
- LiteLLM Proxy - проксирование запросов в разные LLM.
- Модели нормально крутятся в Kubernetes.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
🔹Особенность ведения бизнеса в современных реалиях в РФ такова, что локальные нейросети, развёрнутые на своих или арендованных серверах - это повсеместная история. Доступ к технологическим мировым лидерам ограничен как технически (блокировки, санкции), так законодательно (персональные данные, трансграничная передача). Особых проблем в этом нет, так как многие задачи успешно решаются условно небольшими нейросетями, а сама технология ещё не оформилась в какую-то стабильную и понятную историю. Идут постоянные изменения, обновления, улучшения. Всё меняется очень быстро. Завязки на что-то одно крупное будут скорее вредить, чем помогать.
💡У меня в голове по этому проводу возникла мысль, что сейчас очень хорошее время зайти специалистом в эту область знаний. Я не про себя сейчас, а вообще. Технология развивается, всё постоянно меняется, устоявшихся практик и готовых специалистов нет или очень мало. Если вы ищите себя в IT и пока не знаете, на чём сфокусироваться, обратите внимание на ML и AI.
ML-инженеры уже давно сформировались, это не сказать, что что-то новое, а вот AI-инженеры, которые занимаются построением инфраструктуры для использования нейросетей, сейчас будут очень востребованы. Вокруг нейросети нужно построить масштабную и нагруженную технологическую платформу, чтобы всё это успешно работало. Она сейчас включает в себя как минимум сам движок LLM, RAG, векторную БД, MCP Server, агенты, LLM прокси для роутинга запросов. Наверняка появится какая-то платформа для управления всем этим. Сейчас каждый свою пишет так, как ему кажется удобнее.
🔹Вопреки расхожему мнению, что небольшие локальные модели на те же 30B не могут конкурировать с огромными облачными, это не так. Для многих локальных задач небольших моделей достаточно. Наиболее популярные модели от qwen, gemma, gpt-oss, minimax.
🔹Некоторые примеры решения задач с помощью ИИ:
◽️Рекрутёр обзвонщик разговаривает с кандидатами, ищет подходящих, передаёт дальше.
◽️Текстовая и голосовая работа операторов с базой знаний, которая постоянно обновляется. Популярная задача, актуальная почти для всех компаний.
◽️Изменение стоимости доставки в интернет-магазине в зависимости от нагрузки сервиса, чтобы снижать при нехватке водителей поток клиентов повышением цены.
◽️У банков иишки уже много лет решают кучу задач: предсказания по кредитам, выплатам, внутренняя база знаний, поддержка клиентов, антифрод, работа с документами и т.д.
Понравилась история с примером AI агента, который помогает операторам банка отвечать клиентам почему им не начислили тот или иной кэшбек. Банки настолько усложнили схему с кэшбеками, что без AI не разобраться. Я по этой причине вообще не пользуюсь никакими кэшбеками принципиально. Не хочу забивать себе этим голову.
🔹Несколько практических моментов, которые для себя вынес:
- MiniMax и OpenCode - ai ассистент в терминале и ide.
- LiteLLM Proxy - проксирование запросов в разные LLM.
- Модели нормально крутятся в Kubernetes.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍68👎7
Трачу сейчас всё доступное для обучения свободное время на взаимодействие с ИИ. Очень увлекает, трудно оторваться вечером и лечь спать. Мои публикации на этот счёт стоит воспринимать как заметки. Это не обучающий материал и не лучшие практики, которые стоит перенимать. Делюсь своими наблюдениями и опытом.
Поставил себе цель в первую очередь изучить работу агентов. Для этого на первом этапе сформулировал простую, но вполне прикладную для меня задачу, которую хочу решить полностью с помощью агентов. Основные вехи:
◽️Настроить ansible-контроллер и написать плейбуки для автоматической установки агента Zabbix под разные системы.
◽️Настроить автоматическое добавление узлов на сервер мониторинга и назначение шаблонов, внесение в них изменений.
◽️Настроить MCP-сервер и организовать взаимодействие с сервером Zabbix человеческим языком, чтобы можно было делать примерно такие запросы: "Назови мне узлы, где в течении ближайшей недели закончится свободное место на дисках", "Какие компьютеры остаются включёнными в выходные дни", "Какие виртуальные хосты веб серверов больше всего нагружены" и т.д.
Это основные тезисы, с которых я начал. Сейчас уже техзадание, доработанное самим агентом выглядит намного объёмнее и конкретнее.
Начал изучение агентов с OpenClaw и OpenCode. Они на слуху, я видел много материалов по ним. К сожалению, в основном видел какие-то бестолковые примеры, где просто всё устанавливают и делают какие-то условные задачи для демонстрации работы. Из-за этого я даже не понял, что это два совершенно разных инструмента.
Сначала установил OpenClaw. Это монстр, где куча функциональности. Он не просто агент, это - погонщик агентов. У него много настроек и возможностей. Он жрёт кучу токенов и на локальных моделях безбожно тормозит. Сделать что-то путное с ним без жирной подписки не получится. Начинать с него знакомство с агентами было ошибкой. Я только кучу времени потерял и не получил практического опыта.
Потом установил и настроил OpenCode на небольшой виртуалке (2CPU, 4GB RAM). С ним работать одно удовольствие. Без проблем во всём разобрался и начал вайбкодить 😁 Сразу покажу последовательность действий, чтобы можно было повторить.
Подключил к нему пару моделей из своей LM Studio:
Добавил 2 модели: qwen3.5-9b и qwen3.6-35b-a3b. На первой с контекстом до 30к работает шустро, нет ощущения, что всё тормозит. Я даже удивился, что агент так бодро работает и вполне осмысленно. По строке в секунду появляется в чате. Удобно разрабатывать план, вносить уточнения.
Для работы с контекстом в 30к нужно сильно дробить задачи, иначе его не хватает. Плейбуки для ансибла пишутся нормально на модели qwen3.5-9b. Модель 35b-a3b подойдёт только для проработанного задания, чтобы запустить его и оставить думать на пару часов.
После настройки opencode, создаём каталог, инициализируем там git репозиторий и кладём в него файл с заданием, которое вы написали.
Дальше можно работать тут же в консоли, но я для удобства открыл VSCode, подключился к серверу по SSH. Там более удобное окружение для одновременной работы с файлами и терминалом.
В каталоге с инструкцией запустил opencode:
Открылся чат. Выбрал в нём режим Plan, модель qwen3.5-9b и стал командовать. Начал с того, что дал задание написать подробный план работ на основе инструкций из моего файла.
Ну а дальше пошёл бесценный опыт взаимодействия с агентом, который в двух словах не описать. Об этом напишу отдельно, когда задача будет решена.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Поставил себе цель в первую очередь изучить работу агентов. Для этого на первом этапе сформулировал простую, но вполне прикладную для меня задачу, которую хочу решить полностью с помощью агентов. Основные вехи:
◽️Настроить ansible-контроллер и написать плейбуки для автоматической установки агента Zabbix под разные системы.
◽️Настроить автоматическое добавление узлов на сервер мониторинга и назначение шаблонов, внесение в них изменений.
◽️Настроить MCP-сервер и организовать взаимодействие с сервером Zabbix человеческим языком, чтобы можно было делать примерно такие запросы: "Назови мне узлы, где в течении ближайшей недели закончится свободное место на дисках", "Какие компьютеры остаются включёнными в выходные дни", "Какие виртуальные хосты веб серверов больше всего нагружены" и т.д.
Это основные тезисы, с которых я начал. Сейчас уже техзадание, доработанное самим агентом выглядит намного объёмнее и конкретнее.
Начал изучение агентов с OpenClaw и OpenCode. Они на слуху, я видел много материалов по ним. К сожалению, в основном видел какие-то бестолковые примеры, где просто всё устанавливают и делают какие-то условные задачи для демонстрации работы. Из-за этого я даже не понял, что это два совершенно разных инструмента.
Сначала установил OpenClaw. Это монстр, где куча функциональности. Он не просто агент, это - погонщик агентов. У него много настроек и возможностей. Он жрёт кучу токенов и на локальных моделях безбожно тормозит. Сделать что-то путное с ним без жирной подписки не получится. Начинать с него знакомство с агентами было ошибкой. Я только кучу времени потерял и не получил практического опыта.
Потом установил и настроил OpenCode на небольшой виртуалке (2CPU, 4GB RAM). С ним работать одно удовольствие. Без проблем во всём разобрался и начал вайбкодить 😁 Сразу покажу последовательность действий, чтобы можно было повторить.
# curl -fsSL https://opencode.ai/install | bashПодключил к нему пару моделей из своей LM Studio:
# cat ~/.config/opencode/opencode.json{
"$schema": "https://opencode.ai/config.json",
"provider": {
"lmstudio": {
"npm": "@ai-sdk/openai-compatible",
"name": "LM Studio (local)",
"options": {
"baseURL": "http://192.168.137.200:1234/v1"
},
"models": {
"qwen/qwen3.5-9b": {
"name": "qwen3.5-9b"
},
"qwen/qwen3.6-35b-a3b": {
"name": "qwen3.6-35b-a3b"
}
}
}
}
}Добавил 2 модели: qwen3.5-9b и qwen3.6-35b-a3b. На первой с контекстом до 30к работает шустро, нет ощущения, что всё тормозит. Я даже удивился, что агент так бодро работает и вполне осмысленно. По строке в секунду появляется в чате. Удобно разрабатывать план, вносить уточнения.
Для работы с контекстом в 30к нужно сильно дробить задачи, иначе его не хватает. Плейбуки для ансибла пишутся нормально на модели qwen3.5-9b. Модель 35b-a3b подойдёт только для проработанного задания, чтобы запустить его и оставить думать на пару часов.
После настройки opencode, создаём каталог, инициализируем там git репозиторий и кладём в него файл с заданием, которое вы написали.
# mkdir zabbix-ai# cd zabbix-ai/# git initДальше можно работать тут же в консоли, но я для удобства открыл VSCode, подключился к серверу по SSH. Там более удобное окружение для одновременной работы с файлами и терминалом.
В каталоге с инструкцией запустил opencode:
# opencodeОткрылся чат. Выбрал в нём режим Plan, модель qwen3.5-9b и стал командовать. Начал с того, что дал задание написать подробный план работ на основе инструкций из моего файла.
Ну а дальше пошёл бесценный опыт взаимодействия с агентом, который в двух словах не описать. Об этом напишу отдельно, когда задача будет решена.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍184👎6