AI для Всех
15K subscribers
1.32K photos
181 videos
11 files
1.52K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
Делаем веб интерфейс для Ollama

Для того чтобы с Ollama было удобнее и приятнее работать, можно прикрутить к ней веб интерфейс очень подобный по дизайну на ChatGPT.

Пошаговая инструкция:

1) Ставим Docker и убеждаемся что он работает (если уже есть и на ходу, переходим к следующему пункту). Для тех, кто не в теме, читаем матчасть тут. Я использую Docker Desktop.

2) Ставим Ollama. Если на вашем компе уже живёт и работает Ollama, переходим к следующему шагу. Ollama и веб интерфейс можно поставить вместе, используя Docker compose файл в репозитории и команду: docker compose up -d --build для машин без GPU.

Для машин с GPU пишем: docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d --build


3) Если у вас уже есть Docker и Ollama, как было у меня, то убеждаемся что Ollama работает, вписав следующее в адресной строке браузера: https://127.0.0.1:11434/ (у вас может быть другой порт). Если браузер показывает вам сообщение: Ollama is running, то пишем команду: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart

4) Ждём пока Docker выполнит задачу

5) Ollama веб интерфейс должен открыться на следующем адресе: https://localhost:3000/ . Вы должны увидеть интерфейс, как на картинке в данном посте.

6) Enjoy!


🌌 Подробная инструкция
🔥22👍8🤩43
SF (San Francisco) такой SF

Сижу в парке, рядом чувак принёс пульт и фигачит DJ сет себе в наушники.

Вот такая современная версия дедушки с мольбертом
68👍13🤩10
Заканчиваем дела на этот год

В последний месяц я с головой ушел в свой проект, и совсем забыл про то, что я - это не только голова, но и тело. Спасибо что у меня есть такие чудесные друзья, как Ася.

Самый лучший способ выключится из дел и почувствовать свое тело - это ритуал какао. Рецепт такой: греем молоко, в него какао порошок, каенский перец и немножко корицы. Перед тем как пить, задаем intention (намерение, что мы хотим получить от ритуала).

После того как выпьете какао, лучше всего остановиться и посидеть помедитировать 20 минут (ставите таймер и дышите, каждый раз когда уносит в мысли, возвращаетесь к дыханию).

И вот, спустя час, все дела забыты, а впереди уже Новый год!

А вы как заканчиваете год?
35👍7😐7🤩5😁3😱1🎉1
Наш канал поздравляет всех подписчиков с Новым Годом 🎄

Желаем вам в новом году душевности, тепла, равновесия и достижения целей!
42🎉11🔥5👍1😁1
Инсайдерская инфа - OpenAI запустят свой GPT Store на следующей неделе.

Готовьтесь слышать слово агент из каждого утюга!
👍25😁3
Бесплатные облачные кредиты для стартапов

Многие из нас что-то пилят (или как говорят в Долине we are building). Одно дело делать блокнотик в колабе, и совсем другое запускать что-то в продакшен. Для этого нужны деньги.

К счастью, у больших организаций типа AWS, Microsoft, NVidia и Google есть программы для стартапов, в которых они дают бесплатные облачные кредиты для реализации ваших идей.

Мне удалось получить их все, без официальной регистрации компании.

Формы заявки довольно простые для заполнения:

AWS Activate - $1000+
NVidia Inception - $10000+
Microsoft for Startups -$1000+
Google for Startups - $2000+

Попадание в каждую из этих программ дает множество дополнительных плюшек, типа бесплатных кредитов на Notion, Miro, Assana, Vercel и тд.

Happy building!
33🔥10👍5🤩3
Магия Долины

На днях, сидел себе листал твиттер, как вдруг увидел пост Joscha Bach в котором он зовёт всех, кто пост прочитает, смотреть новый мультфильм Миядзаки в кино в Mountain View.

Не долго думая, я ответил что мне бы хотелось присоединиться, прыгнул в машину и приехал (примерно 40 минут от Сан-Франциско).

Во-первых, мультфильм мне очень понравился, он очень красиво нарисован и в нем очень красивая музыка.

А во-вторых, мы зависли на креслах в холле кинотеатра на 4 часа и это был просто космос! 4 часа живого общения с одним из самых интересных людей на планете!

Говорили про вселенную, разум, AI, Миядзаки, снова про вселенную, культуру, Дюну, экономикум софт для кожаных мешков и о чем только еще не говорили.

Самое сюреальное в происходящем было то, что люди вокруг понятия не имели, что происходило и обсуждалось на том диване (ну сидят какие-то нёрды и сидят 🤷‍♂️)

Вот такая у нас тут магия 🪄
🔥76😐137🤩7👍4
GPT, который помнит все

OpenAI включает функцию AI всегда с тобой (она официально никак не называется).

Работать это будет так: все наше общение в разных чатах будет каким-то образом суммаризироваться и сохранятся (возможно, что то типа одного global thread, но для системного промпта).

По задумке OpenAI, GPT станет намного более персонализированным и полезным (alignment with persona’s preferences).

X
👍22😱12🔥65😢4🎉2
Mixtral 8x7B оптимизировали для работы на слабых GPU

Mixtral 8x7B — это большая языковая модель (LLM) с открытыми весами, производительность которой выше, чем у GPT-3.5. Mixtral 8x7B представляет собой собрание экспертов (Mixture of Experts (MoE)).

Такие модели архитектурно отличаются от традиционных LLM. Вместо отправки каждого токена в dense layer, модель использует набор экспертов (слои со специализацией) и роутер, который направляет токены к наиболее подходящему эксперту.

Здесь очень подходит аналогия с консалтинговой компанией, в которой работают консультанты разной специализации.

Если традиционные модели, например Llama2, взаимодействуют со всей информацией одновременно, то экспертные модели эффективно распределяют задачи среди своих экспертов, что позитивно сказывается на их производительности.

Все бы хорошо, но чтобы запустить Mixtral 8x7B нужно много гигабайт оперативной памяти на GPU, что зачастую недоступно простым смертным обычным юзерам.

Ребята из МФТИ оптимизировали прожорливую Mixtral 8x7B для работы на небольших (consumer grade) GPU.

Исходная модель была квантована в режиме смешанной точности, используя полуквадратичное квантование (HQQ). Также была разработана специальная стратегия разгрузки ресурсов.

Авторы изучили, как экспертная модель использует своих экспертов между токенами, и выявили некоторые закономерности:

1) Модель повторно использует определенных экспертов для последовательных токенов

2) Скрытые состояния ранних уровней уже предвидят, какие эксперты будут использоваться на последующих уровнях.

В результате был разработан метод разгрузки для MoE моделей, который использует эти шаблоны:

1) Используется кэш LRU для уменьшения обмена данными между графическим процессором и оперативной памятью, что увеличивает производительность

2) Метод заранее предсказывает, какие эксперты будут нужны и формирует очередность их загрузки на основе требуемых вычислений


🪄 Блог

🐈‍⬛ Код

🐙 GitHub

📖 Статья

🕸 Сайт
🔥50👍1411
Онлайн с Microsoft for AI

Сегодня буду вести +- онлайн с конференции Microsoft AI Tour. Расскажу вам все свеженькие подробности, чем там занимается самая дорогая компания мира
🔥393🎉1
🚀 Keynote: Следующее поколения ИИ для разработчиков

На докладе был продемонстрирован ряд новых интересных инструментов для работы с искусственным интеллектом и облачными вычислениями, что подчеркивает стремление компании интегрировать искусственный интеллект в свои основные сервисы.

- Microsoft Cloud и Copilot Stack: Интеграция искусственного интеллекта в каждое облачное решение, преобразующее работу разработчиков с Azure, которая теперь предлагает платформу для приложений, данных и искусственного интеллекта.

- Copilot для Microsoft 365: Использование больших языковых моделей (LLM) OpenAI и Microsoft Graph, обеспечивающих улучшенный пользовательский опыт.

- Security Copilot: Предлагает специализированные знания для обеспечения безопасности организации.

- Microsoft Copilot Studio: No/low code решение без кода с тысячами готовых плагинов, упрощающее создание новых приложений Copilot.

- GitHub Copilot: Теперь более мощный, с такими возможностями, как объяснение кода в Visual Studio Code и быстрое исправление ошибок.

- Синергия данных и ИИ: Признавая важность данных, Microsoft подчеркнула успех ChatGPT, работающего на базе Azure Cosmos DB, и представила Microsoft Fabric для расширенной аналитики данных.

- Инновационные функции: Векторный поиск в Azure AI Search и полный доступ к лучшим моделям OpenAI.

- Партнерство с NVidia: Продвижение NeMO для расширения возможностей ИИ.

- Chat Studio: Интуитивно понятная платформа для создания и настройки решений для чатов с легкой интеграцией поиска Azure AI и озер данных.

- PromptFlow: Визуальный интерфейс для создания цепочек промптов, Python и RAG, развертываемый как Azure endpoint.

- Azure Content Safety: Внедрение фильтров контента и настраиваемых параметров допустимости для более безопасного контента.

Выводы
Акцент Microsoft на простоте использования, безопасности и надежной аналитике данных указывает на значительный сдвиг в сторону ИИ-ориентированных решений, упрощающих сложные задачи и стимулирующих инновации среди разработчиков.
🔥28👍10🤩21
🌐 Break-Out Session Insights: Векторный поиск и передовые технологии поиска для приложений ИИ

Потенциал и проблемы векторного поиска в приложениях генеративного ИИ.

На второй сессии мы погрузились в запутанный мир векторного поиска и передовых методов извлечения информации для приложений генеративного ИИ, обсудив возможности и ограничения, присущие современным большим языковым моделям (LLM).

- Ограничения LLM: устаревшие знания и отсутствие доступа к внутренним данным (например компании)

- Инкорпорирование знаний о домене:
Обсуждались такие стратегии, как промптинг, файнтюнинг (навыки и знания навсегда) и RAG (временные навыки и знания)

- Стоимость файнтюнинга: По общему мнению сотрудников Microsoft, файнтюнинг - это дорого, обратил внимание, что многие не знают об экономически эффективных методах, таких как LoRA.

- Retrieval Augmented Generation (RAG): Этот подход предполагает преобразование вопроса пользователя в оптимальный поисковый запрос для поиска документов, а затем ответ от LLM с цитатами.

- Robust Retrieval: Акцент на важности надежного поиска данных с использованием векторных методов семантического сходства.

- Векторные базы данных и эмбеддинги: Обсуждение того, как разные модели дают разные вкрапления, причем эмбединги OpenAI отличаются тем, что кодируют как буквы, так и семантику. (“Dog” ~ “god”)

- Возможности для бизнеса: Потенциал для встраивания источников знаний и предложения поиска по сходству в качестве услуги (Vector Search as a Service)

Azure AI Search
Возможности включают автоматическое индексирование из баз данных Azure, комплексный векторный поиск и мульти-язычные текстовые эмбединги.

- Стратегии векторного поиска: Такие методы, как приближенный поиск ближайших соседей (ANN) и исчерпывающий поиск KNN, были отмечены за их эффективность в различных сценариях.

- Гибридный поиск: Сочетание точного поиска текста с векторным поиском для повышения релевантности.

- Чанкинг и векторизация: Azure работает над предложением "Chunking as a Service, которая предполагает разбиение длинного текста на более короткие фрагменты для более целенаправленного анализа содержимого.

- Azure AI SDK и приложения: SDK облегчает векторный поиск в различных приложениях, включая рекомендательные системы.

Выводы
Сессия подчеркнула быструю эволюцию методов поиска в ИИ и подчеркнула важность векторного поиска и RAG для улучшения приложений генеративного ИИ.

Дальнейшее развитие Microsoft в этой области, особенно с помощью Azure AI и возможностей векторного поиска, свидетельствует о твердом намерении развивать технологии ИИ для более точного, релевантного и эффективного поиска и обработки данных.
🔥12👍65😱1
AI для Всех
🌐 Break-Out Session Insights: Векторный поиск и передовые технологии поиска для приложений ИИ Потенциал и проблемы векторного поиска в приложениях генеративного ИИ. На второй сессии мы погрузились в запутанный мир векторного поиска и передовых методов извлечения…
Ценники на Azure

У Microsoft прям таки мега супер дорогой Semantic Reranking! Определенно возможность для маленького стартапчика (покидайте какие уже такое делают).

Semantic reranking - это процесс, используемый в области обработки естественного языка и информационного поиска, где первоначальные результаты запроса переупорядочиваются на основе их семантического содержания. Цель этого процесса - улучшить релевантность и точность результатов, предоставляемых поисковой системой или другим алгоритмом обработки языка.

В типичном сценарии использования, система сначала генерирует список потенциальных ответов или документов на основе некоторых начальных критериев (например, ключевых слов). Затем эти результаты анализируются более глубоко с точки зрения их семантического содержания - то есть понимания и интерпретации естественного языка, в контексте которого они были созданы. Этот анализ может включать в себя оценку релевантности текста к запросу, понимание намерений пользователя, учет контекста и смысловых связей между словами.

После семантического анализа результаты могут быть переупорядочены так, чтобы наиболее релевантные и полезные ответы были представлены первыми. Это повышает вероятность того, что пользователь найдет наиболее удовлетворительный ответ на свой запрос в начале списка результатов.

Semantic reranking широко используется в современных поисковых системах, системах рекомендаций, чат-ботах и других приложениях, где важно точно понимать и отвечать на запросы на естественном языке.
👍12🔥63