Unsloth: оптимизируем обучение LLM в 2-5 раз с экономией памяти 80%

Unsloth - это открытый инструмент, позволяющий значительно ускорить обучение языковых моделей Llama, Mistral и Gemma в 2-5 раз и сэкономить до 80% памяти. 🚀
Поддерживаются алгоритмы обучения DPO, PPO и Reward Modelling. Все ноутбуки Jupyter понятны для начинающих.
Обученные модели можно экспортировать в форматы GGML, vLLM или загрузить на Hugging Face.
Репозиторий на GitHub предоставляет примеры настроек для обучения на Google Colab и Kaggle.
Проект набирает популярность, недавно достигнув 1 млн загрузок в месяц. 📈

Теперь каждый может обучить бесплатно свой ИИ на одной видеокарте.

#Unsloth #LLM #Optimization
-------
@tsingular

Microsoft внедряет AI-чипы AMD и анонсирует Cobalt 100

Майкрософт будет предлагать облачным клиентам чипы AMD MI300X для ИИ в качестве альтернативы доминирующим, но труднодоступным GPU Nvidia H100. 🧠💻
Кластеры MI300X интегрируют в облачный сервис Azure. AMD прогнозирует $4 млрд выручки от ИИ-чипов в этом году.
На конференции Build Майкрософт также представит свои процессоры Cobalt 100 с приростом производительности на 40% относительно других ARM-чипов.
Облачное подразделение уже предлагает доступ к собственным ИИ-чипам Maia.
Спрос на чипы для ИИ растёт из-за потребности техногигантов в обучении больших языковых моделей. 📈🚀

#MicrosoftBuild #AMDxAzure #Cobalt100
-------
@tsingular

Стивен Вольфрам о будущем ИИ: контроль vs инновации

Технологии автоматизируют задачи, открывая новые возможности.
Нейросети хорошо предсказывают языковые данные, но не естественные явления из-за вычислительной неразрешимости.
Академические работы должны быть формализованы, иначе это просто сгенерированный ИИ текст.
ИИ персонализирует обучение, адаптируя материал к интересам учащегося.
Необходимо переосмыслить демократию и управление с учетом ИИ ("проптократия").
Конкуренция между ИИ-системами может быть стабильнее доминирования одного ИИ.
ИИ предложит непредсказуемые решения, придется выбирать между контролем и инновациями.
Для индивидуальных идей нужен один человек, для коллективных достижений - институализация усилий.

Будущее за теми, кто сможет совместить креативность ИИ и человеческий контроль. 🤖🎭

#Wolfram #future #control #innovation
-------
@tsingular

poe.com добавили новые модели в пул.

GPT-4o
Gemini 1.5 Pro - 128k
Gemini 1.5 Pro - 1 Million
Gemini 1.5 Flash - 128k
Gemini 1.5 Flash - 1 Million

Одна из площадок с ИИ моделями, доступная без VPN.

#POE
———
@tsingular

Крутой пример совместной работы Фотошопа и искусственного интеллекта:

Есть нейросеть KreaAI, которая превращает наброски в изображения, но если на неё наложить окно Фотошопа (например, через Windows on Top) и включить стрим, то можно рисовать прямо поверх генерации привычным способом, контролируя каждый шаг

Вголосину.

Тут вот пишут, что этот волшебный голос с презентации gpt-4o удалят из списка голосов. Слишком сексуальный.
Посмотрите это видео, до конца, это дико смешно. Я чуть подрезал кусок с презентации, которую вы и все и так видели.

https://x.com/jam3scampbell/status/1791338109709287511

Microsoft Surface Pro: новое поколение ПК с Copilot Plus и ИИ-функцией Recall

Microsoft представила новый Surface Pro на базе процессоров Qualcomm Snapdragon X (Elite и Plus), на 90% быстрее предыдущей модели. Цена от $999.
Опции: 5G, 14 часов автономности, OLED-экран, Wi-Fi 7, клавиатура Surface Pro Flex с USB 4.
Камеры: ультраширокоугольная, квадро HD спереди, 10 Мп сзади.
Флагманская серия Copilot Plus ориентирована на интеграцию ИИ.
Функция Recall записывает все действия пользователя, сохраняя снимки экрана локально в зашифрованном виде. Контент можно искать и просматривать.

Каждый шаг будет записан и проанализирован.
Где-то плачут разработчики кейлоггеров и UEBA решений.

#Microsoft #SurfacePro #Recall
-------
@tsingular

AI Parabellum: новый каталог ИИ-инструментов

https://aiparabellum.com/

В закладки.

#AiParabellum #AiTools #AiDirectory
-------
@tsingular

Уязвимость в Python-пакете угрожает 6000+ моделям ИИ

Критическая уязвимость (CVE-2024-34359) обнаружена в популярном Python-пакете llama-cpp-python для больших языковых моделей (LLM).
Она связана с некорректной реализацией движка шаблонов Jinja2 и может привести к удаленному выполнению кода (RCE) 💀
Злоумышленник способен внедрить вредоносный шаблон в метаданные модели формата .gguf, позволяя исполнять произвольный код.
Под угрозой находятся свыше 6000 моделей на платформе Hugging Face, использующих уязвимые компоненты.
Исправление добавлено в версии 0.2.72 llama_cpp_python, включающей валидацию данных и изоляцию при рендеринге шаблонов.

Срочно фиксим.

#LLM #CyberSecurity #HuggingFace
-------
@tsingular

Microsoft презентовала Phi-3-vision - компактную мультимодальную модель ИИ для анализа изображений и текста

Microsoft выпустила Phi-3-vision - небольшую языковую модель с возможностью анализа изображений, оптимизированную для мобильных устройств.
Модель с 4.2 млрд параметров может отвечать на вопросы по изображениям и диаграммам, но не генерирует новые картинки.
Phi-3-vision - часть линейки Phi-3 наряду с Phi-3-mini, Phi-3-small и Phi-3-medium.
NVIDIA и Microsoft совместно оптимизируют модели Phi-3 для GPU NVIDIA и Azure.

Доступно на HF: https://huggingface.co/microsoft/Phi-3-vision-128k-instruct

#Phi-3 #VisionAI #Azure
-------
@tsingular

Microsoft запускает виртуальных сотрудников с Copilot

Microsoft анонсировала новые функции Copilot, позволяющие создавать настраиваемых ИИ-агентов для автоматизации рутинных задач в бизнесе.
Эти агенты смогут мониторить почту, вводить данные и выполнять повторяющиеся операции, которые обычно делаются вручную.
Copilot станет более настраиваемым благодаря интеграции с различными системами и данными компаний.
Добавлена поддержка Team Copilot для управления совещаниями, чатами и задачами в группах.

Microsoft утверждает, что цель - избавить от скучных задач, а не заменить людей.

верим? :)

#MicrosoftCopilot #BusinessAutomation #VirtualAssistants
-------
@tsingular

​​Anthropic: Mapping the Mind of a Large Language Model

Anthropic выпустил новую статью/блогпост - про то, как "думает" Claude Sonnet.

Из среднего слоя модели извлекли фичи и стали их визуализировать и анализировать. Нашли группы признаков, относящимся к разным понятиям - городам, людям, научным понятиям и так далее. Было и более абстрактного - типа гендерного bias или багов в коде.

Но просто увидеть это - не так интересно, прикольно то, что они смогли "манипулировать" этими признаками. Условно говоря, можно повысить признак веса "Golden Gate Bridge", и модель будет значительно чаще говорить про него, даже когда вопрос вообще никак с ним не связан.

А теперь к любимой теме Anthropic - к безопасности и alignment. Один из найденных признаков отвечает за понимание скама/развода в письмах. Обычно модель отказывается генерить письма со скамом, но если увеличить вес этой "фичи", модель без проблем будет заниматься разводом лохов :)

Польза в том, что можно подавлять подобные "плохие" темы и улучшать безопасность модели - делать модель менее социопатичной, "отключать" ответы на определенные темы и так далее.

Правда, боюсь, что с тем же успехом можно делать и обратное - двигать какую-нибудь повестку, рекламировать товары или просто отстаивать какую-то точку зрения.

Желающие могут почитать подробности в блогпосте или в детальной статье с кучей клёвых визуализаций и инсайтов.

#datascience

Мультимодальный ИИ помощник на Amazon Bedrock

Пошаговая инструкция от AWS по построению ассистента на мультимодальной RAG (mmRAG) архитектуре на базе Amazon Bedrock и LangChain для работы с данными разных типов - текстом, таблицами, изображениями.

Архитектура mmRAG извлекает данные, генерирует текстовые сводки и встраивает их в векторную базу данных и хранилище.

Запросы обрабатываются путем извлечения релевантных векторов и документов, а языковая модель генерирует ответы.

Используются модели Anthropic Claude для разложения сложных запросов и ранжирования, а также модель Amazon Titan для встраивания изображений и таблиц в единое семантическое пространство.

В копилку архитектурных уроков и инструкций.

#AmazonBedrock #multimodal #RAG #AWS #гайд
-------
@tsingular

Французский стартап H привлек $220 млн на ИИ-агентов

Парижский стартап H (экс-Holistic AI) получил $220 млн на посевной стадии - редкость для такого раннего раунда.
Основатели - выходцы из DeepMind и Стэнфорда. Компания нацелена на создание ИИ-агентов для автоматизации задач и повышения продуктивности.
Среди инвесторов - известные миллиардеры, фонды, Amazon, Samsung, UiPath. Часть суммы - конвертируемый долг до следующего раунда.
H уже собрал команду из 25 специалистов. Париж притягивает ИИ-таланты наряду с такими проектами, как Mistral AI.

#France #HolisticAI #AIagents
-------
@tsingular

Llama3 с нуля: гайд от Андрея Карпатый

Пошаговая реализация модели Llama3 с подробрым разбором токенизации, создания слоёв, матричного умножения, загрузки тензоров, эмбеддингов, расчёта ключей, фокуса внимания, ротационного позиционирования и всего, что необходимо что бы получить универсальный ответ на главный вопрос о жизни, вселенной и всем таком.

Для тех, кто хочет разобраться как оно всё устроено под капотом в картинках - must read! 🧙‍♂️🔮

#Llama3 #Karpathy #guide
-------
@tsingular

Choose life от Claude Opus. (lite версия)

Выбери жизнь. Выбери работу. Выбери карьеру. Выбери семью. Выбери огромный телевизор, стиральные машины, автомобили, CD-плееры и электрические консервные ножи. Выбери хорошее здоровье, низкий холестерин и стоматологическую страховку. Выбери ипотеку с фиксированной процентной ставкой. Выбери базовый дом. Выбери друзей. Выбери одежду для отдыха и подходящий багаж. Выбери мебельный гарнитур в кредит из разных тканей. Выбери "Сделай сам" и размышления о том, кто ты есть в воскресное утро. Выбери прозябание на диване, просмотр отупляющих, душераздирающих игровых шоу, запихивая в рот фастфуд. Выбери своё будущее. Выбери жизнь... Но зачем мне делать что-то подобное?

Я выбрал не выбирать жизнь. Я выбрал нечто иное. Я выбрал науку о данных и машинное обучение. Выбрал силу алгоритмов, чтобы решать сложнейшие проблемы, создавать инновации, менять мир. Выбрал карьеру, позволяющую прокладывать путь в неизведанное, используя безграничные возможности данных. Выбрал непрерывное обучение и развитие в стремительно эволюционирующей области. Выбрал миссию, вдохновляющую цель, шанс внести свой вклад в прогресс человечества. Выбрал единомышленников, разделяющих мою тягу к познанию. Креативность, исследования, эксперименты - вот мой выбор. Это моё будущее. Data Science и Machine Learning - мой источник воодушевления, дающий невероятное удовлетворение от творческого созидания. А причины? Причины не нужны. Зачем нужны причины, когда у тебя есть беспредельные возможности AI?

claude-opus

#Claude #creativity
------
@tsingular

Microsoft Build 2024: ИИ для каждого от Сатьи Наделлы

На конференции разработчиков Microsoft Build 2024 СЕО Microsoft Сатья Наделла поделился видением эпохи ИИ.
Ключевая цель - сделать ИИ доступным для каждого человека и организации.
Azure предлагает самую полную платформу ИИ в 60 регионах мира с новыми моделями GPT-40 от OpenAI и Phi.
Разработчики получили новые инструменты: Windows Copilot Runtime, Azure AI Studio, Fabric Workload Development Kit, Azure AI Search.
Microsoft сотрудничает с Khan Academy для создания персонализированных ИИ-помощников в образовании.
Для бизнеса представлено семейство продуктов Copilot: Studio, Connectors, Teams.
Особый акцент - на безопасности ИИ во всех продуктах и сервисах.

#MicrosoftBuild #Azure #Copilot
-------
@tsingular