Плейлист сессий OpenAI: A Deep Dive

Синергия исследовательских и продуктовых команд OpenAI является ключевым моментом в создании инноваций в области ИИ.

Использование обобщенных языковых моделей позволяет расширить круг приложений, что в свою очередь упрощает взаимодействие пользователей.

Ценность обратной связи клиентов неоценима для совершенствования моделей.

Основная задача компании - улучшение своих продуктов, основываясь на мнениях и отзывах пользователей.

Интеграция ИИ в различные сферы сегодня является трендом, а ответственное развитие технологий - обязанностью каждого.

Прогресс в машинном обучении ускоряется, требуя предвидения и адаптации к изменениям.

ИИ улучшает внутрикомандное взаимодействие, и успех ИИ-продуктов связан с креативом и глубоким пониманием потребностей клиентов.

UX-дизайн должен ставить на первое место опыт пользователя с учетом особенностей ИИ.

LLM Ops занимается мониторингом и оптимизацией работы языковых моделей.

#OpenAI #MachineLearning #Innovation

OmniFusion: прорыв в мультимодальных моделях

Революция в машинном обучении: мультимодальные умные ассистенты.
Используются два подхода, второй - сильная языковая модель - эффективней.
Языковые модели, как GigaChat-7B, эффективно интегрируются с разными модальностями.
OmniFusion совмещает GigaChat-7B и визуальный энкодер CLIP-ViT-L.
Обучение OmniFusion включает предобучение адаптера и дообучение языковой модели.
Высокая производительность OmniFusion доказана на различных бенчмарках.
Модальности модели: изображения, текст, звук, 3D, видео.
Обновления OmniFusion на GitHub.
За разработку отвечает научная группа FusionBrain в составе AIRI и Sber AI.

Вскоре мы сможем взаимодействовать со смарт-ассистентами еще эффективнее.

#OmniFusion #MachineLearning #Multimodal

Apple представляет новый фреймворк MLX для машинного обучения

Apple раскрывает MLX - специализированный фреймворк для Apple Silicon.
Улучшенное машинное обучение: высокая производительность и легкость в использовании.
MLX поддерживает популярные языки программирования, облегчая интеграцию.
Эффективность: единая модель памяти минимизирует затраты на обработку данных.
Примеры возможностей: генерация изображений, языковые модели, распознавание речи.
Стратегия Apple: сделать машинное обучение доступней для исследователей.
Apple Silicon способствует высокой эффективности работы моделей ML, одновременно защищая данные пользователей.

Apple незаметно присоединяется :)

#Apple #MLX #MachineLearning

Hugging Face аналог GPT Store

Hugging Face запустила Spaces, платформу для быстрого создания и размещения ML-приложений.
Теперь реализовать проекты в сферах NLP, компьютерного зрения или аудио стало проще.
Созданные приложения отображаются в профиле пользователя или организации.
В Spaces встроен контроль версий и работа над проектами в команде через Git.
Платформа предлагает интерактивные демонстрации для ваших моделей и доступ к 6500 готовым Spaces.

кому нужен этот ваш GPT Store от OpenAI когда в Huggingface уже такое есть.

#HuggingFace #Spaces #MachineLearning

Китайские ученые обучают ИИ быть настоящими учеными

Обычно модели обучаются на данных без учета предварительных знаний, например, физических законов.
Китайские исследователи предлагают концепцию 'осведомленного машинного обучения', совмещая данные и предметные знания.
Внедрение предметных знаний улучшает эффективность ИИ и его способность делать выводы.
Основная сложность - выбор полезных знаний и предотвращение сбоев моделей при внедрении множества правил.
Разработана система оценки правил для определения лучших ответов.
Обучение ИИ законам физики, например, делает его более реалистичным и полезным в науке.
Оптимизировано для решения многофакторных уравнений и предсказания результатов химических экспериментов.
Цель - позволить ИИ самостоятельно идентифицировать знания и правила из данных.

#AI #MachineLearning #Science
-------
@tsingular

Эндрю Нг 🧠💻 назначен в Совет директоров Amazon

Доктор Эндрю Нг, ведущий эксперт в области ИИ, машинного обучения и онлайн-образования, назначен в Совет директоров Amazon с 9 апреля 2024 года.
Он является управляющим генеральным партнером AI Fund, поддерживающей предпринимателей в сфере ИИ, лидером образовательной компании DeepLearning.AI, основателем Landing AI (ПО для компьютерного зрения), председателем и соучредителем онлайн-платформы Coursera.
Богатый академический и практический опыт Нга, включая более 200 научных работ по машинному обучению, робототехнике и смежным областям, поможет Amazon в решении перспектив и проблем, связанных с развитием ИИ.

Мощное усиление! Привлечение светил ИИ в топ-менеджмент - 🦾

#AndrewNg #AmazonBoard #MachineLearning
-------
@tsingular

KAN - новая архитектура нейросетей на основе теоремы Колмогорова-Арнольда

KAN (Kolmogorov-Arnold Networks) - альтернатива многослойным перцептронам. 🧠💡
Ключевые особенности KAN:
- Функции активации на ребрах, а не нейронах
- Основана на теореме Колмогорова-Арнольда об аппроксимации функций
- Вместо весов обучаются функции на ребрах, в нейронах - их суммирование
- Для обучения функций используются сплайны 📈
- Масштабируется за счет композиции матриц обучаемых функций на каждом слое
Авторы разработали библиотеку pykan для работы с KAN. 🐍🔧

Потенциально, это может перевернуть глубокое обучение. Ждем бенчмарков! 🤯📊

#KAN #NeuralNetworks #MachineLearning
-------
@tsingular

MLaaS делает ИИ доступным для любого бизнеса

Объемы неструктурированных данных растут, превышая возможности простой аналитики.
ИИ, машинное обучение и когнитивные вычисления 🤖 - новый must have.
MLaaS (Machine Learning as a Service) - подписная модель доступа к ИИ, аналогично SaaS.
MLaaS делает когнитивные вычисления доступными для организаций любого размера 📈.
Можно легко масштабировать вычислительные ресурсы по требованию ⚙️.
MLaaS расширит применение ИИ для разных ролей и навыков 👥.
Это откроет новую волну инноваций 💡 для компаний с ограниченными ресурсами.
Появятся готовые ИИ-функции, доступные через API 🔌.
No-code ИИ-системы позволят создавать ИИ-решения даже неспециалистам 🙌.

Больше аббревиатур богу аббревиатур.
MLaaS, штука полезная и понятная, в принципе, вопрос что с конфиденциальностью данных.

#MachineLearning #Analytics #MLaaS
-------
@tsingular

AGREE - cамообоснование и цитирование у LLM

Google представила AGREE - ИИ-фреймворк машинного обучения, обучающий большие языковые модели самообоснованию и цитированию точных ссылок в ответах.
Это решает проблему "галлюцинаций" LLM - генерации правдоподобной, но недостоверной информации.
В основе - 2 этапа:
1) Обучение настройке LLM на добавление цитат на основе синтетических данных.
2) Итеративная адаптация во время тестов для улучшения ответов.
Эксперименты показали значительное улучшение обоснований и точности цитирования.

Самурай с мечом подобен самураю без меча, но с мечом! :)

#Google #AGREE #MachineLearning

Примеры атак на модели ИИ через небезопасный формат Pickle

Разработана новая техника эксплуатации "Сонный Пикл" (Sleepy Pickle), которая внедряет вредоносный код в файлы моделей машинного обучения, использующие небезопасный формат Python pickle.
При загрузке такого файла выполняется вредоносный код, модифицирующий модель для генерации опасного контента, кражи данных пользователей и фишинга.
"Липкий Пикл" (Sticky Pickle) - продвинутый вариант с самовоспроизведением, автоматически заражающий будущие версии модели и маскирующий вредоносный код.
Это показывает широкую поверхность атаки при взаимодействия ИИ-моделей с базовым ПО.
Рекомендуется использовать безопасные форматы вроде SafeTensors, сканировать pickle-файлы и внедрять проверенные ML-технологии, которые уже успели доказать свою безопасность.

Ч1: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-1/
Ч2: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-2/

#MachineLearning #CyberSecurity #PickleExploit
-------
@tsingular

Использование ИИ для рассекречивания документов

Исследование, проведённое в Мэриленде по заказу Минобороны США показало успешное применение ИИ для рассекречивания документов.
Ключевой момент - сопоставление процессных правил с моделями контекстуального понимания.
Алгоритмы способны различать контекст терминов в разных сферах (например, «килотонна» в сельском хозяйстве и обороне).
Планируется создание руководства по использованию ИИ для поддержки решений о рассекречивании в госструктурах.
Технология применима к различным типам проверки информации, включая FOIA и проверку безопасности.

В данном конкретном случае это больше про сортировку документов, чтобы лишнее не опубликовать, но в целом интересна методика подхода по снижению неопределённостей.

#Pentagon #declassification #machinelearning
-------
@tsingular

Роботы учатся самостоятельно по принципу «тренировка ведет к совершенству»

Инженеры MIT CSAIL и The AI Institute разработали алгоритм EES (Estimate, Extrapolate, and Situate), позволяющий роботам автономно улучшать свои навыки.
Механизм анализирует окружение, оценивает текущие способности и запускает тренировку если навыков недостаточно.
Тесты на роботе Spot от Boston Dynamics показали впечатляющие результаты: за 3 часа он научился размещать предметы на наклонной поверхности, а за 2 часа - убирать игрушки.
Традиционные методы потребовали бы более 10 часов для достижения аналогичных результатов.
Технология применима в различных сферах: на производстве, в сфере услуг, медицине и быту.
Следующий шаг - интеграция симуляторов для комбинирования виртуальных и реальных тренировок.

Ну вот, через годик эта "тренировка" будет занимать не часы, а секунды и получим сообразительных полноценных участников общества.

#robotics #machinelearning #automation
-------
@tsingular

Эволюция RLHF: CLoud - модель для самокритики

Новая модель Critique-out-Loud (CLoud) улучшает технологию Reinforcement Learning from Human Feedback (RLHF).

CLoud генерирует детальную критику ответов ИИ-ассистента перед выставлением оценки.

Обучение происходит на наборах данных с запросами, ответами и экспертной критикой.
Применяется многовыборочный вывод и самосогласованность для повышения точности.
CLoud-модели значительно превзошли классические аналоги в тестах и на бенчмарке ArenaHard.
Технология объединяет генерацию языка с моделированием предпочтений, открывая новые горизонты.

Настоящая ценность от технологии появляется, когда можешь позволить себе избыточное использование.
Одно из них - самооценка и самокритика.
Нужно больше GPU.

#RLHF #CLoud #MachineLearning
-------
@tsingular

Гарвард представил ML-модель для точного прогноза энергетических уровней

Ученые Гарварда разработали инновационный метод машинного обучения на базе гауссовских процессов для повышения точности функционалов плотности.

Новый подход нацелен на улучшение прогнозирования энергетических щелей и энергий реакций молекул.

Модель CIDER24X интегрирует нелокальные особенности матрицы плотности, используя теорему Янака и концепцию разрывности производной.

Созданы две версии: CIDER24X-e (с данными об уровнях энергии) и CIDER24X-ne (без них).

Метод демонстрирует улучшенную точность для молекулярных энергий и HOMO-LUMO щели, приближаясь к точности гибридной теории функционала плотности при меньших вычислительных затратах.

Теперь учёные смогут точнее предсказывать свойства молекул, не разоряясь на суперкомпьютеры. 🧪💻

paper

#HarvardUniversity #MachineLearning #QuantumChemistry
-------
@tsingular

Google проапгрейдила Gemini: мощнее, дешевле, быстрее

Вышли обновления версий Gemini-1.5-Pro-002 и Flash-002.
Улучшения: +7% в MMLU-Pro, +20% в математике, +2-7% в визуальном анализе и кодировании.
Модели стали лаконичнее в ответах.

Цены снижены: -64% на входные токены, -52% на выход, -64% на токены инкрементального кэширования (sic!).

Лимиты запросов тоже подняли: Flash до 2000 RPM, Pro до 1000 RPM.

Так же представлена экспериментальная версия Gemini-1.5-Flash-8B-Exp-0924 с ускоренной генерацией.

Обновления доступны через Google AI Studio и Gemini API.

Anthropic до рождества, похоже будет тянуть :) Opus 3.5 когда уже? 🧠🏷

#Gemini #GoogleAI #MachineLearning
-------
@tsingular

OpenR: фреймворк для управления рассуждениями ИИ

Представлен OpenR - открытый фреймворк для продвинутого рассуждения с использованием больших языковых моделей.

Эффективность повышена через интеграцию поиска, обучения с подкреплением и контролем ответа.

Фокусируется на трёх направлениях: сбор данных, обучение и генерация.

Включает собственный набор данных MATH-APS и модель вознаграждения MATH-psa.

Позволяет выбирать различные базовые модели и настраивать процесс вывода.

Своего рода открытый аналог O1. 🤔💡

#OpenR #MachineLearning #ReasoningAI
———
@tsingular

Google разработал PAV для улучшения рассуждений LLM

Google AI Research представила Process Advantage Verifiers (PAV) - новый подход к совершенствованию логических способностей больших языковых моделей.
PAV оценивают каждый шаг в процессе рассуждения, а не только итог, измеряя прогресс на основе вероятности верного решения.
Результаты впечатляют: точность возросла на 8%, эффективность обучения - в 5-6 раз, а поиска - в 1.5-5 раз.
Особенно заметны улучшения в сложных многошаговых задачах, включая математические, с повышением точности более чем на 6%.
Эффективность PAV подтверждена на моделях различного масштаба - от 2 до 27 миллиардов параметров.

Теперь ИИ будет не просто выдавать ответ, но и объяснять, как он до него дошёл.
Актуальный тренд,- самоанализ на ходу.
Не хватает ещё переобучения по выводам. Чтобы решения закреплялись и уходили в "подсознание" на скоростной слой принятия решений.

#Google #ProcessAdvantageVerifiers #MachineLearning
-------
@tsingular