XVERSE-MoE-A36 - мультиязычная LLM, разработанная с нуля Shenzhen Yuanxiang Technology. Модель основана на архитектуре Mixture-of-Experts, имеет 255 млрд. параметров, из которых 36 млрд. активируются в процессе работы.
XVERSE-MoE-A36B предназначена для решения задач: генерация текста, машинный перевод, анализ тональности, реферирование текста, вопрос-ответ, применение в интеллектуальных системах обслуживания клиентов, образовательных помощниках и анализе данных.
Модель использует структуру decoder-only Transformer, где слой Feedforward Network разделен на специализированные экспертные слои.
Отличительной особенностью модели является использование набора общих и не общих экспертов, каждый из которых составляет 1/4 от размера стандартного FFN. Общие эксперты всегда активны во время вычислений, а не общие - активируются выборочно маршрутизатором.
Для обучения модели использовался массив данных на 40 языках, включая китайский, английский, русский и испанский. В процессе обучения использовалась стратегия динамического изменения набора данных с изменением скорости обучения (LR).
Тестирование модели проводилось на наборах данных MMLU, C-Eval, CMMLU, RACE-M, PIQA, GSM8K, MATH, MBPP и HumanEval.
Результаты показывают, что XVERSE-MoE-A36B превосходит другие модели MoE с открытым исходным кодом по производительности и эффективности.
⚠️ Важно! Несмотря на название, модель - 255B, ее физический размер ~ 512 Gb
# Clone repository:
git clone https://github.com/xverse-ai/XVERSE-MoE-A36B
cd XVERSE-MoE-A36B
# Install the dependencies:
pip install -r requirements.txt
# Inference with Transformers:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("xverse/XVERSE-MoE-A36B")
model = AutoModelForCausalLM.from_pretrained("xverse/XVERSE-MoE-A36B", trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')
model = model.eval()
inputs = tokenizer('Attraction of Omsk: The Forbidden City', return_tensors='pt').input_ids
inputs = inputs.cuda()
generated_ids = model.generate(inputs, max_new_tokens=70, eos_token_id=tokenizer.eos_token_id, repetition_penalty=1.1)
print(tokenizer.batch_decode(generated_ids, skip_special_tokens=True))
# Inference with WebUI:
python chat_demo.py --port='port' --model_path='/path/to/model/' --tokenizer_path='/path/to/tokenizer/'
@ai_machinelearning_big_data
#AI #ML #MoE #LLM #XVERSE
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
multi1 — это экспериментальный проект, вдохновленный моделью o1 от OpenAI, который позволяет использовать различные языковые модели: локальные (через ollama) и онлайн (Perplexity и Groq) через единый веб-интерфейс.
Цель проекта — изучение возможностей повышения способности языковых моделей к логическому мышлению путём применения стратегий промптинга.
Архитектура multi1 основана на использовании цепочек рассуждений, реализующих принцип динамической "Цепочки Мыслей" (Chain of Thought).
В отличие от o1, multi1 визуализирует все этапы рассуждений, предоставляя пользователю доступ к каждому шагу и позволяя наблюдать за логикой.
Тестирование показало, что multi1 способен решать простые логические задачи, которые обычно вызывают затруднения у LLM, с точностью 60-80%.
Например, multi1 достигает точности ~70% в популярном запросе "Сколько букв 'R' в слове 'strawberry'?" (n=10). Для сравнения, Llama-3.1-70b без промтинга показала 0% точности, а ChatGPT-4o - 30%.
# Set up the environment:
python3 -m venv venv
source venv/bin/activate
pip3 install -r requirements.txt
# Copy the example environment file:
cp example.env .env
# Edit the .env file with your API keys / models preferences
# Run the streamlit UI interface
streamlit run app/main.py
@ai_machinelearning_big_data
#AI #ML #o1 #LLM #CoT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Новостной дайджест
✔️ Mistral AI: обновление набора моделей по API и Pixtral в Le Chat.
Компания представила масштабное обновление: бесплатный доступ к платформе La Plateforme, обновление цен на всю линейку моделей, новую версию Mistral Small корпоративного класса и бесплатный доступ к модели Pixtral в Le Chat.
La Plateforme – это бессерверная платформа для тонкой настройки и создания моделей Mistral в виде конечных точек API. Теперь она предлагает бесплатный уровень доступа, позволяющий разработчикам экспериментировать, оценивать и создавать прототипы без каких-либо затрат.
Mistral AI также снижает цены доступа по API на всю линейку моделей. Цена на Mistral Nemo снижена на 50%, Mistral Small и Codestral – на 80%, а Mistral Large – на 33%.
Mistral Small v24.09 - последняя версия небольшой модели для задач перевода, реферирования, анализа тональности и других языковых задачи, не требующих полнофункциональных моделей общего назначения.
Mistral Small v24.09 с 22 млрд. параметров занимает место золотой середины между Mistral NeMo 12B и Mistral Large 2.
✔️ Microsoft 365 Copilot: вторая волна обновления, Copilot в офисном пакете.
Microsoft запускает вторую волну обновлений Microsoft 365 Copilot, объединяя веб-интерфейс, рабочие процессы и новый формат страниц "Pages" в единую систему для работы со знаниями.
Copilot Pages, динамическое и постоянное рабочее пространство с ИИ. Pages сохраняет созданный ИИ контент, позволяя редактировать, дополнять и делиться им с коллегами. Пользователи могут совместно работать над страницами с Copilot в режиме реального времени.
Copilot в Excel теперь общедоступен и работает с Python.
Copilot в PowerPoint может создавать презентации на основе идеи, используя Конструктор, использовать фирменные шаблоны компании благодаря функции Brand manager.
Copilot в Teams анализирует транскрипцию встречи, чат, предоставляя полную картину обсуждения и помогая не пропустить ни один вопрос или идею.
Copilot в Outlook с функцией "Расстановка приоритетов во входящих" поможет быстро находить важные сообщения, анализируя их содержание и контекст.
Copilot в Word позволит ссылаться на данные из различных источников, включая веб-страницы, документы Word и PowerPoint, PDF-файлы.
Copilot в OneDrive поможет быстро находить нужную информацию в файлах, обобщать и сравнивать до пяти файлов одновременно, предоставляя краткое и понятное описание деталей и различий.
Copilot agents - ИИ-помощники, разработанные для автоматизации и выполнения бизнес-процессов.
✔️ Google внедрит технологию проверки подлинности изображений.
Google разрабатывает технологию, которая позволит определить, было ли изображение снято камерой, отредактировано в программе типа Photoshop или создано с помощью модели GenAI.
В ближайшие месяцы в результатах поиска Google появится обновленная функция «Об этом изображении», которая позволит пользователям узнать, было ли изображение создано или отредактировано с помощью инструментов ИИ.
✔️ Китай заявил о прорыве в производстве оборудования для выпуска собственных чипов.
Это является важным шагом в преодолении санкций США, направленных на сдерживание полупроводниковых амбиций Пекина.
✔️ Mozilla запускает Solo: бесплатный no-code конструктор сайтов с ИИ.
Среди ключевых особенностей Solo - простая настройка, генерация контента с помощью ИИ, интеграция с Unsplash для поиска изображений и SEO-оптимизация.
✔️ Supermaven: конкурента GitHub Copilot от бывшего интерна OpenAi.
Jacob Jackson, один из основателей платформы Tabnine, запустил новый проект - Supermaven. Supermaven, как и Tabnine, использует ИИ для помощи в написании кода, но отличается рядом технических преимуществ, ключевое - окно контекста в 1 миллион токенов.
✔️ Япония создаст суперкомпьютер, в 1000 раз превосходящий по скорости современные аналоги.
Ожидается, что машина будет работать как минимум в 1000 раз быстрее, чем самый быстрый суперкомпьютер в мире на сегодняшний день.
✔️ ИИ используется для анализа плазменных струй при лазерном осаждении (PLD).
📌 Подробнее
@ai_machinelearning_big_data
#news #ai #ml
✔️ Mistral AI: обновление набора моделей по API и Pixtral в Le Chat.
Компания представила масштабное обновление: бесплатный доступ к платформе La Plateforme, обновление цен на всю линейку моделей, новую версию Mistral Small корпоративного класса и бесплатный доступ к модели Pixtral в Le Chat.
La Plateforme – это бессерверная платформа для тонкой настройки и создания моделей Mistral в виде конечных точек API. Теперь она предлагает бесплатный уровень доступа, позволяющий разработчикам экспериментировать, оценивать и создавать прототипы без каких-либо затрат.
Mistral AI также снижает цены доступа по API на всю линейку моделей. Цена на Mistral Nemo снижена на 50%, Mistral Small и Codestral – на 80%, а Mistral Large – на 33%.
Mistral Small v24.09 - последняя версия небольшой модели для задач перевода, реферирования, анализа тональности и других языковых задачи, не требующих полнофункциональных моделей общего назначения.
Mistral Small v24.09 с 22 млрд. параметров занимает место золотой середины между Mistral NeMo 12B и Mistral Large 2.
✔️ Microsoft 365 Copilot: вторая волна обновления, Copilot в офисном пакете.
Microsoft запускает вторую волну обновлений Microsoft 365 Copilot, объединяя веб-интерфейс, рабочие процессы и новый формат страниц "Pages" в единую систему для работы со знаниями.
Copilot Pages, динамическое и постоянное рабочее пространство с ИИ. Pages сохраняет созданный ИИ контент, позволяя редактировать, дополнять и делиться им с коллегами. Пользователи могут совместно работать над страницами с Copilot в режиме реального времени.
Copilot в Excel теперь общедоступен и работает с Python.
Copilot в PowerPoint может создавать презентации на основе идеи, используя Конструктор, использовать фирменные шаблоны компании благодаря функции Brand manager.
Copilot в Teams анализирует транскрипцию встречи, чат, предоставляя полную картину обсуждения и помогая не пропустить ни один вопрос или идею.
Copilot в Outlook с функцией "Расстановка приоритетов во входящих" поможет быстро находить важные сообщения, анализируя их содержание и контекст.
Copilot в Word позволит ссылаться на данные из различных источников, включая веб-страницы, документы Word и PowerPoint, PDF-файлы.
Copilot в OneDrive поможет быстро находить нужную информацию в файлах, обобщать и сравнивать до пяти файлов одновременно, предоставляя краткое и понятное описание деталей и различий.
Copilot agents - ИИ-помощники, разработанные для автоматизации и выполнения бизнес-процессов.
✔️ Google внедрит технологию проверки подлинности изображений.
Google разрабатывает технологию, которая позволит определить, было ли изображение снято камерой, отредактировано в программе типа Photoshop или создано с помощью модели GenAI.
В ближайшие месяцы в результатах поиска Google появится обновленная функция «Об этом изображении», которая позволит пользователям узнать, было ли изображение создано или отредактировано с помощью инструментов ИИ.
✔️ Китай заявил о прорыве в производстве оборудования для выпуска собственных чипов.
Это является важным шагом в преодолении санкций США, направленных на сдерживание полупроводниковых амбиций Пекина.
✔️ Mozilla запускает Solo: бесплатный no-code конструктор сайтов с ИИ.
Среди ключевых особенностей Solo - простая настройка, генерация контента с помощью ИИ, интеграция с Unsplash для поиска изображений и SEO-оптимизация.
✔️ Supermaven: конкурента GitHub Copilot от бывшего интерна OpenAi.
Jacob Jackson, один из основателей платформы Tabnine, запустил новый проект - Supermaven. Supermaven, как и Tabnine, использует ИИ для помощи в написании кода, но отличается рядом технических преимуществ, ключевое - окно контекста в 1 миллион токенов.
✔️ Япония создаст суперкомпьютер, в 1000 раз превосходящий по скорости современные аналоги.
Ожидается, что машина будет работать как минимум в 1000 раз быстрее, чем самый быстрый суперкомпьютер в мире на сегодняшний день.
✔️ ИИ используется для анализа плазменных струй при лазерном осаждении (PLD).
📌 Подробнее
@ai_machinelearning_big_data
#news #ai #ml
Новостной дайджест
✔️ YouTube анонсировала AI функции для создателей контента и зрителей.
СEO YouTube Нил Мохан объявил о запуске набора новых функций на основе искусственного интеллекта, которые будут внедрены на платформе до конца года.
Среди новых возможностей - функция создания шестисекундных видеороликов на основе текста, которые можно будет использовать в YouTube Shorts. Функция будет работать на базе технологии ИИ Google DeepMind.
Все видео, созданные с помощью ИИ, будут помечены водяным знаком SynthID, разработанным DeepMind . Эта технология позволяет идентифицировать материалы, созданные ИИ, чтобы помочь зрителям отличать их от контента, созданного людьми.
Помимо генерации видео, YouTube внедрит функции Dream Track, позволяющую создавать инструментальные треки для Shorts и Music AI Sandbox для создания музыкальных “лупов”.
Платформа расширит возможности автоматического дубляжа видео на другие языки, а обновление “выразительной речи” сделает дубляж более естественным.
Новая кнопка “Хайп” позволит зрителям предлагать видео для включения в новый раздел трендов.
Для авторов контента будут внедрены новые способы монетизации во время прямых трансляций, аналогичные TikTok Live и Twitch.
nbcnews.com
✔️ Co-LLM: алгоритм для повышения точности инференса моделей.
В MiT разработали новый алгоритм Co-LLM, который позволяет большой языковой модели общего назначения LLM сотрудничать со специализированной моделью для повышения точности ответов. Co-LLM анализирует каждое слово в ответе базовой LLM и определяет, когда следует обратиться к экспертной модели для получения более точного ответа. Алгоритм использует "переключающую переменную", обученную на данных предметной области, чтобы определить, какая из моделей обладает большей компетентностью в конкретной части ответа.
Co-LLM показал эффективность в различных сферах: медицинские вопросы, математические задачи и вопросы на рассуждение. Например, при ответе на вопрос о составе лекарственного препарата, базовая LLM может допустить ошибку, в то время как Co-LLM, обратившись к специализированной модели Meditron, предоставит верный ответ.
news.mit.edu
✔️ Fal.ai привлекла $23 млн. от a16z и других венчурных компаний.
Fal.ai - платформа, которая специализируется на генерации аудио, видео и изображений. Компания объявила о привлечении $23 млн инвестиций от Andreessen Horowitz (a16z), сооснователя Black Forest Labs Робина Ромбаха, генерального директора Perplexity Аравинда Сриниваса и других. $14 млн были получены в рамках раунда серии A под руководством Kindred Ventures, а остальные $9 млн – в рамках ранее не объявленного раунда начального финансирования под руководством a16z.
Fal.ai предлагает два основных продукта: частные вычислительные мощности и рабочие процессы для запуска моделей, а также API для моделей с открытым исходным кодом, которые генерируют изображения, аудио и видео. Платформа была одной из первых, кто разместил Flux от Black Forest Labs.
Компания планирует направить большую часть полученных средств на модернизацию своего продукта и на создание исследовательской группы, которая сосредоточится на оптимизации моделей
techcrunch.com
✔️ Sonarworks выпустил SoundID VoiceAI 2.0 с новыми пресетами и локальной обработкой.
SoundID VoiceAI - это плагин для преобразования голоса, разработанный Sonarworks для DAW. Он позволяет легко изменять записанный певческий голос в голос другого человека с помощью технологии ИИ. Обновленная версия 2.0 добавляет новые функции, включая 50 высококачественных пресетов для голоса и инструментов.
Одним из ключевых преимуществ SoundID VoiceAI 2.0 является новый тип лицензирования - Perpetual Mode. С ним пользователи могут обрабатывать неограниченное количество аудиотреков локально на своем компьютере без каких-либо дополнительных затрат. Бесплатную пробную версию (7дней) SoundID VoiceAI 2.0 можно загрузить на сайте Sonarworks.
mixdownmag.com.au
@ai_machinelearning_big_data
#news #ai #ml
СEO YouTube Нил Мохан объявил о запуске набора новых функций на основе искусственного интеллекта, которые будут внедрены на платформе до конца года.
Среди новых возможностей - функция создания шестисекундных видеороликов на основе текста, которые можно будет использовать в YouTube Shorts. Функция будет работать на базе технологии ИИ Google DeepMind.
Все видео, созданные с помощью ИИ, будут помечены водяным знаком SynthID, разработанным DeepMind . Эта технология позволяет идентифицировать материалы, созданные ИИ, чтобы помочь зрителям отличать их от контента, созданного людьми.
Помимо генерации видео, YouTube внедрит функции Dream Track, позволяющую создавать инструментальные треки для Shorts и Music AI Sandbox для создания музыкальных “лупов”.
Платформа расширит возможности автоматического дубляжа видео на другие языки, а обновление “выразительной речи” сделает дубляж более естественным.
Новая кнопка “Хайп” позволит зрителям предлагать видео для включения в новый раздел трендов.
Для авторов контента будут внедрены новые способы монетизации во время прямых трансляций, аналогичные TikTok Live и Twitch.
nbcnews.com
В MiT разработали новый алгоритм Co-LLM, который позволяет большой языковой модели общего назначения LLM сотрудничать со специализированной моделью для повышения точности ответов. Co-LLM анализирует каждое слово в ответе базовой LLM и определяет, когда следует обратиться к экспертной модели для получения более точного ответа. Алгоритм использует "переключающую переменную", обученную на данных предметной области, чтобы определить, какая из моделей обладает большей компетентностью в конкретной части ответа.
Co-LLM показал эффективность в различных сферах: медицинские вопросы, математические задачи и вопросы на рассуждение. Например, при ответе на вопрос о составе лекарственного препарата, базовая LLM может допустить ошибку, в то время как Co-LLM, обратившись к специализированной модели Meditron, предоставит верный ответ.
news.mit.edu
Fal.ai - платформа, которая специализируется на генерации аудио, видео и изображений. Компания объявила о привлечении $23 млн инвестиций от Andreessen Horowitz (a16z), сооснователя Black Forest Labs Робина Ромбаха, генерального директора Perplexity Аравинда Сриниваса и других. $14 млн были получены в рамках раунда серии A под руководством Kindred Ventures, а остальные $9 млн – в рамках ранее не объявленного раунда начального финансирования под руководством a16z.
Fal.ai предлагает два основных продукта: частные вычислительные мощности и рабочие процессы для запуска моделей, а также API для моделей с открытым исходным кодом, которые генерируют изображения, аудио и видео. Платформа была одной из первых, кто разместил Flux от Black Forest Labs.
Компания планирует направить большую часть полученных средств на модернизацию своего продукта и на создание исследовательской группы, которая сосредоточится на оптимизации моделей
techcrunch.com
SoundID VoiceAI - это плагин для преобразования голоса, разработанный Sonarworks для DAW. Он позволяет легко изменять записанный певческий голос в голос другого человека с помощью технологии ИИ. Обновленная версия 2.0 добавляет новые функции, включая 50 высококачественных пресетов для голоса и инструментов.
Одним из ключевых преимуществ SoundID VoiceAI 2.0 является новый тип лицензирования - Perpetual Mode. С ним пользователи могут обрабатывать неограниченное количество аудиотреков локально на своем компьютере без каких-либо дополнительных затрат. Бесплатную пробную версию (7дней) SoundID VoiceAI 2.0 можно загрузить на сайте Sonarworks.
mixdownmag.com.au
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Новостной дайджест
✔️ Google создал инструмент ИИ для мониторинга состояния зданий в городах.
Google выпустила инструмент на основе ИИ - Open Buildings 2.5D Temporal Dataset, отслеживающий визуальные изменения зданий. Набор данных охватывает территорию площадью 82 миллиона кв. км в Африке, Латинской Америке, Южной и Юго-Восточной Азии. Отслеживание изменений включает в себя оценку наличия, количества и высоты зданий за период с 2016 по 2023 г. Для обнаружения зданий использовались снимки со спутника Sentinel-2, который позволяет снимать заданный регион Земли примерно каждые пять дней, причем каждый пиксель на снимке представляет собой квадрат размером 10 м на реальной поверхности.
readwrite.com
✔️ АЭС в Пенсильвании будет перезапущена для обеспечения энергией дата-центров Microsoft.
Компания Constellation Energy объявила о планах по перезапуску закрытой атомной электростанции Три-Майл-Айленд в Пенсильвании. Перезапуск стал возможным благодаря соглашению с Microsoft, которая обязалась закупать электроэнергию, вырабатываемую станцией, в течение 20 лет. Данное решение является знаковым событием, демонстрирующим возобновление интереса к атомной энергетике на фоне растущих опасений по поводу изменения климата и необходимости обеспечения стабильных поставок электроэнергии.
Constellation Energy намерена инвестировать 1,6 миллиарда долларов в модернизацию реактора, включая замену главного силового трансформатора, восстановление турбин и систем охлаждения. Ожидается, что модернизированный реактор будет иметь мощность 835 мегаватт.
nytimes.com
✔️ Wordfreq, проект, анализирующий использование человеческого языка, закрывается из-за загрязнения данных генеративным ИИ.
Проект wordfreq, который предоставлял данные о состоянии языка на основе различных онлайн-источников, больше не будет обновляться. Это решение обусловлено из-за влияния генеративного ИИ и изменениями в доступности данных.
Генеративный ИИ загрязняет источники данных, они становятся ненадежными. Интернет, являвшийся важным источником информации для wordfreq, теперь переполнен контентом, созданным большими языковыми моделями. Этот контент часто не имеет подлинного человеческого намерения или коммуникации, искажая частоту слов.
Доступ к данным, которые раньше были бесплатными, теперь стал платным. Twitter и Reddit, ранее являвшиеся ценными источниками разговорного языка для wordfreq, больше не предоставляют открытые API.
edworking.com
✔️ Индийский режиссер Рам Гопал Варма отказывается от музыкантов в пользу музыки, созданной искусственным интеллектом.
Индийский режиссер Рам Гопал Варма, заявил, что будет использовать только музыку, созданную искусственным интеллектом в своих будущих проектах. Варма запустил проект под названием RGV Den Music, который будет использовать музыку, созданную Suno и Udio. Он утверждает, что ИИ обеспечивает мгновенное создание музыки с «нулевой стоимостью».
Варма раскритиковал композиторов за частые срывы сроков и конфликты в расписании, а авторов текстов обвинил в неспособности уловить суть песен.
techcrunch.com
✔️ Amazon запустил сервис генерации видеорекламы.
Amazon Ads запустил новую функцию - "Video Generator", которая использует генеративный ИИ для создания визуально привлекательных видеореклам за несколько минут. Инструмент предназначен для повышения креативности рекламодателей и создания контента.
Video Generator создает персонализированные видео по одному изображению продукта, подчеркивая особенности и преимущества товара. Он является дополнением к существующим инструментам Amazon Ads, которые позволяют рекламодателям генерировать изображения в разных стилях.
aboutamazon.com
@ai_machinelearning_big_data
#news #ai #ml
Google выпустила инструмент на основе ИИ - Open Buildings 2.5D Temporal Dataset, отслеживающий визуальные изменения зданий. Набор данных охватывает территорию площадью 82 миллиона кв. км в Африке, Латинской Америке, Южной и Юго-Восточной Азии. Отслеживание изменений включает в себя оценку наличия, количества и высоты зданий за период с 2016 по 2023 г. Для обнаружения зданий использовались снимки со спутника Sentinel-2, который позволяет снимать заданный регион Земли примерно каждые пять дней, причем каждый пиксель на снимке представляет собой квадрат размером 10 м на реальной поверхности.
readwrite.com
Компания Constellation Energy объявила о планах по перезапуску закрытой атомной электростанции Три-Майл-Айленд в Пенсильвании. Перезапуск стал возможным благодаря соглашению с Microsoft, которая обязалась закупать электроэнергию, вырабатываемую станцией, в течение 20 лет. Данное решение является знаковым событием, демонстрирующим возобновление интереса к атомной энергетике на фоне растущих опасений по поводу изменения климата и необходимости обеспечения стабильных поставок электроэнергии.
Constellation Energy намерена инвестировать 1,6 миллиарда долларов в модернизацию реактора, включая замену главного силового трансформатора, восстановление турбин и систем охлаждения. Ожидается, что модернизированный реактор будет иметь мощность 835 мегаватт.
nytimes.com
Проект wordfreq, который предоставлял данные о состоянии языка на основе различных онлайн-источников, больше не будет обновляться. Это решение обусловлено из-за влияния генеративного ИИ и изменениями в доступности данных.
Генеративный ИИ загрязняет источники данных, они становятся ненадежными. Интернет, являвшийся важным источником информации для wordfreq, теперь переполнен контентом, созданным большими языковыми моделями. Этот контент часто не имеет подлинного человеческого намерения или коммуникации, искажая частоту слов.
Доступ к данным, которые раньше были бесплатными, теперь стал платным. Twitter и Reddit, ранее являвшиеся ценными источниками разговорного языка для wordfreq, больше не предоставляют открытые API.
edworking.com
Индийский режиссер Рам Гопал Варма, заявил, что будет использовать только музыку, созданную искусственным интеллектом в своих будущих проектах. Варма запустил проект под названием RGV Den Music, который будет использовать музыку, созданную Suno и Udio. Он утверждает, что ИИ обеспечивает мгновенное создание музыки с «нулевой стоимостью».
Варма раскритиковал композиторов за частые срывы сроков и конфликты в расписании, а авторов текстов обвинил в неспособности уловить суть песен.
techcrunch.com
Amazon Ads запустил новую функцию - "Video Generator", которая использует генеративный ИИ для создания визуально привлекательных видеореклам за несколько минут. Инструмент предназначен для повышения креативности рекламодателей и создания контента.
Video Generator создает персонализированные видео по одному изображению продукта, подчеркивая особенности и преимущества товара. Он является дополнением к существующим инструментам Amazon Ads, которые позволяют рекламодателям генерировать изображения в разных стилях.
aboutamazon.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
WordLlama — это быстрый и легкий набор инструментов для обработки естественного языка для задач нечеткой дедупликации, оценки сходства и ранжирования слов.
Он оптимизирован для CPU и способен создавать эффективные представления текстовых лексем, используя компоненты из больших языковых моделей, например LLama3.
Ключевые особенности WordLlama:
Эксперименты на наборе данных MTEB показывают, что WordLlama превосходит GloVe 300d по всем показателям, несмотря на значительно меньший размер (16 МБ против >2 ГБ).
WordLlama демонстрирует высокую производительность в задачах кластеризации, реранжирования, классификации текстов и семантического поиска.
В будущем разработчики планируют добавить функции для семантического разделения текста, а также примеры блокнотов и конвейеры RAG.
@ai_machinelearning_big_data
#AI #ML #Toolkit #NLP #WordLlama
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Machine Learning: Медицинский дайджест за период 7.09 - 14.09 2024 года
🟩 GP-GPT: LLM для сопоставления генов и фенотипов.
Результаты показывают, что GP-GPT превосходит по производительности Llama2/3 и GPT-4, в задачах, связанных с извлечением информации о генах и заболеваниях.
🟩 GMISeg: сегментация медицинских изображений без переобучения.
GMISeg (General Medical Image Segmentation) - модель для решения задач сегментации медицинских изображений без необходимости переобучения. Модель использует предварительно обученный на ImageNet энкодер изображений ViT и low-rank стратегию тонкой настройки к энкодеру подсказок и декодеру маски для эффективного обучения.
🟦 CoD: повышение интерпретируемости медицинских LLM.
Chain of Diagnoses (CoD) — это метод, который направлен на повышение прозрачности и объяснимости процесса диагностики с помощью больших языковых моделей. CoD разбивает процесс постановки диагноза на пять этапов, имитируя действия врача.
🔸Arxiv 🔸Github 🔸DiagnosisGPT-7B 🔸DiagnosisGPT-34B
🟦 AI Virtual Cell: Как создать виртуальную клетку с помощью ИИ.
AIVC — концепция модели, которая способна имитировать поведение молекул, клеток и тканей. Эта модель обучается на огромном количестве биологических данных, включая геномную информацию, изображения и результаты экспериментов.
Главная особенность AIVC — универсальные представления (UR). Они располагают биологические данные в многомерном пространстве, сохраняя при этом важные связи и закономерности.
🟦 Диагностика кожных заболеваний: интерпретируемое визуальное обнаружение концепций с SAM.
В исследовании рассматривается проблема диагностики кожных заболеваний на основе анализа клинических фотографий, полученных с помощью смартфонов. Авторы предлагают методику, основанную на использовании модели сегментации изображений SAM и cross-attention архитектуры.
🟦 Explicd:объяснимый диагноз на основе классификации медицинских изображений.
Explicd — модель, разработанная для объяснимой классификации медицинских изображений. Она способна не только делать точные описания, но и предоставлять обоснование своих решений, понятное для человека.
В основе архитектуры Explicd лежит интеграция диагностических критериев, сформулированных на естественном языке, с визуальными концепциями, извлеченными из изображений. Вначале Explicd запрашивает соответствующие знания из LLM (GPT-4) или получает их от экспертов. Эти знания преобразуются в текстовые диагностические критерии: цвет, форму, текстуру или специфические паттерны, характерные для анализируемого заболевания.
🟦 ReXErr: генерация клинических ошибок в отчетах по диагностической радиологии.
ReXErr продемонстрировал способность создавать различные типы ошибок в одном отчете с вариациями в пределах каждого подтипа ошибки. В выборке из 100 исходных отчетов с ошибками, рассмотренных клиницистом, 83 модифицированных отчета были признаны правдоподобными, в то время как только 17 содержали ошибки, которые были неправдоподобны в отчетах, сгенерированных LLM, или в отчетах, написанных врачом.
🟦 Тонкая настройка LLM для медицины: роль DPO.
В исследовании Стэнфордского университета изучается важность точной настройки LLM для задач клинической обработки естественного языка. Авторы сравнивают две распространенные методики: контролируемую точную настройку (SFT) и прямую оптимизацию параметров (DPO).
Результаты показали, что для простой классификации текста SFT достаточно, в то время как для более сложных задач - клиническое рассуждение, суммирование и сортировка, DPO значительно улучшает производительность. Авторы связывают это с тем, что DPO позволяет модели обучаться на контрасте между желательными и нежелательными ответами, что способствует более глубокому пониманию контекста.
📌 Подробности
#news #ai #ml #medtech
@ai_machinelearning_big_data
🟩 GP-GPT: LLM для сопоставления генов и фенотипов.
Результаты показывают, что GP-GPT превосходит по производительности Llama2/3 и GPT-4, в задачах, связанных с извлечением информации о генах и заболеваниях.
🟩 GMISeg: сегментация медицинских изображений без переобучения.
GMISeg (General Medical Image Segmentation) - модель для решения задач сегментации медицинских изображений без необходимости переобучения. Модель использует предварительно обученный на ImageNet энкодер изображений ViT и low-rank стратегию тонкой настройки к энкодеру подсказок и декодеру маски для эффективного обучения.
🟦 CoD: повышение интерпретируемости медицинских LLM.
Chain of Diagnoses (CoD) — это метод, который направлен на повышение прозрачности и объяснимости процесса диагностики с помощью больших языковых моделей. CoD разбивает процесс постановки диагноза на пять этапов, имитируя действия врача.
🔸Arxiv 🔸Github 🔸DiagnosisGPT-7B 🔸DiagnosisGPT-34B
🟦 AI Virtual Cell: Как создать виртуальную клетку с помощью ИИ.
AIVC — концепция модели, которая способна имитировать поведение молекул, клеток и тканей. Эта модель обучается на огромном количестве биологических данных, включая геномную информацию, изображения и результаты экспериментов.
Главная особенность AIVC — универсальные представления (UR). Они располагают биологические данные в многомерном пространстве, сохраняя при этом важные связи и закономерности.
🟦 Диагностика кожных заболеваний: интерпретируемое визуальное обнаружение концепций с SAM.
В исследовании рассматривается проблема диагностики кожных заболеваний на основе анализа клинических фотографий, полученных с помощью смартфонов. Авторы предлагают методику, основанную на использовании модели сегментации изображений SAM и cross-attention архитектуры.
🟦 Explicd:объяснимый диагноз на основе классификации медицинских изображений.
Explicd — модель, разработанная для объяснимой классификации медицинских изображений. Она способна не только делать точные описания, но и предоставлять обоснование своих решений, понятное для человека.
В основе архитектуры Explicd лежит интеграция диагностических критериев, сформулированных на естественном языке, с визуальными концепциями, извлеченными из изображений. Вначале Explicd запрашивает соответствующие знания из LLM (GPT-4) или получает их от экспертов. Эти знания преобразуются в текстовые диагностические критерии: цвет, форму, текстуру или специфические паттерны, характерные для анализируемого заболевания.
🟦 ReXErr: генерация клинических ошибок в отчетах по диагностической радиологии.
ReXErr продемонстрировал способность создавать различные типы ошибок в одном отчете с вариациями в пределах каждого подтипа ошибки. В выборке из 100 исходных отчетов с ошибками, рассмотренных клиницистом, 83 модифицированных отчета были признаны правдоподобными, в то время как только 17 содержали ошибки, которые были неправдоподобны в отчетах, сгенерированных LLM, или в отчетах, написанных врачом.
🟦 Тонкая настройка LLM для медицины: роль DPO.
В исследовании Стэнфордского университета изучается важность точной настройки LLM для задач клинической обработки естественного языка. Авторы сравнивают две распространенные методики: контролируемую точную настройку (SFT) и прямую оптимизацию параметров (DPO).
Результаты показали, что для простой классификации текста SFT достаточно, в то время как для более сложных задач - клиническое рассуждение, суммирование и сортировка, DPO значительно улучшает производительность. Авторы связывают это с тем, что DPO позволяет модели обучаться на контрасте между желательными и нежелательными ответами, что способствует более глубокому пониманию контекста.
📌 Подробности
#news #ai #ml #medtech
@ai_machinelearning_big_data
PDLP (PDHG для LP) - это метод быстрого решения задач линейного программирования с высокой точностью, что важно для многих областей применения - от машинного обучения до оптимизации бизнес-процессов.
PDLP ориентирован на решение крупномасштабных задач, где традиционные методы, такие как симплекс-метод и метод внутренних точек, становятся неэффективными из-за необходимости факторизации матриц.
В основе PDLP лежит принцип primaldual hybrid gradient (PDHG), примененный к задаче седловой точки, эквивалентной исходной задаче ЛП. Для повышения эффективности PDHG в PDLP реализован ряд усовершенствований:
Алгоритм PDLP начинает работу с предварительного решения и диагонального предобуславливания. Предварительное решение упрощает задачу путем выявления и устранения избыточных ограничений, переменных и других упрощений.
Диагональное предобуславливание масштабирует матрицу ограничений для улучшения сходимости алгоритма. После выполнения этих операций запускается основной итерационный процесс PDHG с адаптивным выбором шага и перезапусками.
Для оценки эффективности алгоритма PDLP использовались три набора данных: MIP Relaxations, LP benchmark и Netlib. Результаты сравнивались с baseline PDHG и с другими методами первого порядка: SCS (в прямом и матрично-свободном режимах) и улучшенной реализацией метода экстраградиента.
Эксперименты показали, что PDLP значительно превосходит baseline PDHG по скорости решения задач и количеству решенных задач. При этом PDLP на некоторых задачах показывает производительность, сопоставимую с коммерческим решателем линейного программирования Gurobi.
Важным результатом является успешное применение PDLP для решения задачи ранжирования веб-страниц PageRank, где традиционные методы не справляются из-за больших размеров задачи.
Тестирование проводилось на случайных графах типа Barabási-Albert с макс. количеством узлов до 10^7.
PDLP успешно решил задачи PageRank за 5.4 часа (граф 10^7 узлов с точностью 10^-8), в то время как Gurobi столкнулся с ошибками нехватки памяти.
# set up the necessary packages:
$ julia --project -e 'import Pkg; Pkg.instantiate()'
# run solve.jl script
$ julia --project scripts/solve.jl \
--instance_path=INSTANCE_PATH --output_directory=OUTPUT_DIRECTORY \
--tolerance=TOLERANCE --time_sec_limit=TIME_SEC_LIMIT
# The results are written to JSON and text files
# in is the working directory.
@ai_machinelearning_big_data
#AI #ML #LP #PDLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Новостной дайджест
✔️ Cloudflare позволит сайтам взимать плату с AI-ботов за скрапинг.
В следующем году Cloudflare планирует запустить торговую площадку, на которой владельцы веб-сайтов смогут продавать разработчикам моделей ИИ доступ к своему контенту для обучения. Это решение является частью стратегии компании, направленной на предоставление владельцам сайтов большего контроля над ИИ-ботами.
Новая торговая площадка предложит различные варианты оплаты: от фиксированной платы до модели, основанной на количестве запросов.
Многие разработчики ИИ используют контент небольших веб-сайтов без соответствующей компенсации, что негативно отражается на бизнес-моделях этих сайтов, а также приводит к увеличению нагрузки на серверы и росту расходов.
techcrunch.com
✔️ AnySkin - универсальный сменный тактильный датчик для роботов.
AnySkin - это новый сенсорный датчик для роботов, который легко собирается, совместим с различными манипуляторами и может быть использован на разных типах поверхностей.
Датчик работает за счет измерения искажений магнитного поля, создаваемого намагниченными железными частицами на сенсорной поверхности.
Благодаря гибкой и легко заменяемой конструкции AnySkin решает проблему долговечности и универсальности, которая долгое время препятствовала развитию эффективных тактильных сенсоров для роботов.
any-skin.github.io
✔️ В Китае открылась первая в мире больница с AI - врачами.
«Agent Hospital» - детище Tsinghua University открылся в Пекине. В клинике "работают" 14 ИИ-врачей и 4 виртуальные медсестры. Agent Hospital может обслуживать 10 000 пациентов всего за несколько дней, в то время как у врачей-людей на это ушло бы до двух лет.
Интеграция ИИ в медицинское обслуживание должна повысить доступность, скорость и оперативность реагирования на потребности пациентов.
С ростом спроса на медицинские услуги и увеличением нагрузки на медицинских работников, решения по типу такой клиники может снизить нагрузку на врачей и медсестер, предоставляя при этом быстрый и точный уход за пациентами.
thedailycpec.com
✔️ Intel Gaudi 3 выйдет на следующей неделе.
Intel готовится выпустить на следующей неделе свой новый ИИ-ускоритель Gaudi 3, который, по заявлению компании, превосходит по энергоэффективности своего предшественника более чем в два раза и способен запускать ИИ-модели в 1,5 раза быстрее, чем GPU Nvidia H100.
Ускоритель был протестирован на Llama от Meta и Falcon от TII, и продемонстрировал способность эффективно обучать и развертывать языковые и мультимодальные модели.
В 2025 году Intel планирует выпустить Falcon Shores – преемника Gaudi 3, который объединит ИИ-возможности Gaudi с мощными GPU Intel в одном корпусе.
analyticsindiamag.com
✔️ В Калифорнии принят закон, защищающий наследие умерших артистов.
Сенат Калифорнии принял законопроект №1836, который запрещает использование "цифровых копий" умерших артистов без согласия их наследников.
Закон распространяется на фильмы, телепередачи, видеоигры, аудиокниги, звукозаписи и другие медиа. Эта инициатива стала результатом протестов профсоюза актеров SAG-AFTRA против использования ИИ без контроля со стороны артистов.
Закон определяет «цифровую копию» как созданное компьютером, очень реалистичное электронное медиа, которое легко идентифицируется как голос или образ человека.
Новая правовая мера направлена на то, чтобы помочь наследникам умерших артистов контролировать использование их наследия. Ожидается, что закон в ближайшее время подпишет губернатор Гэвин Ньюсом.
miamarket.it
@ai_machinelearning_big_data
#news #ai #ml
В следующем году Cloudflare планирует запустить торговую площадку, на которой владельцы веб-сайтов смогут продавать разработчикам моделей ИИ доступ к своему контенту для обучения. Это решение является частью стратегии компании, направленной на предоставление владельцам сайтов большего контроля над ИИ-ботами.
Новая торговая площадка предложит различные варианты оплаты: от фиксированной платы до модели, основанной на количестве запросов.
Многие разработчики ИИ используют контент небольших веб-сайтов без соответствующей компенсации, что негативно отражается на бизнес-моделях этих сайтов, а также приводит к увеличению нагрузки на серверы и росту расходов.
techcrunch.com
AnySkin - это новый сенсорный датчик для роботов, который легко собирается, совместим с различными манипуляторами и может быть использован на разных типах поверхностей.
Датчик работает за счет измерения искажений магнитного поля, создаваемого намагниченными железными частицами на сенсорной поверхности.
Благодаря гибкой и легко заменяемой конструкции AnySkin решает проблему долговечности и универсальности, которая долгое время препятствовала развитию эффективных тактильных сенсоров для роботов.
any-skin.github.io
«Agent Hospital» - детище Tsinghua University открылся в Пекине. В клинике "работают" 14 ИИ-врачей и 4 виртуальные медсестры. Agent Hospital может обслуживать 10 000 пациентов всего за несколько дней, в то время как у врачей-людей на это ушло бы до двух лет.
Интеграция ИИ в медицинское обслуживание должна повысить доступность, скорость и оперативность реагирования на потребности пациентов.
С ростом спроса на медицинские услуги и увеличением нагрузки на медицинских работников, решения по типу такой клиники может снизить нагрузку на врачей и медсестер, предоставляя при этом быстрый и точный уход за пациентами.
thedailycpec.com
Intel готовится выпустить на следующей неделе свой новый ИИ-ускоритель Gaudi 3, который, по заявлению компании, превосходит по энергоэффективности своего предшественника более чем в два раза и способен запускать ИИ-модели в 1,5 раза быстрее, чем GPU Nvidia H100.
Ускоритель был протестирован на Llama от Meta и Falcon от TII, и продемонстрировал способность эффективно обучать и развертывать языковые и мультимодальные модели.
В 2025 году Intel планирует выпустить Falcon Shores – преемника Gaudi 3, который объединит ИИ-возможности Gaudi с мощными GPU Intel в одном корпусе.
analyticsindiamag.com
Сенат Калифорнии принял законопроект №1836, который запрещает использование "цифровых копий" умерших артистов без согласия их наследников.
Закон распространяется на фильмы, телепередачи, видеоигры, аудиокниги, звукозаписи и другие медиа. Эта инициатива стала результатом протестов профсоюза актеров SAG-AFTRA против использования ИИ без контроля со стороны артистов.
Закон определяет «цифровую копию» как созданное компьютером, очень реалистичное электронное медиа, которое легко идентифицируется как голос или образ человека.
Новая правовая мера направлена на то, чтобы помочь наследникам умерших артистов контролировать использование их наследия. Ожидается, что закон в ближайшее время подпишет губернатор Гэвин Ньюсом.
miamarket.it
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Большой, подробный и лаконичный туториал в 2-х частях по оптимизации матричного умножения на микроархитектуре Hopper (H100) с использованием библиотеки CUTLASS.
CUTLASS - это набор реализаций алгоритмов линейной алгебры (шаблонов) для использования на CUDA в задачах глубокого обучения, инженерных расчетах и научных исследованиях.
В этой части подробно рассматривается концепция «ядерных матриц» и «матричных дескрипторов», которые нужны для эффективной работы с WGMMA.
В конце туториала кратко описывается реализация конвейеризации в GEMM-ядрах для архитектуры Ampere.
@ai_machinelearning_big_data
#AI #ML #CUTLASS #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM