LLaMA-Mesh - метод, разработанный NVIDIA Labs, позволяющий генерировать 3D-модели с помощью текстовых инструкций, используя LLM. В отличие от других методов, LLaMA-Mesh представляет координаты вершин и определения граней 3D-сеток в виде простого текста, что позволяет напрямую интегрировать их с LLM без расширения словаря, минимизируя дополнительные затраты на обучение и позволяя использовать знания, которые уже имеют LLM.
Метод основан на файнтюне LLaMA-3.1-8B-Instruct на специальном наборе данных., который состоит из пар "текст-3D" и интерактивных диалогов, содержащих текст и 3D-модели.
В результате этого обучения, LLaMA-Mesh получает способность генерировать высококачественные 3D-сетки с различной топологией, сопоставимые по качеству с моделями, обученными с нуля, при этом сохраняя языковые способности, обеспечивая понимание сложных инструкций и ведения контекстуально-зависимых диалогов.
Оценка LLaMA-Mesh проводилась на качественных и количественных экспериментах.
Результаты качественных тестов демонстрируют высокую точность, качество и разнообразие сгенерированных 3D-моделей, а также сохраненные языковые возможности модели.
Количественные тесты в бенчмарках MMLU, PIQA, HellaSwag и GSM8K подтвердили сохранение языковых способностей, сравнимые с фундаментальными моделями LLaMA.
⚠️ Код и предварительно обученные веса обещают опубликовать в ближайшее время.
@ai_machinelearning_big_data
#AI #ML #LLM #3DGen #LlamaMesh #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.
Семейство моделей OpenCoder обучалось с нуля на 2,5 трлн. лексем, состоящих на 90 % из сырого кода и на 10 % из веб-данных, связанных с кодом, и прошло отладку на более чем 4,5 млн. высококачественных примеров SFT, в итоге достигнув производительности топовых LLM с похожей специализацией.
В открытый доступ опубликованы не только веса моделей и код для инференса, но и датасеты, полный цикл обработки данных, результаты экспериментальной абляции и подробные протоколы обучения.
OpenCoder тщательно протестирован с помощью исследований абляции на различных стратегиях очистки данных и процессах обучения, включая эксперименты по дедупликации на уровне файлов и репозиториев, что обеспечило семейству тщательную проверку производительности моделей.
OpenCoder достигает высокой производительности в различных бенчмарках, что ставит их в ряд SOTA-моделей с открытым исходным кодом для задач программирования.
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "infly/OpenCoder-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
messages=[
{ 'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)
result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)
@ai_machinelearning_big_data
#AI #ML #LLM #OpenCoder #Datasets
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Производительность LLM напрямую зависит от правильного выбора и пропорций наборов данных для обучения, например, юридических текстов, кода, математических формул.
Существующие методы выбора оптимального соотношения данных для обучения (data mixing) варьируются от подбора регрессионных моделей на основе результатов обучения до динамического обновления пропорций в процессе обучения.
Эмпирические исследования показывают, что ни один из существующих методов по отдельности не превосходит простую базовую стратифицированную выборку по среднему значению перплексии.
Linear Mixing Optimization (LMO) - унифицированный алгоритм, который объединяет существующие методы data mixing. В рамках LMO задача data mixing формулируется как оптимизационная задача, цель которой - минимизация средних потерь для каждой группы данных.
AIOLI - прикладной фреймворк, основанный на LMO.
AIOLI динамически оценивает параметры смешивания в процессе обучения, используя историю значений потерь и динамические пропорции смеси.
Тесты на 6 различных наборах данных SlimPajama показали, что AIOLI превосходит стратифицированную выборку, улучшая среднюю перплексию на тестовых данных на 0.28 балла.
AIOLI особенно эффективен в условиях ограниченных вычислительных ресурсов. В ситуациях, когда пропорции смеси данных определяются на основе коротких циклов обучения, AIOLI может динамически корректировать эти пропорции на протяжении всего цикла обучения.
⚠️ В репозитории AIOLI доступны примеры скриптов запуска и подробное описание ключей запуска.
# Clone repo
git clone https://github.com/HazyResearch/aioli.git
cd aioli
# Install requirements
pip install -r requirements.txt
# Run
python main.py \ # add parameters
@ai_machinelearning_big_data
#AI #ML #LLM #DataMixing #Aioli
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Perplexity представляет новую функцию "Buy with Pro", позволяющую пользователям с подпиской Pro покупать товары, не покидая сервис. Функция доступна для жителей США и предлагает бесплатную доставку на все покупки.
Для товаров, не поддерживающих "Buy with Pro", пользователи будут перенаправлены на сайт продавца. Perplexity не получает комиссионные от продаж, совершенных через кнопку "Buy with Pro". В компании заявляют, что функция не преследует коммерческих целей. Помимо "Buy with Pro", Perplexity внедряет новые карточки товаров с описанием, ценой и обзорами, а также функцию "Snap to Shop", позволяющую искать товары по фотографии.
theverge.com
Рост энергоемких технологий ИИ ставит под угрозу энергетическую инфраструктуру Ирландии, что может негативно сказаться на ее позиции как европейского центра технологий. Дублин - третий по величине центр гипермасштабируемых ЦОДов в мире и крупнейший в Европе. По прогнозам, потребности ИИ в электроэнергии удвоятся к 2026 году и создадут дефицит в энергетических сетях страны.
Национальный оператор электросетей EirGrid ввел фактический мораторий на новые ЦОДы в районе Дублина. Он предупредил о возможном «массовом оттоке» центров обработки данных из страны, если ситуация не улучшится. В 2023 году ЦОДы потребили 21% всей измеренной электроэнергии, впервые превысив потребление городских домов.
politico.eu
Mistral выпустила ряд обновлений своих продуктов: платформа чат-ботов Mistral, Le Chat, теперь может осуществлять поиск в Интернете с цитированием источников, подобно ChatGPT и Perplexity. Она также получила инструмент «canvas», аналогичный ChatGPT Canvas, позволяющий пользователям изменять, преобразовывать или редактировать макеты веб-страниц и визуализации данных, используя модели ИИ Mistral.
Le Chat теперь может обрабатывать большие PDF-документы и изображения для анализа и обобщения, включая файлы, содержащие графики и уравнения.
Некоторые из новых возможностей Le Chat стали возможны благодаря новым моделям Mistral: Pixtral Large, которая может обрабатывать текст и изображения и Mistral Large 3, новой флагманской модели генерации текста. Все новые функции Le Chat останутся бесплатными в бета-версии.
mistral.ai
Blackwell от Nvidia, предназначенные для задач ИИ, столкнулись с проблемами перегрева в серверных стойках, что вызывает опасения у клиентов относительно своевременного запуска новых ЦОДов.
Как сообщает The Information, перегрев возникает при подключении чипов Blackwell в серверные стойки, рассчитанные на установку до 72 чипов. По данным источников издания, Nvidia неоднократно просила поставщиков изменить конструкцию стоек для решения проблемы перегрева.
Новые чипы вдвое больше по площади, чем предыдущее поколение, и обеспечивают 30-кратное увеличение скорости обработки задач, связанных с задачами ИИ.
seekingalpha.com
Суперкомпьютер El Capitan, созданный HPE с использованием гибридных процессоров AMD Instinct MI300A, занял 1 место в рейтинге Top500, значительно опередив конкурентов. Тестирование El Capitan в Ливерморской национальной лаборатории показало пиковую теоретическую производительность 2746,4 петафлопс и устойчивую производительность на тесте HPL 1742 петафлопс с эффективностью 63,4%.
El Capitan оснащен 43 808 устройствами AMD Instinct MI300A, содержащими 1,05 млн ядер Genoa и почти 10 млн потоковых мультипроцессоров на графических чиплетах.
В рейтинге Top500 за ноябрь 2024 года AMD лидирует по приросту вычислительной мощности, обеспечив 72,1% новых петафлопс. С учетом всех 500 систем AMD обгоняет Nvidia по совокупной пиковой производительности на ускорителях, занимая 44,9% против 40,3% у Nvidia.
nextplatform.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья на HF из цикла Open-Source AI Cookbook c подробным пошаговым описанием и примерами кода процесса тонкой настройки VLM Qwen2-VL-7B в области ответов на вопросы по изображениям с использованием библиотеки Transformer Reinforcement Learning (TRL). В качестве целевого датасета используется ChartQA, который содержит диаграммы разных типов в паре с вопросами и ответами.
Для обучения модели демонстрируется методы Supervised Fine-Tuning (SFT) с использованием библиотеки TRL, QLoRA, которая квантует веса LoRA, обеспечивая более низкие требования к памяти и повышенную эффективность обучения.
Отдельным разделом выделен процесс подготовки данных к обучению с помощью функции
collate_fn, которая выполняет корректное извлечение и пакетную обработку данных и их форматирование для модели. Обучение модели осуществляется с помощью класса SFTTrainer.В результате модель научилась отвечать на вопросы в соответствии с используемым датасетом. Оценить готовый файнтюн можно в демо на HF Space.
Дополнительно, в качестве альтернативы тонкой настройке, рассматривается использование промтинга с добавлением системного сообщения для контекстуализации ввода для модели, чтобы улучшить точность ее ответов.
@ai_machinelearning_big_data
#AI #ML #VLM #HuggingFace #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Stanford University, Northwestern University и University of Washington, совместно с Google Deepmind, при участии социологов, разработали архитектуру, которая позволяет симулировать поведение более 1000 реальных людей с помощью LLM, обученных на транскрипции двухчасовых интервью с добровольцами-участниками.
Архитектура использует метод "экспертных размышлений", где LLM генерирует выводы о каждом участнике, принимая на себя роли различных специалистов социальных наук (психолога, экономиста, политолога, демографа).
Процесс создания агентов начинался со стратифицированного отбора 1052 участников, репрезентирующих население США по возрасту, полу, расе, региону, образованию и политическим взглядам. Масштабирование сбора данных проводилось агентом-интервьюером на основе GPT-4o, который динамически генерировал уточняющие вопросы, адаптируясь к ответам участников.
Оценка точности агентов проводилась с помощью сравнения их ответов с ответами реальных участников на вопросы из Общего социального опроса (GSS), опросника "Большая пятерка" (BFI-44), 5 экономических игр и 5 социальных экспериментов. Для учета непостоянства человеческого поведения точность агентов нормализовали с помощью сравнения с тем, насколько последовательно сами участники воспроизводили свои ответы через две недели.
Результаты оценки показали высокую точность прогнозирования агентов, обученных на интервью. Они смогли предсказать ответы на вопросы GSS с нормализованной точностью 0.85, а черты личности по BFI-44 - с нормализованной корреляцией 0.80. Использование интервью значительно повысило точность по сравнению с агентами, использующими только демографические данные или краткие описания личности.
В экспериментах агенты успешно воспроизвели 4 из 5 личностных особенностей, наблюдавшихся у реальных участников, а оценки размеров этих особенностей показали высокую корреляцию (r = 0.98).
Доступ к банку агентов двухуровневый:
@ai_machinelearning_big_data
#AI #ML #LLM #Agents #Social
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Sana - семейство моделей для генерации изображений с разрешением до 4096x4096 пикселей. Главное преимущество Sana - высокая скорость инференса и низкие требования к ресурсам, модели можно запустить даже на ноутбуке.
Секрет эффективности Sana в ее архитектуре, которая состоит из нескольких инновационных компонентов:
Сжимает изображение в 32 раза, в результате чего значительно сокращается число латентных токенов, что, в свою очередь, повышает эффективность обучения и позволяет генерировать изображения с разрешением 4K.
Использует линейное внимание вместо традиционного, ускоряя генерацию с разрешением 4K в 1.7 раза.
В Linear DiT вместо модуля MLP-FFN используется Mix-FFN, который объединяет в себе свертку 3x3 и Gated Linear Unit (GLU). Mix-FFN позволяет отказаться от позиционного кодирования без потери качества.
Энкодер, основанный на LLM Gemma, который лучше понимает текстовые запросы пользователя и точнее передает их смысл на генерации.
Для точного соответствия "текст - изображение" при обучении энкодера применялись "сложные человеческие инструкции" (CHI), которые научили Gemma учитывать контекст запроса.
Sana создавалась с помощью уникальной стратегии обучения и выборки. В процессе обучения используются несколько VLM (VILA, InternVL2) для создания различных аннотаций к каждому изображению. Затем, на основе CLIP-оценки, были отобраны наиболее подходящие пары "текст-изображение".
Обучение происходило постепенно, начиная с разрешения 512x512 и заканчивая 4096x4096, а алгоритм Flow-DPM-Solver ускорил процесс выборки, сократив количество шагов по сравнению с Flow-Euler-Solver.
Результаты тестирования Sana впечатляют:
⚠️ Для локального инференса модели 0.6B требуется 9GB VRAM, а для модели 1.6B - 12GB VRAM.
# official online demo
DEMO_PORT=15432 \
python app/app_sana.py \
--config=configs/sana_config/1024ms/Sana_1600M_img1024.yaml \
--model_path=hf://Efficient-Large-Model/Sana_1600M_1024px/checkpoints/Sana_1600M_1024px.pth
@ai_machinelearning_big_data
#AI #ML #Diffusion #SANA #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Компания работает над созданием новой версии голосового помощника Siri, которая будет основана на топовых LLM, чтобы сделать взаимодействие с Siri более естественным и интуитивно понятным.
Внутреннее название проекта - "Siri LLM". Цель обновления - научить Siri быстрее обрабатывать сложные запросы. Новая версия Siri будет интегрирована с функциями Apple Intelligence: создание и обобщение текста. Предварительная презентация планируется в следующем году в рамках iOS 19 и MacOS 16, но полноценный запуск может состояться только через год.
bloomberg.com
Ресерчеры из MIT представили новый алгоритм для повышения надежности моделей обучения с подкреплением, которые лежат в основе систем принятия решений искусственного интеллекта.
Алгоритм, получивший название Model-Based Transfer Learning (MBTL), стратегически выбирает задачи для обучения агента ИИ, чтобы он мог эффективно выполнять все задачи в наборе связанных задач. MBTL моделирует, насколько хорошо каждый алгоритм будет работать, если его обучать независимо для одной задачи, а также оценивает, насколько снизится производительность каждого алгоритма, если его перенести на другую задачу.
В результате новый метод позволяет максимизировать производительность при низких затратах на обучение. Тесты показали, что MBTL в 5–50 раз эффективнее стандартных подходов.
news.mit.edu
Samsung представила Gauss2, усовершенствованную версию своей модели генеративного искусственного интеллекта. Gauss2 включает три модели: Compact, Balanced и Supreme. Compact оптимизирована для работы на устройстве, Balanced обеспечивает баланс между производительностью, скоростью генерации и эффективностью, а Supreme использует MoE с несколькими моделями, каждая из которых ориентирована на разные типы задач. Модели Gauss2 поддерживают от 9 до 14 языков и несколько языков программирования. Balanced и Supreme соответствуют или превосходят другие модели ИИ в задачах на английском и корейском языках, а их скорость обработки в 1,5–3 раза выше.
gsmarena.com
Новый инструмент оценки Global Vibrancy Tool 2024 проанализировал данные из 36 стран и показал, что США является мировым лидером в области ИИ, за ними следуют Китай и Великобритания. Инструмент объединяет 42 специфических для ИИ показателя, чтобы предоставить комплексное количественное представление о том, какие страны лидируют в области ИИ
Инструмент измеряет экосистему ИИ страны по ключевым показателям: исследовательские работы, частные инвестиции, патенты и др. США лидируют в нескольких основных областях, включая выпуск большего числа публично известных моделей машинного обучения, инвестирование большего объема частного капитала в ИИ и публикацию большего числа исследований в области ответственного ИИ, чем любая другая страна.
hai.stanford.edu
OpenScholar, разработанная Институтом искусственного интеллекта Аллена (Ai2) и Вашингтонским университетом использует языковую модель, дополненную поисковой системой, которая работает с базой данных из более чем 45 миллионов научных работ с открытым доступом.
В отличие от GPT-4o, который генерирует ответы на основе предварительно обученных знаний, OpenScholar извлекает соответствующие документы, синтезирует их результаты и генерирует ответ, основанный на этих источниках. В тестах, использующих ScholarQABench, OpenScholar продемонстрировал превосходную производительность с точки зрения фактической точности и точности цитирования, превзойдя GPT-4o.
venturebeat.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM