Яндекс, НМИЦ Кулакова и фонд "Спина бифида" представили нейросеть для диагностики редкой патологии
Яндекс, при поддержке НМИЦ Кулакова и фонда "Спина бифида", разработал инновационную нейросеть, которая помогает врачам обнаруживать признаки spina bifida — редкого врожденного заболевания центральной нервной системы у плода. Ранняя диагностика этого заболевания критична для успешного лечения.
Какие технологии и типы нейросетей применили специалисты:
Диагностика патологии по изображению — сложный многоэтапный процесс, ребята воплотили клиническое мышление врача в технический алгоритм, хотя бы в упрощённой форме.
Получилось такое решение: врач загружает ультразвуковой снимок через веб‑интерфейс, после чего модель обрезает изображение до зоны интереса и в зависимости от плоскости передаёт его в соответствующие модели классификации для оценки корректности и наличия патологии. Если врач не согласен с выводом, он может оставить обратную связь, которую мы будем использовать для дообучения алгоритма.
Чтобы реализовать этот план спецы Yandex Cloud и студенты ШАДа обучили сразу несколько моделей:
_ YOLOv10 для поиска зоны интереса и категоризации её плоскости;
- по две модели DenseNet121 для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости.
Весь процесс, включая аугментацию данных, обучение модели, инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI, что значительно ускорило эксперименты и разработку прототипа. В результате модели по качеству распознавания превзошли остальные специализированные решения. Они эффективно выделяли ключевые зоны и проводили классификацию.
Зачем в проекте облако:
- Облачные решения дают возможность:
- собирать и размечать данные;
- обучать модели;
- разрабатывать веб‑приложения;
- развёртывать приложения и модели, масштабировать их при увеличении нагрузки;
- собирать обратную связь, дообучать модели и развёртывать обновления в эксплуатацию.
Это позволяет системе совершенствоваться и становиться более эффективной со временем.
Участники проекта выложили код разработки в опенсорс, чтобы привлечь к работе активных участников IT‑сообщества. Это позволит им использовать технологии для создания других сервисов поддержки принятия медицинских решений.
Следующий шаг — доработка моделей на основе отзывов от врачей и экспертов. Участники проекта планируют расширить набор данных и привлечь больше разработчиков для проверки и дообучения нейросети.
Яндекс, при поддержке НМИЦ Кулакова и фонда "Спина бифида", разработал инновационную нейросеть, которая помогает врачам обнаруживать признаки spina bifida — редкого врожденного заболевания центральной нервной системы у плода. Ранняя диагностика этого заболевания критична для успешного лечения.
Какие технологии и типы нейросетей применили специалисты:
Диагностика патологии по изображению — сложный многоэтапный процесс, ребята воплотили клиническое мышление врача в технический алгоритм, хотя бы в упрощённой форме.
Получилось такое решение: врач загружает ультразвуковой снимок через веб‑интерфейс, после чего модель обрезает изображение до зоны интереса и в зависимости от плоскости передаёт его в соответствующие модели классификации для оценки корректности и наличия патологии. Если врач не согласен с выводом, он может оставить обратную связь, которую мы будем использовать для дообучения алгоритма.
Чтобы реализовать этот план спецы Yandex Cloud и студенты ШАДа обучили сразу несколько моделей:
_ YOLOv10 для поиска зоны интереса и категоризации её плоскости;
- по две модели DenseNet121 для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости.
Весь процесс, включая аугментацию данных, обучение модели, инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI, что значительно ускорило эксперименты и разработку прототипа. В результате модели по качеству распознавания превзошли остальные специализированные решения. Они эффективно выделяли ключевые зоны и проводили классификацию.
Зачем в проекте облако:
- Облачные решения дают возможность:
- собирать и размечать данные;
- обучать модели;
- разрабатывать веб‑приложения;
- развёртывать приложения и модели, масштабировать их при увеличении нагрузки;
- собирать обратную связь, дообучать модели и развёртывать обновления в эксплуатацию.
Это позволяет системе совершенствоваться и становиться более эффективной со временем.
Участники проекта выложили код разработки в опенсорс, чтобы привлечь к работе активных участников IT‑сообщества. Это позволит им использовать технологии для создания других сервисов поддержки принятия медицинских решений.
Следующий шаг — доработка моделей на основе отзывов от врачей и экспертов. Участники проекта планируют расширить набор данных и привлечь больше разработчиков для проверки и дообучения нейросети.
yandex.cloud
Как нейросети помогают врачам выявлять редкую патологию spina bifida при беременности
Рассказываем, как фонд «Спина бифида» поддерживает людей с заболеванием, чем НМИЦ АГП им. В. И. Кулакова занимается в области лечения патологии и как технологии и экспертиза Yandex Cloud и ШАД помогают выявлять spina bifida на ранних сроках беременности.
❤9👍4🔥3
Forwarded from Machinelearning
🚀 Новостной дайджест.
✔️ Появилось определение, что такое ИИ с открытым исходным кодом.
Open Source Initiative (OSI) представила определение, разработанное группой из 70 экспертов, включая ученых и представителей крупных технологических компаний. Согласно этому определению, открытый ИИ может использоваться без разрешения авторов, его компоненты подлежат инспекции создателями, а система может модифицироваться и не иметь ограничения на передачу от от одного лица другому.
OSI планирует создать механизм контроля, который будет выявлять модели, не соответствующие новому определению и публиковать список соответствующих моделей, среди которых ожидаются Pythia от Eleuther, OLMo от Ai2 и модели от коллектива LLM360.
technologyreview.com
✔️ Google запустила бесплатную "Галерею промптов" в AI Studio.
Функциональное бновление AI Studio, анонсированное Логаном Килпатриком, предлагает предустановленные промпты, которые демонстрируют возможности моделей семейства Gemini.
В "Prompt Gallery" уже доступны: генератор рецептов на основе схемы JSON, математический репетитор для квадратных уравнений, генератор рабочих листов для начальных классов, а также инструменты для тестирования кода на Python и анализа временной сложности функций.
venturebeat.com
✔️ Ресечеры борются с галлюцинациями ИИ в математике.
Исследователи из Беркли работают над проблемой "галлюцинаций" ИИ в математике, когда модели, такие как ChatGPT, генерируют неверные или вымышленные ответы. В экспериментах они обнаружили, что ChatGPT ошибался в решении алгебраических задач в одной трети случаев, но после применения метода "самосогласованности" (self-consistency) точность возросла до 70%. В статистике ошибки снизились с 29% до 13%, что все еще слишком много.
В другом исследовании 274 участника, использовавшие решения ChatGPT в качестве подсказок, показали прирост в 17% на тестах, в то время как группа с подсказками от людей улучшилась лишь на 12%. Исследование привело к прогнозам о возможности создания эффективных репетиторов на основе ИИ, однако необходимо больше данных о реальном использовании таких систем учащимися
hechingerreport.org
✔️ Путь к эффективным вычислениям в эпоху ИИ: охлаждение теплой водой.
Lenovo представила 6-е поколение технологии жидкостного охлаждения Neptune™, которая позволяет запускать серверные стойки мощностью более 100 кВт без необходимости в специализированном кондиционировании. Эта система обеспечивает до 40% снижение потребления энергии и 3,5-кратное улучшение термальной эффективности по сравнению с традиционными воздушными системами охлаждения. Технология использует теплую воду для охлаждения компонентов, уменьшая потребность в мощных вентиляторах.
csrwire.com
✔️ SyncWaveX: сервис автоматического липсинка для видео.
SyncWaveX автоматически синхронизирует движения губ и лица с аудио, позволяя создавать реалистичные видео с минимальными усилиями. Технология прямого синтеза аудио в видео позволяет генерировать контент, основываясь на аудиопотоке, без необходимости в 3D-моделировании.
SyncWaveX использует интеллектуальные технологии синтеза голоса и распознавания речи, которые позволяют генерировать новые треки, имитирующие оригинальный голос. Пользователи сервиса могут создавать неограниченное количество видео из одного шаблона. В ходе предзапуска уже было создано более 10,000 видео, попробовать можно тут
globenewswire.com
@ai_machinelearning_big_data
#news #ai #ml
Open Source Initiative (OSI) представила определение, разработанное группой из 70 экспертов, включая ученых и представителей крупных технологических компаний. Согласно этому определению, открытый ИИ может использоваться без разрешения авторов, его компоненты подлежат инспекции создателями, а система может модифицироваться и не иметь ограничения на передачу от от одного лица другому.
OSI планирует создать механизм контроля, который будет выявлять модели, не соответствующие новому определению и публиковать список соответствующих моделей, среди которых ожидаются Pythia от Eleuther, OLMo от Ai2 и модели от коллектива LLM360.
technologyreview.com
Функциональное бновление AI Studio, анонсированное Логаном Килпатриком, предлагает предустановленные промпты, которые демонстрируют возможности моделей семейства Gemini.
В "Prompt Gallery" уже доступны: генератор рецептов на основе схемы JSON, математический репетитор для квадратных уравнений, генератор рабочих листов для начальных классов, а также инструменты для тестирования кода на Python и анализа временной сложности функций.
venturebeat.com
Исследователи из Беркли работают над проблемой "галлюцинаций" ИИ в математике, когда модели, такие как ChatGPT, генерируют неверные или вымышленные ответы. В экспериментах они обнаружили, что ChatGPT ошибался в решении алгебраических задач в одной трети случаев, но после применения метода "самосогласованности" (self-consistency) точность возросла до 70%. В статистике ошибки снизились с 29% до 13%, что все еще слишком много.
В другом исследовании 274 участника, использовавшие решения ChatGPT в качестве подсказок, показали прирост в 17% на тестах, в то время как группа с подсказками от людей улучшилась лишь на 12%. Исследование привело к прогнозам о возможности создания эффективных репетиторов на основе ИИ, однако необходимо больше данных о реальном использовании таких систем учащимися
hechingerreport.org
Lenovo представила 6-е поколение технологии жидкостного охлаждения Neptune™, которая позволяет запускать серверные стойки мощностью более 100 кВт без необходимости в специализированном кондиционировании. Эта система обеспечивает до 40% снижение потребления энергии и 3,5-кратное улучшение термальной эффективности по сравнению с традиционными воздушными системами охлаждения. Технология использует теплую воду для охлаждения компонентов, уменьшая потребность в мощных вентиляторах.
csrwire.com
SyncWaveX автоматически синхронизирует движения губ и лица с аудио, позволяя создавать реалистичные видео с минимальными усилиями. Технология прямого синтеза аудио в видео позволяет генерировать контент, основываясь на аудиопотоке, без необходимости в 3D-моделировании.
SyncWaveX использует интеллектуальные технологии синтеза голоса и распознавания речи, которые позволяют генерировать новые треки, имитирующие оригинальный голос. Пользователи сервиса могут создавать неограниченное количество видео из одного шаблона. В ходе предзапуска уже было создано более 10,000 видео, попробовать можно тут
globenewswire.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥5🥰2
DeepMind’s New AI Looked At 100,000,000 Examples!
https://www.youtube.com/watch?v=QJtNQNgGLdM
@machinelearning_ru
https://www.youtube.com/watch?v=QJtNQNgGLdM
@machinelearning_ru
YouTube
DeepMind’s New AI Looked At 100,000,000 Examples!
❤️ Check out Weights & Biases and sign up for a free demo here: https://wandb.me/papersllm
📝 The results are available here:
https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/
📝 My paper on simulations that look almost like…
📝 The results are available here:
https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/
📝 My paper on simulations that look almost like…
👍5❤2🔥1
Forwarded from Machinelearning
Vikhr models - команда энтузиастов, занимающихся созданием и развитием русифицированных моделей искусственного интеллекта выпустила инструктивную модель Vikhr-Gemma-2B-instruct, построенную на базе Gemma2-2B, которая была дообучена на русскоязычном корпусе данных GrandMaster-PRO-MAX.
Датасет GrandMaster-PRO-MAX - собственный русскоязычный датасет проекта Vikhr models в формате вопрос-ответ, собранных из различных источников.
Характерной особенностью датасета является, то, что модели обученные на этом наборе данных будут иметь способность к Chain-Of-Thought (CoT), за счет использования более сложного промпта для генерации большинства ответов датасета.
Авторы опубликовали квантованные GGUF-версии модели в разрядности от 1-bit (832 MB) до 32-bit (10.5 GB).
Наиболее низкие показатели Perplexity, полученные в тестах на датасетах Veles и Wikitext-2 у GGUF-версий FP32, FP16, BF16, Q8_0 и Q5_K.
from transformers import AutoModelForCausalLM, AutoTokenizer
# Загрузка модели и токенизатора
model_name = "Vikhrmodels/Vikhr-Gemma-2B-instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Подготовка входного текста
input_text = "Напиши стихотворение о весне в России."
# Токенизация и генерация текста
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=200, num_return_sequences=1, no_repeat_ngram_size=2)
# Декодирование и вывод результата
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
@ai_machinelearning_big_data
#AI #LLM #Vikhr #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥3🥰1
CopilotKit
Библиотека с открытым исходным кодом, которая позволяет очень просто интегрировать искусственный интеллект в приложение.
CopilotKit принимает на вход описание вашего приложения и передаст его в свою инфраструктуру React для создания:
- ИИ-чатботов в приложении
- Текстовые области с поддержкой ИИ
- RAG, вызов функций и интеграция
Библиотека имеет встроенную поддержку LangChain, LangGraph и LangServe. Вы можете использовать их для расширения возможностей движка.
Также в библиотеку встроены нативные UI/UX-компоненты, которые вы можете использовать в своих приложениях:
- CopilotChat
- CopilotSidebar
- CopilotPopup
- CopilotTextarea
Библиотека имеет открытый исходный код. Вы можете использовать ее самостоятельно. Вы можете использовать ее с любым LLM, включая GPT-4.
Этот проект занял второе место на HackerNews и ProductHunt. Он был трендом на GitHub.
🐱 GitHub
@machinelearning_ru
Библиотека с открытым исходным кодом, которая позволяет очень просто интегрировать искусственный интеллект в приложение.
CopilotKit принимает на вход описание вашего приложения и передаст его в свою инфраструктуру React для создания:
- ИИ-чатботов в приложении
- Текстовые области с поддержкой ИИ
- RAG, вызов функций и интеграция
Библиотека имеет встроенную поддержку LangChain, LangGraph и LangServe. Вы можете использовать их для расширения возможностей движка.
Также в библиотеку встроены нативные UI/UX-компоненты, которые вы можете использовать в своих приложениях:
- CopilotChat
- CopilotSidebar
- CopilotPopup
- CopilotTextarea
Библиотека имеет открытый исходный код. Вы можете использовать ее самостоятельно. Вы можете использовать ее с любым LLM, включая GPT-4.
Этот проект занял второе место на HackerNews и ProductHunt. Он был трендом на GitHub.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤3👍3
✅ Увеличьте производительность Llama 3.1 в 1,9 раза с Medusa на платформе NVIDIA HGX H200 с коммутатором NVLink.
Новый крутой гайд от NVIDIA▶️
@machinelearning_ru
Новый крутой гайд от NVIDIA▶️
@machinelearning_ru
👍6🔥3❤2👎1😁1
🔥 Яндекс выложил программу конференции Practical ML Conf, которая состоится 14 сентября
Это конференция по CV/NLP/Speech/RecSys/MLOps/Data Science, где эксперты из разных областей рассказывают о практическом применении ML.
Особенно интересные доклады спикеров:
- Ирина Барская, руководитель службы аналитики и исследований – «Человек и LLM. Как оценивать качество моделей и строить их метрики качества».
- Виктор Плошихин, руководитель ML-лаборатории в Yandex Platform Engineering — «AI-инструмент для разработчика: как мы обучали LLM работе с кодом».
- Степан Комков, старший разработчик службы синтеза речи — «Синтез выразительной речи для аудиокниг, прошлое, настоящее и будущее — как GPT и диффузионные модели произвели революции в синтезе речи и как мы это используем».
- Савва Степурин, старший разработчик команды рекомендаций — «Как улучшить знакомые подходы для рекомендации незнакомого — как умная система рекомендаций помогает пользователям Яндекс Музыки открывать новые треки и артистов».
Можно прийти офлайн, если вы в Москве, или присоединиться онлайн.
📌 Подробности и регистрация
@machinelearning_ru
Это конференция по CV/NLP/Speech/RecSys/MLOps/Data Science, где эксперты из разных областей рассказывают о практическом применении ML.
Особенно интересные доклады спикеров:
- Ирина Барская, руководитель службы аналитики и исследований – «Человек и LLM. Как оценивать качество моделей и строить их метрики качества».
- Виктор Плошихин, руководитель ML-лаборатории в Yandex Platform Engineering — «AI-инструмент для разработчика: как мы обучали LLM работе с кодом».
- Степан Комков, старший разработчик службы синтеза речи — «Синтез выразительной речи для аудиокниг, прошлое, настоящее и будущее — как GPT и диффузионные модели произвели революции в синтезе речи и как мы это используем».
- Савва Степурин, старший разработчик команды рекомендаций — «Как улучшить знакомые подходы для рекомендации незнакомого — как умная система рекомендаций помогает пользователям Яндекс Музыки открывать новые треки и артистов».
Можно прийти офлайн, если вы в Москве, или присоединиться онлайн.
📌 Подробности и регистрация
@machinelearning_ru
👍6
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Sapiens Pytorch Inference
Библиотека и примеры с кодом для инференса моделей на Pytorch.
▪Код: https://github.com/ibaiGorordo/Sapiens-Pytorch-Inference
▪Видео: https://youtube.com/watch?v=hOyrnkQz1NE
Sapiens: https://github.com/facebookresearch/sapiens
@machinelearning_ru
Библиотека и примеры с кодом для инференса моделей на Pytorch.
▪Код: https://github.com/ibaiGorordo/Sapiens-Pytorch-Inference
▪Видео: https://youtube.com/watch?v=hOyrnkQz1NE
Sapiens: https://github.com/facebookresearch/sapiens
@machinelearning_ru
🔥9❤2👍2
Forwarded from Machinelearning
Microsoft Research обновил AutoGen Studio — Low-Code инструмент для разработчиков , предназначенный для создания, отладки и оценки многоагентных рабочих процессов.
AutoGen Studio разработан для повышения доступности среды управления локальным AI, позволяя разработчикам прототипировать и внедрять многоагентные системы без необходимости обширных знаний в области ML.
AutoGen Studio это веб-интерфейс и API Python. Он гибкий в использовании и его легко можно интегрировать его в различные среды разработки. Простой и понятный дизайн позволяет быстро собирать многоагентные системы с помощью удобного интерфейса drag-n-drop.
AutoGen Studio поддерживает API всех популярных онлайн-провейдеров LLM (OpenAI, Antрropic, Gemini, Groq, Amazon Bedrock, Corehe, MistralAI, TogetherAI ) и локальные бэкэнды :
vLLM, Ollama, LM Studio.
Возможности :
Roadmap для отслеживания новых функций, решенных проблем и запросов от сообщества разработчиков можно найти в Issues репозитория AutoGen Studio на Github.
⚠️ Примечания от разработчика:
🟠 AutoGen Studio не предназначен для использования в качестве готового к продакшену приложения. Это среда прототипирования и разработки процессов и агентов.🟠 AutoGen Studio находится в стадии активной разработки с частыми итерациями коммитов. Документация проекта обновляется синхронно с кодом.🟠 Системные требования к установке: Python 3.10+ и Node.js => 14.15.0.
@ai_machinelearning_big_data
#AI #AgentsWorkflow #MLTool #Microsoft #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤3🔥2
Forwarded from Machinelearning
Новостной дайджест
✔️ Laion перевыпустит датасет Laion 5B.
Laion 5B - крупнейший открытый набор данных изображений в интернете. Он был изъят из публичного доступа из-за претензий о содержавшихся в нем неуместных и неэтических изображениях.
Новый набор данных, Re-LAION-5B создан в сотрудничестве Laion с организациями Internet Watch Foundation (IWF) и Canadian Center for Child Protection (C3P).
В процессе обновления было удалено 2236 ссылок, которые были идентифицированы как потенциально ведущие к подозрительному контенту. Новый набор данных Re-LAION-5B содержит 5,5 миллиардов пар текст-ссылка-изображение и будет доступен для скачивания в двух версиях: Re-LAION-5B research и Re-LAION-5B research-safe под лицензией Apache 2.0.
laion.ai
✔️ Pixar следующего поколения: как искусственный интеллект объединит фильмы и игры.
Большая статья о будущем анимационной индустрии и её трансформации благодаря новым технологиям на сайте венчурного фонда Andreessen Horowitz.
Основное внимание статьи уделяется тому, как искусственный интеллект и другие цифровые инструменты меняют процесс создания анимации.
Авторы приводят примеры стартапов и компаний, которые уже используют технологии ИИ для создания высококачественной анимации с меньшими затратами времени и ресурсов. Предполагается, что такие изменения могут привести к появлению новых форматов контента и расширению возможностей для независимых аниматоров.
a16z.com
✔️ Sam Altman, Bill Gates и создатель Youtube примут участие в TВ-шоу на канале ABC.
Oprah Winfrey анонсировала новый спецвыпуск о будущем искусственного интеллекта "AI and the Future of Us". В шоу примут участие : генеральный директор OpenAI Sam Altman, Bill Gates, Директор ФБР Christopher Wray и создатель Youtube Marques Brownlee.
В программе будут обсуждаться основы ИИ, его влияние на образование, здравоохранение и другие отрасли, а также его потенциальное воздействие на правоохранительные органы и национальную безопасность. На шоу будут продемонстрированы существующие продукты со встроенным ИИ.
Шоу выйдет в эфир на канале ABC 12 сентября в 20:00 EST и будет доступна для просмотра на платформе Hulu на следующий день.
Участие в шоу Oprah Winfrey является признаком того, что ИИ становится все более популярной и важной темой в обществе.
techradar.com
✔️ Новая архитектура нейронных сетей может сделать ИИ более понятными.
Новая архитектура нейронных сетей, Kolmogorov-Arnold Networks (KANs), может сделать искусственный интеллект более интерпретируемым. KANs отличаются от традиционных нейронных сетей тем, что они используют более простые и понятные человеку функции для преобразования входных данных.
Эксперименты, проведенные в MIT и других институтах показали, что KANs могут быть более точными чем традиционные нейронные сети, но обучение KANs требует больше времени и вычислительных ресурсов, чем традиционные нейронные сети.
technologyreview.com
✔️ Новый метод непрерывного дообучения моделей компьютерного зрения и языка.
В опубликованном исследовании предложен новый подход к непрерывному дообучению зрительных и языковых моделей, который учитывает реальные требования их развертыванию в практических приложениях.
Исследование включает в себя четыре направления: влияния различных комбинаций данных и порядка их поступления на процесс дообучения, сравнение различных методов дообучения, изучение влияния мета-LR и планировщиков на процесс дообучения и анализ влияния масштабирования модели и вычислительных ресурсов на процесс дообучения.
Результаты исследования дают практические рекомендации для непрерывного дообучения моделей. Дополнительно, предложена концепция платформы FoMo-in-Flux, которая будет оценивать эффективность методов дообучения.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
Laion 5B - крупнейший открытый набор данных изображений в интернете. Он был изъят из публичного доступа из-за претензий о содержавшихся в нем неуместных и неэтических изображениях.
Новый набор данных, Re-LAION-5B создан в сотрудничестве Laion с организациями Internet Watch Foundation (IWF) и Canadian Center for Child Protection (C3P).
В процессе обновления было удалено 2236 ссылок, которые были идентифицированы как потенциально ведущие к подозрительному контенту. Новый набор данных Re-LAION-5B содержит 5,5 миллиардов пар текст-ссылка-изображение и будет доступен для скачивания в двух версиях: Re-LAION-5B research и Re-LAION-5B research-safe под лицензией Apache 2.0.
laion.ai
Большая статья о будущем анимационной индустрии и её трансформации благодаря новым технологиям на сайте венчурного фонда Andreessen Horowitz.
Основное внимание статьи уделяется тому, как искусственный интеллект и другие цифровые инструменты меняют процесс создания анимации.
Авторы приводят примеры стартапов и компаний, которые уже используют технологии ИИ для создания высококачественной анимации с меньшими затратами времени и ресурсов. Предполагается, что такие изменения могут привести к появлению новых форматов контента и расширению возможностей для независимых аниматоров.
a16z.com
Oprah Winfrey анонсировала новый спецвыпуск о будущем искусственного интеллекта "AI and the Future of Us". В шоу примут участие : генеральный директор OpenAI Sam Altman, Bill Gates, Директор ФБР Christopher Wray и создатель Youtube Marques Brownlee.
В программе будут обсуждаться основы ИИ, его влияние на образование, здравоохранение и другие отрасли, а также его потенциальное воздействие на правоохранительные органы и национальную безопасность. На шоу будут продемонстрированы существующие продукты со встроенным ИИ.
Шоу выйдет в эфир на канале ABC 12 сентября в 20:00 EST и будет доступна для просмотра на платформе Hulu на следующий день.
Участие в шоу Oprah Winfrey является признаком того, что ИИ становится все более популярной и важной темой в обществе.
techradar.com
Новая архитектура нейронных сетей, Kolmogorov-Arnold Networks (KANs), может сделать искусственный интеллект более интерпретируемым. KANs отличаются от традиционных нейронных сетей тем, что они используют более простые и понятные человеку функции для преобразования входных данных.
Эксперименты, проведенные в MIT и других институтах показали, что KANs могут быть более точными чем традиционные нейронные сети, но обучение KANs требует больше времени и вычислительных ресурсов, чем традиционные нейронные сети.
technologyreview.com
В опубликованном исследовании предложен новый подход к непрерывному дообучению зрительных и языковых моделей, который учитывает реальные требования их развертыванию в практических приложениях.
Исследование включает в себя четыре направления: влияния различных комбинаций данных и порядка их поступления на процесс дообучения, сравнение различных методов дообучения, изучение влияния мета-LR и планировщиков на процесс дообучения и анализ влияния масштабирования модели и вычислительных ресурсов на процесс дообучения.
Результаты исследования дают практические рекомендации для непрерывного дообучения моделей. Дополнительно, предложена концепция платформы FoMo-in-Flux, которая будет оценивать эффективность методов дообучения.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥3
Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming
⚡️Преобразование речи в речь в режиме реального времени
🤯Может генерировать текст и аудио одновременно
🚀Вывод потокового аудио
Модель: https://hf.co/gpt-omni/mini-omni
Документ: https://hf.co/papers/2408.16725
Код: https://github.com/gpt-omni/mini-omni
@machinelearning_ru
⚡️Преобразование речи в речь в режиме реального времени
🤯Может генерировать текст и аудио одновременно
🚀Вывод потокового аудио
Модель: https://hf.co/gpt-omni/mini-omni
Документ: https://hf.co/papers/2408.16725
Код: https://github.com/gpt-omni/mini-omni
@machinelearning_ru
❤6👍2🔥2
⚡️ OLMoE: Открытые языковые модели смеси экспертов
«OLMOE-1B-7B имеет 7 миллиардов (B) параметров, но использует только 1B на входную лексему.
Она предварительно обучена ее на 5 триллионах лексем.
OLMOE-1B-7B-INSTRUCT, превосходят все доступные модели с аналогичными активными параметрами, даже превосходят такие крупные модели, как Llama2-13B-Chat и DeepSeekMoE-16B.»
• Статья: https://arxiv.org/abs/2409.02060
• Модель: https://hf.co/allenai/OLMoE-1B-7B-0924
@machinelearning_ru
«OLMOE-1B-7B имеет 7 миллиардов (B) параметров, но использует только 1B на входную лексему.
Она предварительно обучена ее на 5 триллионах лексем.
OLMOE-1B-7B-INSTRUCT, превосходят все доступные модели с аналогичными активными параметрами, даже превосходят такие крупные модели, как Llama2-13B-Chat и DeepSeekMoE-16B.»
• Статья: https://arxiv.org/abs/2409.02060
• Модель: https://hf.co/allenai/OLMoE-1B-7B-0924
@machinelearning_ru
👍6❤3🔥2
🗣 Автоматическое распознавание речи (70x в реальном времени с помощью large-v2) с временными метками на уровне слов и дикторской речью.
Модель основана на Whisper от OpenAI и обучена на большом наборе данных разнообразного аудио.
- 70-кратная транскрипция в реальном времени с помощью Whisper large-v2
- Требуется <8 ГБ памяти GPU для big-v2 с beam_size=5
- Точные временные метки на уровне слов с помощью выравнивания wav2vec2
- Многоголосый ASR с использованием диаризации диктора
- Препроцессинг VAD уменьшает галлюцинации
• Github
@machinelearning_ru
Модель основана на Whisper от OpenAI и обучена на большом наборе данных разнообразного аудио.
- 70-кратная транскрипция в реальном времени с помощью Whisper large-v2
- Требуется <8 ГБ памяти GPU для big-v2 с beam_size=5
- Точные временные метки на уровне слов с помощью выравнивания wav2vec2
- Многоголосый ASR с использованием диаризации диктора
- Препроцессинг VAD уменьшает галлюцинации
$ git clone https://github.com/m-bain/whisperX.git
$ cd whisperX
$ pip install -e• Github
@machinelearning_ru
👍8🔥3❤2
Forwarded from Machinelearning
Новостной дайджест
✔️ Anthropic запускает тарифный план Claude Enterprise для корпоративных клиентов.
Anthropic предлагает новый план подписки для Claude, ориентированный на корпоративных клиентов, предлагая административный контроль и повышенную безопасность.
Claude Enterprise поможет проанализировать информацию, ответить на вопросы о ней, создать графики и простые веб-страницы или действовать как корпоративный AI-ассистент. План также включает в себя функции Projects и Artifacts, где реализована функция совместной работы с контентом.
План Claude Enterprise отличается от существующих решений на рынке. Например, контекстное окно в Claude Enterprise - 500 000 токенов. ChatGPT Enterprise и подписка Claude Team предлагают контекстные окна размером меньше половины, чем Claude Enterprise.
techcrunch.com
✔️ Dell и Red Hat объявили о сотрудничестве и поддержке бекэнда для open-source AI.
Основная цель сотрудничества - предоставить пользователям более простой и безопасный способ разработки, тестирования и развертывания языковых и генеративных моделей.
RHEL AI объединяет лицензированные LLM Granite от IBM Research, инструменты выравнивания моделей, основанные на методологии LAB (Large-scale Alignment for chatBots), и подход к разработке моделей в рамках проекта InstructLab.
Решение RHEL AI реализовано в виде загрузочного образа Red Hat Enterprise Linux (RHEL) для развертывания на отдельных серверах в гибридном облаке и включено в состав Red Hat OpenShift AI, гибридной облачной платформы для MLOps. RHEL AI на серверах Dell PowerEdge будет доступен в третьем квартале 2024 года.
devopsdigest.com
✔️ Microsoft объявила о выпуске Copilot+ на ПК в ноябре 2024 г.
Пользователи смогут получить доступ к функциям Copilot+: Live Captions, Windows Studio Effects и Cocreator в Paint.
Новые функции Copilot+ будут доступны через бесплатные обновления Windows на ПК с процессорами AMD (включая новые Ryzen AI 300), Intel (включая новые Core Ultra 200V), Qualcomm Snapdragon X Elite и X Plus, разработанных экосистемными партнерами Microsoft - Acer, ASUS, Dell, HP, Lenovo, Samsung.
blogs.windows.com
✔️ Биогибридные роботы, управляемые электрофизиологическими импульсами мицелия грибов.
Исследователи из Корнеллского университета создали экспериментальных биогибридных роботов, которые могут потенциально реагировать на окружающую среду лучше, чем их полностью синтетические аналоги.
Команда использовала грибные мицелии, которые имеют способность чувствовать химические и биологические сигналы и реагировать на множество входных данных. Они разработали систему, которая может записывать и обрабатывать электрофизиологическую активность мицелия в режиме реального времени и преобразовывать ее в цифровой сигнал управления, передаваемый на исполнительные узлы робота.
Были построены 2 робота : мягкий робот в форме паука и колесный робот. Роботы выполнили три эксперимента, в которых они реагировали на естественные сигналы мицелия и на внешние стимулы (ультрафиолетовый свет).
В университете надеются, что их разработка может привести к созданию роботов, которые могут взаимодействовать с окружающей средой более естественным образом.
news.cornell.edu
✔️ Проект EnsLoss: Стохастические калиброванные ансамбли потерь для предотвращения переоценки при классификации.
EnsLoss, новый метод объединения потерь, который расширяет концепцию коллективного обучения и позволяет объединять потери в рамках эмпирической минимизации риска (ERM). В отличие от существующих методов объединения, EnsLoss сохраняет "легитимность" объединенных потерь, т.е. обеспечивает свойства сonvexity and calibration (CC).
В репозитории описан набор экспериментов, которые демонстрируют эффективность предлагаемого метода по сравнению с существующими методами, основанными на фиксированной функции потерь, а также оценивают его совместимость с другими методами регуляризации.
github.com
@ai_machinelearning_big_data
#news #ai #ml
Anthropic предлагает новый план подписки для Claude, ориентированный на корпоративных клиентов, предлагая административный контроль и повышенную безопасность.
Claude Enterprise поможет проанализировать информацию, ответить на вопросы о ней, создать графики и простые веб-страницы или действовать как корпоративный AI-ассистент. План также включает в себя функции Projects и Artifacts, где реализована функция совместной работы с контентом.
План Claude Enterprise отличается от существующих решений на рынке. Например, контекстное окно в Claude Enterprise - 500 000 токенов. ChatGPT Enterprise и подписка Claude Team предлагают контекстные окна размером меньше половины, чем Claude Enterprise.
techcrunch.com
Основная цель сотрудничества - предоставить пользователям более простой и безопасный способ разработки, тестирования и развертывания языковых и генеративных моделей.
RHEL AI объединяет лицензированные LLM Granite от IBM Research, инструменты выравнивания моделей, основанные на методологии LAB (Large-scale Alignment for chatBots), и подход к разработке моделей в рамках проекта InstructLab.
Решение RHEL AI реализовано в виде загрузочного образа Red Hat Enterprise Linux (RHEL) для развертывания на отдельных серверах в гибридном облаке и включено в состав Red Hat OpenShift AI, гибридной облачной платформы для MLOps. RHEL AI на серверах Dell PowerEdge будет доступен в третьем квартале 2024 года.
devopsdigest.com
Пользователи смогут получить доступ к функциям Copilot+: Live Captions, Windows Studio Effects и Cocreator в Paint.
Новые функции Copilot+ будут доступны через бесплатные обновления Windows на ПК с процессорами AMD (включая новые Ryzen AI 300), Intel (включая новые Core Ultra 200V), Qualcomm Snapdragon X Elite и X Plus, разработанных экосистемными партнерами Microsoft - Acer, ASUS, Dell, HP, Lenovo, Samsung.
blogs.windows.com
Исследователи из Корнеллского университета создали экспериментальных биогибридных роботов, которые могут потенциально реагировать на окружающую среду лучше, чем их полностью синтетические аналоги.
Команда использовала грибные мицелии, которые имеют способность чувствовать химические и биологические сигналы и реагировать на множество входных данных. Они разработали систему, которая может записывать и обрабатывать электрофизиологическую активность мицелия в режиме реального времени и преобразовывать ее в цифровой сигнал управления, передаваемый на исполнительные узлы робота.
Были построены 2 робота : мягкий робот в форме паука и колесный робот. Роботы выполнили три эксперимента, в которых они реагировали на естественные сигналы мицелия и на внешние стимулы (ультрафиолетовый свет).
В университете надеются, что их разработка может привести к созданию роботов, которые могут взаимодействовать с окружающей средой более естественным образом.
news.cornell.edu
EnsLoss, новый метод объединения потерь, который расширяет концепцию коллективного обучения и позволяет объединять потери в рамках эмпирической минимизации риска (ERM). В отличие от существующих методов объединения, EnsLoss сохраняет "легитимность" объединенных потерь, т.е. обеспечивает свойства сonvexity and calibration (CC).
В репозитории описан набор экспериментов, которые демонстрируют эффективность предлагаемого метода по сравнению с существующими методами, основанными на фиксированной функции потерь, а также оценивают его совместимость с другими методами регуляризации.
github.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤4🔥3
✔ Применение Few-Shot Learning в задачах сегментации изображений: Погружаемся в CoreML
https://uproger.com/primenenie-few-shot-learning-v-zadachah-segmentaczii-izobrazhenij-pogruzhaemsya-v-coreml/
@machinelearning_ru
https://uproger.com/primenenie-few-shot-learning-v-zadachah-segmentaczii-izobrazhenij-pogruzhaemsya-v-coreml/
@machinelearning_ru
👍4🔥3❤2
Forwarded from Machinelearning
Это потрясающе! Новая 🤯 Llama 3 Reflection 70 превосходит, AnthropicAI
Claude 3.5 Sonnet и GPT-4o.
Reflection Tuning LLM обучена на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. 👀
1️⃣ Алгоритм начинает с вывода своих рассуждений в тегах
2️⃣ Если модель обнаруживает ошибку в своих рассуждениях, она использует теги
3️⃣ Удовлетворившись своими рассуждениями, модель предоставляет окончательный ответ в тегах
Результаты модели:
🏆 89,9% MMLU, 79,7% MATH, 90,1% IFEval > Sonnet 3.5, GPT-4o
🥇 Лучший в мире открытый LLM (на момент выпуска)
🦙 Обучен на базе Llama 3.1 70B Instruct с новыми специальными токенами для <мышления>, <рефлексии>, <вывода>
🚀 405B модель в разработке, ожидается, что это будет лучшая из существующих моделей
🤗 Доступна на HF
📚 Набор данных и отчет об обучении будут готовы на следующей неделе.
Модель: https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B
@ai_machinelearning_big_data
#llama #opensource #llm
Claude 3.5 Sonnet и GPT-4o.
Reflection Tuning LLM обучена на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. 👀
1️⃣ Алгоритм начинает с вывода своих рассуждений в тегах
<thinking>.2️⃣ Если модель обнаруживает ошибку в своих рассуждениях, она использует теги
<reflection> в разделе <thinking>, чтобы сигнализировать об этом и попытаться исправить себя.3️⃣ Удовлетворившись своими рассуждениями, модель предоставляет окончательный ответ в тегах
<output>.Результаты модели:
🏆 89,9% MMLU, 79,7% MATH, 90,1% IFEval > Sonnet 3.5, GPT-4o
🥇 Лучший в мире открытый LLM (на момент выпуска)
🦙 Обучен на базе Llama 3.1 70B Instruct с новыми специальными токенами для <мышления>, <рефлексии>, <вывода>
🚀 405B модель в разработке, ожидается, что это будет лучшая из существующих моделей
🤗 Доступна на HF
📚 Набор данных и отчет об обучении будут готовы на следующей неделе.
Модель: https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B
@ai_machinelearning_big_data
#llama #opensource #llm