Машинное обучение RU
17.7K subscribers
1.58K photos
207 videos
11 files
2.04K links
Все о машинном обучении

админ - @workakkk

@data_analysis_ml - анализ даннных

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram -лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python 📚

@datascienceiot - 📚

РКН: clck.ru/3FmrUw
Download Telegram
🖥 Эта статья описывает, как создать веб-скрейпинг-агент на базе искусственного интеллекта с использованием модели Llama 3.2, работающей локально. Она охватывает процесс настройки и запуска AI-агента, демонстрируя его способность автоматически извлекать данные с веб-сайтов

🌟 Автор объясняет шаги по интеграции моделей, необходимых для обучения и работы скрейпинга, а также рассматривает, как использовать локально развернутую версию Llama для более эффективной работы

🔗 Читать: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥65👎1
Приветствую всех специалистов по машинному обучению! У нас есть хорошие новости: AI VK совместно с ODS анонсирует новое соревнование – VK RecSys Challenge. Основная цель – создание модели для предсказания фидбэка пользователей в VK Клипах.
Условия участия просты: регистрация открыта, достаточно оставить заявку. Соревнование начинается в октябре и продлится два месяца. Победителей ждут призы: общий призовой фонд составляет 2 000 000 рублей, и будут награждены пять лучших участников.
Для работы предоставляются необходимые данные, которые можно найти в разделе Dataset. Максимальное количество отправок решений в день ограничено пятью. Метрика оценки результатов – ROC AUC, где фидбэк оценивается по трем меткам: like = 1, dislike = -1, ignore = 0.
Это отличная возможность не только проявить себя, но и внести вклад в улучшение рекомендательных систем VK. Желаем всем удачи и ждем ваших заявок!

Призовой фонд
Общий призовой фонд: 2 000 000 руб
1 место: 800 000 руб
2 место: 600 000 руб
3 место: 300 000 руб
4 место: 200 000 руб
5 место: 100 000 руб
Отличная практика и шикарные призы, стоит поучаствовать. Все подробности тут.

@machinelearning_ru
5👍5🔥1
🔥 FLUX-Controlnet-Inpainting — модель для инпейнтинга изображений (восстановления их отсутствующих частей) с использованием ControlNet, разработанную командой Alimama Creative

🌟 Модель обучалась на большом наборе данных изображений и доступна для некоммерческого использования. Она демонстрирует высокое качество инпейнтинга и предоставляет инструкцию по использованию с библиотекой Diffusers

▪️Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥1
Утекли данные о датах релиза и ценах на новые видеокарты Nvidia. Согласно этим данным, RTX 5090 должна выйти в январе по цене в $1800 (около 175 000 рублей).

@machinelearning_ru
👍63🔥3
🔍 Surya — это библиотека для распознавания текста (OCR) и анализа макетов документов на более чем 90 языках. Она предоставляет функции для распознавания текста, детекции линий, определения порядка чтения и анализа структуры страниц в форматах изображений и PDF. Surya поддерживает многоязычный OCR, может извлекать текст с различными уровнями метаданных, такими как языки, расположение текстовых блоков и уверенность в распознавании.

💡 Среди её возможностей:

🌟 Распознавание текста с поддержкой множества языков;

🌟 Детекция строк и блоков текста с указанием координат и уверенности в результате;

🌟 Интерактивное приложение на базе Streamlit для тестирования

💡 Surya использует глубокое обучение и может быть ускорена за счет использования GPU. Она подходит для анализа сложных документов с таблицами, рисунками и другими элементами макета

🔐 Лицензия: GPL-3.0

▪️Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍92🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Анимация для соединения karpathy llm.c, с помощью матричного умножения вручную

@machinelearning_ru
🔥9👍32
🔥 PostBot 3000 — это проект с открытым исходным кодом, который демонстрирует, как создать мощного AI-агента для генерации и стриминга ответов и артефактов

🌟 Он построен на Python с использованием FastAPI для API и Next.js для интерфейса. Этот проект помогает пользователям реализовать подобные решения, предоставляя примеры кода и шаги для локального развертывания

▪️GitHub

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥32
Forwarded from Machinelearning
⚡️ Stable Diffusion 3.5 Large.

Stability AI опубликовала Stable Diffusion 3.5 Large - модель text-to-image с 8 млрд. параметров.

В основе SD 3.5 Large - архитектура Multimodal Diffusion Transformer (MMDiT). Модель использует три предобученных текстовых энкодера:

🟢OpenCLIP-ViT/G;
🟢CLIP-ViT/L;
🟢T5-xxl.

OpenCLIP-ViT/G и CLIP-ViT/L имеют контекстную длину 77 токенов, а T5-xxl - 77/256 токенов.

Модель доступна по API в сервисах - Stability AI, Replicate и Deepinfra.

Для локального использования модели рекомендуется использовать ComfyUI (базовый воркфлоу) или Diffusers.

⚠️ Инференс квантованной NF4-версии на ограниченных VRAM

⚠️ Подробные инструкции по файнтюну и тренировке LoRA для Stable Diffusion 3.5 Large.

▶️Локальный запуск инференса на Diffusers:

# install Diffusers
pip install -U diffusers


# Inference
import torch
from diffusers import StableDiffusion3Pipeline

pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-large", torch_dtype=torch.bfloat16)
pipe = pipe.to("cuda")

image = pipe(
"A happy woman laying on a grass",
num_inference_steps=28,
guidance_scale=3.5,
).images[0]
image.save("woman.png")


📌 Лицензирование:

🟢Модель доступна под лицензией Stability Community License, которая разрешает бесплатное использование для исследовательских, некоммерческих и коммерческих целей организациями или частными лицами с годовым доходом менее 1 млн. долл. США.

🟠Для получения коммерческой лицензии для организаций с годовым доходом более 1 млн. долл. США необходимо связаться со Stability AI.


🟡Страница проекта
🟡Arxiv
🟡Модель


@ai_machinelearning_big_data

#AI #ML #Diffusion #SDL #StabilityAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3🔥1
🖥 Бесплатный курс от Nvidia: Создание агентов RAG с LLM!

🌟 Агенты, работающие на основе больших языковых моделей (LLM), продемонстрировали хорошую способность к поиску для использования инструментов, просмотра документов и планирования своих подходов.

Этот курс покажет вам, как развернуть агентскую систему на практике для масштабирования ваших приложений в соответствии с требованиями пользователей и клиентов!

🔗 Ссылка: *клик*

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥53👍3👎2🎉1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Genmo выпустила Mochi 1 — это первая открытая модель для создания видеороликов на основе текста, созданная на базе архитектуры AsymmDiT с параметрами в размере 10 миллиардов.

В отличие от своих закрытых аналогов, Mochi 1 предоставляется бесплатно под лицензией Apache 2.0 и делает акцент на повышении качества движений и точности выполнения заданий.

Модель применяет технологию video VAE для эффективного сжатия данных, тем самым уменьшая потребности в памяти. Однако текущая версия поддерживает разрешение лишь до 480p, но вскоре будет выпущено обновление с поддержкой HD.

Ссылка на GitHub: https://github.com/genmoai/models

@machinelearning_ru
👍42🔥2😱2
Pangea-7B - полностью открытый MLLM для 39 языков

Обучен на основе разнообразного набора данных с 6 миллионами мультиязычных мультимодальных данных для настройки инструкций, охватывающих 39 языков

Полностью открытый дотаяет, код и контрольные точки

▪️Модель: https://huggingface.co/collections/neulab/pangea-6713c3b0d78a453906eb2ed8
▪️Документация: https://huggingface.co/papers/2410.16153

@machinelearning_ru
🔥7👍21
🚗 ParkingE2E: Комплексный инструмент для настройки авто парковщика для автомобиля на базе камер, от получения изображений до планирования движения автомобиля.

Видео
Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥2
🖥 client-researcher — инструмент для автоматизации исследований и создания отчетов на основе профилей клиентов. Он включает несколько агентов: для генерации профилей, поиска информации и составления отчета

⭐️ Скрипты можно запускать отдельно или как часть общего процесса. Проект основан на использовании ИИ для персонализированного контент-ресерча и предназначен для создания удобных отчётов в формате Markdown, используя API, такие как OpenAI.

🖥 GitHub

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🔥1
🔥 Вышел релиз 3.0.0 библиотеки transformers.js от HuggingFace!

🔍 Основные нововведения:

🌟 Поддержка WebGPU (до 100 раз быстрее, чем WASM!). WebGPU — это новый веб-стандарт для ускоренной графики и вычислений. API позволяет веб-разработчикам использовать GPU базовой системы для выполнения высокопроизводительных вычислений непосредственно в браузере. WebGPU является преемником WebGL и обеспечивает значительно лучшую производительность

🌟 Этот релиз увеличивает общее количество поддерживаемых архитектур до 120, охватывая широкий спектр модальностей ввода и задач. Среди известных новых имен: Phi-3, Gemma & Gemma 2, LLaVa, Moondream, Florence-2, MusicGen, Sapiens, Depth Pro, PyAnnote и RT-DETR

🌟 25 новых примеров проектов и шаблонов в репозитории проекта!

🌟 Transformers.js теперь совместим с Node.js (ESM + CJS), Deno и Bun!

🖥 Читать подробнее

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2👏21
🚀🚀 Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss

Inf-CLIP: Модель с высокой эффективностью использования памяти

🔑🔑 Ключевые особенности:
- Многоуровневое разбиение для оптимизации использования памяти (и практически без снижения эффективности обучения)
- - сокращение затрат использования памяти в 78 раз (размер пакета =256 КБ) и 281 раз (batch size =1 М) по сравнению с OpenCLIP без ущерба для точности
- Поддержка батчей размером до 4 М на 8 * A800s и 12 М на 32 * A800s

▪️Статья: https://huggingface.co/papers/2410.17243
▪️Github: https://github.com/DAMO-NLP-SG/Inf-CLIP
▪️Pypi: https://pypi.org/project/inf-cl/

@machinelearning_ru
👍32🔥2
Forwarded from Machinelearning
✔️ Релиз библиотеки Transformers.js v3.

Hugging Face выпустила Transformers.js v3, с улучшенной поддержкой WebGPU, новых форматов квантования и 120 поддерживаемых архитектур.

WebGPU обеспечивает вычисления на GPU непосредственно в браузере, что делает Transformers.js v3 до 100 раз быстрее по сравнению с WASM.

Новые форматы квантования позволяют выбирать уровень точности модели: fp32, fp16, q8 и q4. Среди поддерживаемых архитектур - Phi-3, Gemma, LLaVa, Florence-2 и MusicGen.

Transformers.js v3 совместима с Node.js, Deno и Bun, а также доступна на NPM - @huggingface/transformers.
huggingface.co

✔️ Британский регулятор начал расследование партнерства Alphabet и Anthropic.

Британское управление по конкуренции и рынкам (CMA) начало расследование партнерства Alphabet, материнской компании Google, с Anthropic.

Alphabet инвестировала 500 миллионов долларов в Anthropic в 2023 году с обещанием дополнительных 1,5 миллиарда долларов в будущем.

CMA изучает, не приведет ли партнерство к ограничению конкуренции на рынке. Регулятор должен принять решение о дальнейших действиях к 19 декабря 2024 года. Alphabet и Anthropic пока не прокомментировали ситуацию.
cityam.com

✔️ Fujitsu представила динамический распределитель ресурсов для ИИ-серверов и HPC-систем.

Fujitsu разработала программное обеспечение, для оптимизации использования GPU -"Сomputing broker".

Computing broker способен перераспределять процессы даже во время их работы, отдавая приоритет задачам с более высокой эффективностью выполнения. В ходе предварительного тестирования Fujitsu удалось достичь увеличения производительности обработки GPU до 2,25 раз.

Технология также эффективно управляет памятью, обрабатывая рабочие нагрузки ИИ объемом до 150 ГБ, что примерно в пять раз превышает физическую емкость протестированных GPU. Fujitsu планирует расширить возможности технологии для поддержки нескольких GPU, установленных на нескольких серверах.
techspot.com

✔️ CEO OpenAI опроверг сообщение о GPT-5 Orion.

В статье The Verge утверждалось, что Orion будет ориентирован на корпоративных клиентов и будет доступен через API. В публикации также говорилось о планах Microsoft разместить Orion в Azure уже в ноябре.

Сэм Альтман назвал эту информацию "фейковыми новостями", не уточнив, какие именно детали публикации не соответствуют действительности. OpenAI недавно выпустила модели o1 и o1-mini, но их восприятие было сдержанным из-за высокой стоимости эксплуатации и ограниченных возможностей по сравнению с GPT.
venturebeat.com

✔️ В Китае построили дорогу длиной 157 километров без участия людей.

10 беспилотных машин распределяли смесь из утрамбованных камней и песка, а затем нанесли битумное связующее для формирования дорожного полотна. Автономные катки выравнивали поверхность и обеспечивали необходимую твердость. Дроны контролировали ход строительства и проводили топографические измерения, гарантируя соблюдение заданных параметров. Несколько сотрудников удаленно контролировали работу техники.

Новая технология позволила выполнить укладку дороги за один проход, исключив необходимость в дополнительных работах. Разработчики алгоритмов проекта отмечают, что роботизированная укладка дороги обеспечивает миллиметровую точность и более высокую скорость по сравнению с традиционными методами.

Проект является продолжением скоростной автомагистрали Пекин-Гонконг, общая протяженность которой составляет 664 километра. Построенный участок соединяет Пекин с Хэбэем.
xatakaon.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥1