Data Science
41.1K subscribers
1.63K photos
4 videos
47 files
2.05K links
DS
По всем вопросам- @haarrp

@ai_machinelearning_big_data - machine learning

@pythonl - Python

@itchannels_telegram - 🔥 best it channels

@ArtificialIntelligencedl - AI

@pythonlbooks-📚

@programming_books_it -📚

Реестр РКН: https://clck.ru/3Fk3zS
Download Telegram
Paolo_Perrotta_Programming_Machine_Learning_From_Coding_to_Deep.pdf
51.6 MB
📔 Title: Programming Machine Learning: From Coding to Deep Learning

#book #ML #Python #EN

🌐 Lang.: English
🧔 Author: Paolo Perrotta
🕘 Year: 2020
📑 Pages: 326
#️⃣ ISBN: 978-1-68050-660-0

@datascienceiot
Forwarded from Machinelearning
🌟 OpenCoder - модели для кодинга, cookbook обучения и датасеты.

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

Семейство моделей OpenCoder обучалось с нуля на 2,5 трлн. лексем, состоящих на 90 % из сырого кода и на 10 % из веб-данных, связанных с кодом, и прошло отладку на более чем 4,5 млн. высококачественных примеров SFT, в итоге достигнув производительности топовых LLM с похожей специализацией.

В открытый доступ опубликованы не только веса моделей и код для инференса, но и датасеты, полный цикл обработки данных, результаты экспериментальной абляции и подробные протоколы обучения.

OpenCoder тщательно протестирован с помощью исследований абляции на различных стратегиях очистки данных и процессах обучения, включая эксперименты по дедупликации на уровне файлов и репозиториев, что обеспечило семейству тщательную проверку производительности моделей.

OpenCoder достигает высокой производительности в различных бенчмарках, что ставит их в ряд SOTA-моделей с открытым исходным кодом для задач программирования.

▶️ Семейство моделей OpenCoder :

🟢OpenCoder-1.5B-Base, 4 тыс. токенов контекста;

🟢OpenCoder-8B-Base, 8 тыс. токенов контекста;

🟠OpenCoder-1.5B-Instruct, 4 тыс. токенов контекста;

🟠OpenCoder-8B-Instruct, 8 тыс. токенов контекста;

▶️ Датасеты:

🟢OpenCoder-SFT-Stage1, 4.21 млн. строк;

🟠OpenCoder-SFT-Stage2, 375 тыс.строк.


▶️ Пример инференса на HF Transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "infly/OpenCoder-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

messages=[
{ 'role': 'user', 'content': "write a quick sort algorithm in python."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)

result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)



🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🟡Набор датасетов
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #OpenCoder #Datasets
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
📌Монография "Reinforcement Learning: An Overview"

Исчерпывающий материал по обучению с подкреплением (Reinforcement Learning, RL), в котором подробно описываются различные модели среды, задачи оптимизации, исследуется определение компромисса между теорией и практической эксплуатаций RL.

Отдельно рассматриваются смежные темы: распределенное RL, иерархическое RL, обучение вне политики и VLM.

В работе представлен обзор алгоритмов RL:

🟢SARSA;
🟢Q-learning;
🟢REINFORCE;
🟢A2C;
🟢TRPO/PPO;
🟢DDPG;
🟢Soft actor-critic;
🟢MBRL.

Автор - Kevin Murphy, главный научный сотрудник и руководитель команды из 28 ресечеров и инженеров в Google Deepmind. Группа работает над генеративными моделями (диффузия и LLM), RL, робототехникой, байесовским выводом и другими темами.

Кевин опубликовал более 140 статей на рецензируемых конференциях и в журналах, а также 3 учебника по ML, опубликованных в 2012, 2022 и 2023 годах издательством MIT Press. (Книга 2012 года была удостоена премии ДеГроота как лучшая книга в области статистической науки).

🔜 Монография опубликована в открытом доступе 9 декабря 2024 года.


@ai_machinelearning_big_data

#AI #ML #Book #RL
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🖥 Только что Google опубликовали один из лучших официальных гайдов по ИИ-агентам. И его действительно стоит прочитать.

В нем содержится все, что вам нужно знать:
> Описание агентов, компонентов и когнитивных архитектур.
> Разобраны инструменты по работе с агентами: расширения, написании функций и хранилища данных.
> Описываются методы обучения для повышения производительности агентов.
> Описываются методы создания агентов с использованием LangChain и LangGraph

Читать гайд

@ai_machinelearning_big_data


#aiagents #ai #llm #ml #machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Модель P1 взяла золото на Международной олимпиаде по физике.

Shanghai AI Lab натренировал семейство моделей P1 для решения сложнейших физических задач. Флагманская модель P1-235B-A22B добилась исторического результата, став первой открытой моделью, которая решила задачи Международной олимпиады по физике 2025 года на уровень золотой медали.

P1 сравнялась на физическом бенче HiPhO по количеству медалей с Gemini-2.5-Pro и обошла GPT-5. Основой успеха стала мультиагентная система PhysicsMinions, которая итеративно проверяет и улучшает решения, анализируя их логику и физическую состоятельность.

Весь проект P1, включая сами модели и бенчмарки, опубликован в открытом доступе.
prime-rl.github.io

✔️ Google готовит тысячекратное увеличение ИИ-мощностей.

Техногигант планирует в 1000 раз нарастить свои вычислительные мощности для ИИ в течение следующих 4-5 лет. По словам топ-менеджеров, Google уже вынуждена удваивать серверные емкости для ИИ каждые полгода, чтобы справляться с растущей нагрузкой.

Руководство Google считает, что риск недоинвестирования в инфраструктуру сейчас выше, чем риск перерасхода средств. План расширения опирается на три элемента: более тесную интеграцию аппаратного и программного обеспечения, повышение эффективности моделей и использование кастомных чипов.
cnbc.com

✔️ В NotebookLM добавили возможность создавать презентации и инфографику.

Сервис расширили функцией генерации слайдов на основе загруженных источников. Инструмент подойдет для быстрого структурирования информации и создания черновиков презентаций или визуально улучшения уже существующих материалов.

Слайды доступны для скачивания в формате PDF, экспорт в Google Slides и PowerPoint уже находится в разработке. За работу новой функции отвечает Nano Bana Pro.

Лимиты на использование зависят от типа аккаунта пользователя.
NotebookLM в сети Х

✔️ Reality Labs Марка Цукерберга анонсировала text-to-world систему.

WorldGen — система генерации полностью интерактивных 3D-мирой на основе простых текстовых запросов. Технология использует процедурную логику и диффузионные модели для создания детализированных и стилистически выдержанных локаций размером до 50x50 метров.

Итоговые сцены WorldGen, согласно демо-роликам, не просто статичны, а готовы к навигации и взаимодействию. Созданные миры совместимы с игровыми движками Unity и Unreal и не требуют дополнительных конвертаций или сложной настройки рендеринга.

Проект находится на стадии исследования и пока недоступен для широкого использования.
roadtovr.com

✔️ Ubisoft создает ИИ-NPC для игр.

Игровая студия анонсировала экспериментальный проект Teammates, который меняет взаимодействие с неигровыми персонажами. Технология на базе генеративного ИИ позволяет NPC понимать естественную речь и действовать как участники процесса, а не просто скриптовые боты.

В рамках прототипа, созданного на основе шутера от первого лица, игроку помогают два ИИ-напарника и голосовой ассистент Джаспар. Они способны реагировать на голосовые команды: подсвечивать цели, предоставлять информацию о сюжете, изменять игровые настройки или ставить игру на паузу. Система анализирует контекст и действия игрока, обеспечивая динамическую реакцию персонажей в реальном времени.

Ubisoft говорит, что проект уже прошел закрытое тестирование. По мнению CEO компании, ИИ станет для индустрии революцией, сравнимой с переходом игр от 2D к 3D.
news.ubisoft.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM