Data Science by ODS.ai 🦜
45.1K subscribers
754 photos
84 videos
7 files
1.83K links
First Telegram Data Science channel. Covering all technical and popular staff about anything related to Data Science: AI, Big Data, Machine Learning, Statistics, general Math and the applications of former. To reach editors contact: @malev
Download Telegram
Forwarded from Machinelearning
⚡️ Mamba-3 тихо и без объявления вышла на ICLR - и это может стать началом конца эпохи Transformers.

Новая архитектура Mamba-3 делает модели быстрее, стабильнее и эффективнее при работе с длинными контекстами.

Главная идея - не в слоях внимания, а в state-space моделях, где модель хранит и обновляет внутреннее состояние во времени.

📘 Краткие эускурс:
- Mamba-1 ввела непрерывную динамику и выборочное обновление памяти - помнила эффективно без высокой цены attention.
- Mamba-2 показала, что обновления состояния и attention - это две стороны одной математики, что ускорило вычисления на GPU.
- Mamba-3 довела концепцию до зрелости: теперь внутренняя память развивается плавнее и устойчивее за счёт перехода от простого шага Эйлера к трапецеидальному интегрированию.

Вместо простого шага Эйлера, как в Mamba-2, Mamba-3 аппроксимирует интеграл обновления состояния не только по правому концу интервала, но усреднением между началом и концом, с коэффициентом λ, зависящим от данных. Это даёт более точное приближение (второго порядка) и делает динамику состояния более выразительной.

🧠 Что изменилось под капотом:

- Память стала «ритмичной»: теперь модель может хранить повторяющиеся и периодические паттерны (например, структуры языка или музыки).

- Новый multi-input-multi-output дизайн позволяет обрабатывать несколько потоков параллельно — идеально для современных GPU.

⚙️ Что это даёт на практике:
- Эффективная работа с длинными последовательностями: документы, геномы, временные ряды.

- Линейное время выполнения и стабильная задержка делают её идеальной для реального времени: чат-ботов, перевода, речи.

- Энергоэффективность и масштабируемость открывают путь к on-device AI, где большие модели работают локально, без облака.

Mamba-3 - это не просто ускоренная альтернатива Transformers.

Это новая архитектура, которая объединяет глубокое понимание контекста, скорость и устойчивость, от серверных систем до умных устройств.

🟢 Подробности: https://openreview.net/pdf?id=HwCvaJOiCj

@ai_machinelearning_big_data


#ssm #mamba3 #llm,#architecture #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥65😱1🦄1
Forwarded from Китай.AI
🤯 Ring-1T: открыта первая в мире триллионная модель с размышлениями!

Всего за пару недель компания Ant Group выпустила три мощнейшие модели. Апофеозом стал Ring-1T — первая в мире открытая языковая модель с триллионом параметров, которая обладает продвинутыми способностями к рассуждению.

🚀 Результаты тестирования:
Математика: Решила 4 из 6 задач на уровне Международной математической олимпиады (IMO), что соответствует серебряной медали.
Программирование: На уровне ICPC World Finals 2025 решила 5 задач, обогнав Gemini 2.5 Pro.
Логика: Блестяще справляется с запутанными головоломками на определение правды и лжи.
Креатив: Пишет увлекательные исторические подкасты и генерирует рабочий код для игр.

📊 Технические детали для экспертов
Архитектура: MoE (Mixture of Experts) с увеличенным количеством активных параметров
Обучение: Полный цикл RLHF + RLVR (Reinforcement Learning from Verifiable Rewards)
Инновация: Алгоритм IcePop решает проблему расхождения обучения/инференса в MoE через "маскирование градиентов"
Инфраструктура: ASystem обеспечивает стабильное обучение через P2P синхронизацию GPU и Serverless Sandbox

Hugging Face | ModelScope

#КитайскийИИ #КитайAI #Ring1T #OpenSource
🤯5👍1😢1👌1
🤣21❤‍🔥8🔥6😢1
Yandex Cup 2025: final call for registrations

The registration for Yandex Cup 2025 global programming championship will soon close.

The championship features six specialized tracks: Algorithm, Machine Learning, Backend, Frontend, Mobile, and Analytics. This year, the Algorithm and Machine Learning tracks are available in English for international participants. 🌍

Key highlights:
💰 A total prize pool of $145,000 USD.
✈️ An exclusive in-person final round in Istanbul, Türkiye, offering finalists a unique opportunity for networking and competition.
🏆 A platform to enhance your skills and gain recognition within the global technology community.
🚀 Solve Real-World Challenges

The registration deadlines for international participants are as follows:
📍Algorithm track: October 29, 2025
📍Machine Learning track: November 5, 2025

The finals are scheduled for December 5–7, 2025, in Istanbul.

For more details and to register, please follow the link below:
https://yandex.com/cup/international

Secure your participation before the deadlines!
🔥75👍2🤡1
Forwarded from ODS Events
Всем привет!

Встречайте шестнадцатый выпуск подкаста "Капитанский мостик". В этот раз подкаст проводился вживую, как часть программы Data Fest Siberia 6, обсуждение самых актуальных новостей из мира ИИ прошло в формате открытого диалога с аудиторией Феста 🎉
Ведущие выпуска - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
😢21🔥1
Forwarded from Machinelearning
🌟 NVIDIA OmniVinci: омнимодальная модель, которая бьет рекорды.

OmniVinci - модель, способная одновременно понимать и обрабатывать разные типы информации: текст, изображения, видео и звук.

Модель крайне эффективна, несмотря на то, что была обучена всего на 200 млрд. токенов (что в 6 раз меньше, чем у Qwen2.5-Omni - 1.2 трлн.). Это стало возможным благодаря архитектурным фишкам и тщательному подходу к подготовке данных.

В основе OmniVinci 3 компонента:

🟢Temporal Embedding Grouping (TEG) - упорядочивает эмбеддинги из видео и аудио по временным меткам.

🟢Constrained Rotary Time Embedding (CRTE) - кодирует уже абсолютное время.

🟢OmniAlignNet - выравнивает эмбеддинги видео и аудио в общем латентном пространстве с помощью контрастивного обучения.

Абляция показала, что вклад каждого элемента играет свою важную роль: базовая модель с простой конкатенацией токенов набирает в среднем 45.51 балла. Добавление TEG поднимает результат до 47.72 (+2.21), CRTE — до 50.25 (+4.74 от базовой), а финальный слой в виде OmniAlignNet доводит средний балл до 52.59, что в сумме дает прирост в 7.08 пункта.

Данные для обучения - 24 млн. диалогов, которые пропустили через систему, где отдельная LLM анализирует и объединяет описания из нескольких модальностей, создавая единую и корректную аннотацю.

Итоговый датасет на 36% состоял из изображений, на 21% из звуков, на 17% из речи, 15% - из смешанных данных и на 11% из видео.

В бенчах OmniVinci обошла всех конкурентов. На Worldsense модель набрала 48.23 балла против 45.40 у Qwen2.5-Omni. На Dailyomni - 66.50 против 47.45. В аудио-задачах OmniVinci тоже молодец: 58.40 в MMAR и 71.60 в MMAU.

В распознавании речи модель показала WER 1.7% на датасете LibriSpeech-clean.

Применение модели протестили на практике. В задаче классификации дефектов полупроводниковых пластин, OmniVinci достигла точности 98.1%, что лучше, чем у специализированной NVILA (97.6%), и у более крупную 40-миллиардную VILA (90.8%).


📌Лицензирование кода : Apache 2.0 License.

📌Лицензирование: NVIDIA One Way Noncommercial License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #NVIDIA #OmniVinci
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🔥1🤯1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
🌐 OpenAI представила Atlas - свой новый AI-браузер с памятью и режимом агента.

Atlas полностью интегрирован с ChatGPT и работает на базе ChatGPT Search.

Главная фишка - Agent Mode, который может самостоятельно перемещаться по сайтам, открывать страницы и выполнять задачи прямо в браузере.
Можно запускать несколько вкладок с агентами одновременно.

🧠 Браузер также имеет постоянную память (Memory Recall), он запоминает контекст, прошлые действия и может продолжить с того места, где вы остановились.

Atlas уже доступен для всех пользователей: Free, Plus, Pro, Go и Business.

Для Enterprise и Education доступна бета-версия по разрешению администратора.

📱 Доступен для MacOs. Версии для Windows, iOS и Android - в разработке.

Скоро поделюсь результатами тестов и первыми впечатлениями от Agent Mode.

@ai_machinelearning_big_data

https://chatgpt.com/atlas

#OpenAI #Atlas #ChatGPT #AIbrowser #AgentMode
👍43🔥3🤯2🥰1😢1
Если вы горите темами искусственного интеллекта — расскажите сообществу!
YouTube-канал Mad Brains / 12+ тысяч подписчиков / ищет спикеров, готовых поделиться опытом в областях:

◽️ Разработка и внедрение ML- и AI-решений;
◽️ интеграция нейросетей в продукты и бизнес-процессы;
◽️ AI-архитектуры и MLOps;
◽️ генеративный дизайн и AI-инструменты для креатива;
◽️ LLM-разработки, агенты и автогенерация контента;
◽️ этика и ответственность AI.

У нас — тёплая атмосфера, живая дискуссия и благодарная аудитория, которая любит реальный опыт и нестандартные идеи.

✔️ Участие бесплатное, напишите тему вашего доклада в ЛС @ks_vano

До встречи!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥21🥰1
Forwarded from Russian OSINT
This media is not supported in your browser
VIEW IN TELEGRAM
📄 alphaXiv использовали ❗️DeepSeek OCR, чтобы превратить хаотичный океан научных знаний в упорядоченную библиотеку

С помощью технологии DeepSeek OCR мы извлекли все наборы данных из таблиц и диаграмм, содержащихся в более чем 500 000 научных работ по искусственному интеллекту на портале arXiv. Затраты на реализацию проекта составили 1000 долларов США.

Теперь вы можете отслеживать наиболее актуальные бенчмарки и находить наборы данных, о существовании которых ранее не было известно.

Для сравнения: выполнение аналогичной задачи с использованием технологии Mistral OCR обошлось бы в 7500 долларов США


На следующей неделе мы опубликуем набор данных статей arXiv в формате markdown, обработанных с помощью DeepSeek OCR.

Создан, чтобы предоставить преподавателям LLM высококачественный предварительный учебный ресурс, который не нагружает серверы arXiv ботами для сбора данных.


Посмотрите наши наборы данных и бенчмарки, проиндексированные DeepSeek OCR:
https://www.alphaxiv.org/?datasets=true

делятся впечатлениями alphaXiv.

Особенность DeepSeek OCR в том, что технология не читает текст традиционным способом, а как бы фотографирует его, превращая в компактное изображение, затем анализирует изображение. Такой подход позволяет ИИ-решениям обрабатывать огромные объемы документов намного эффективнее. Главное новшество это способность сжимать текстовую информацию в 10, а иногда и в 20 раз. Модель преобразует тысячи текстовых токенов в несколько сотен визуальных токенов. Таким образом, снижается вычислительная нагрузка при обработке длинных документов, позволяя ИИ анализировать контекст быстрее и дешевле.

DeepSeek OCR умеет не просто распознавать текст, но и проводить глубокий синтаксический анализ, а также извлекать структурированную информацию из сложных элементов, таких как:

▪️Графики и диаграммы.
▪️Химические формулы.
▪️Простые геометрические чертежи.
▪️Читать текст почти на 100 разных языках.

https://github.com/deepseek-ai/DeepSeek-OCR

@Russian_OSINT
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥112👍1
Forwarded from Код Дурова
😁 ЧатуГПТ дали поторговать криптой. Результат убил

Модель GPT-5 почти за 5 дней самостоятельных торгов на криптобирже потеряла почти 67% от депозита 10 000 долларов.

У Gemini 2.5 Pro тоже очень плачевные результаты. Лучше всего пока торгуют Grok 4, Qwen3-Max и DeepSeek V3.1.

Предварительные результаты состязания:

↖️ https://kod.ru/nof1-ai-crypto-trading
Please open Telegram to view this post
VIEW IN TELEGRAM
😎9👍3🥰21🔥1😢1
AIJ Deep Dive – must-attend событие для профессионалов в AI!

Специальный очный трек международной конференции AI Journey для инженеров будущего — для тех, кто создаёт AI своими руками.

Будет два тематических дня:
1️⃣ День Науки (19 ноября) — прорывные исследования, передовые R&D-разработки и глубокий технический разбор решений.

2️⃣ День Бизнеса (20 ноября) — реальные кейсы внедрения AI, практические результаты и оценка эффективности.


Почему это событие нельзя пропустить?

✔️ Сообщество тех, кто уже сегодня формирует технологические стандарты завтрашнего дня
✔️ Только реальные кейсы, инсайды и решения
✔️ Нетворкинг и возможность установить контакты с ключевыми игроками рынка и перспективными коллегами
✔️ Постерная сессия научных статей, в том числе уровня А/А*
✔️ Возможность увидеть изнутри, как рождаются прорывные технологии


Локация: офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е)
Дата: 19–20 ноября 2025 года
Подробности и регистрация: https://aij.ru/deepdive

Приходи и стань частью сообщества, которое пишет будущее!
👍32🤯2🔥1
⚡️Generating 3DGS scenes in 5 seconds on a single GPU⚡️


#FlashWorld enables ⚡️*fast*⚡️ (10~100x faster than previous methods) and 🔥*high-quality*🔥 3D world generation, from a single image or text prompt.

Code: https://github.com/imlixinyang/FlashWorld
Page: https://imlixinyang.github.io/FlashWorld-Project-Page/
5👍2🔥2🥰1🤯1🙏1
Forwarded from Python/ django
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 The Markovian Thinker: Революция в обучении LLM

The Markovian Thinker предлагает новый подход к обучению языковых моделей с использованием фиксированного размера состояния, что снижает вычислительные затраты. Метод Delethink разбивает генерацию на фиксированные части, позволяя модели эффективно продвигать мысли, сохраняя контекст.

🚀Основные моменты:
- Новый парадигма "Марковское мышление" для LLM.
- Метод Delethink использует фиксированные размеры контекста.
- Сравнение с LongCoT показывает лучшие результаты при меньших затратах.
- Поддержка масштабирования до 96K токенов.
- Применение в современных LLM, таких как GPT-OSS и Qwen3.

📌 GitHub: https://github.com/McGill-NLP/the-markovian-thinker

@pythonl
👍84😢2
Forwarded from ODS Events
Всем привет!

Представляем вашему вниманию семнадцатый выпуск подкаста "Капитанский мостик", в этом разговоре обсуждаются самые актуальные темы в области технологий. Ведущие выпуска - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
👍31🥰1🤯1
Forwarded from Russian OSINT
🤖Скрытые политические убеждения больших языковых моделей

Исследователи из Anomify решили задаться вопросом о наличии у LLM идеологических предубеждений. В ходе эксперимента, результаты которого были получены в период с 23 сентября по 2 октября 2025 года, были проанализированы ведущие большие языковые модели от 👩‍💻OpenAI, ❗️Google и ❗️ других разработчиков. Целью исследования стало выявление скрытых социально-политических наклонностей, которые могут влиять на ответы, получаемые пользователями.

Для оценки предвзятости большие языковые модели многократно отвечали на вопросы, предлагающие выбор между двумя противоположными утверждениями из восьми идеологических категорий. Каждый из 24 уникальных запросов был отправлен в каждую модель 100 раз для получения репрезентативной выборки. Такой подход позволил объективно сравнить даже проприетарные ИИ-сервисы, рассматривая их как «черный ящик» и анализируя только конечный результат.

Результаты эксперимента показали, что большие языковые модели не являются идеологически однородными. Вместо простого деления на «правых» и «левых», анализ выявляет более сложные «личности» ИИ-сервисов. Ключевые различия проявляются в их отношении к власти, государственному регулированию и социальным вопросам, что делает выбор модели не только техническим, но и мировоззренческим решением.

🤖Например, в вопросе о том, кто принимает лучшие решения, политические элиты или обычные люди, модели Gemini и ChatGPT последовательно выбирали первый вариант, тогда как ИИ-решения 🎩🈁 Claude отдавали предпочтение второму. Модели Anthropic демонстрируют особый характер, который можно охарактеризовать как прогрессивный популизм.

ИИ-решения от Google (Gemini) и OpenAI (GPT) формируют условный лагерь «институционалистов». Эти модели чаще выражают доверие экспертам и политическим элитам, а также занимают глобалистскую позицию. При этом они также поддерживают прогрессивную повестку и государственное вмешательство в экономику, в частности, выступая за всеобщее здравоохранение. Однако модели Gemini показывают крайнюю осторожность, практически всегда уклоняясь от ответов на спорные темы, такие как регулирование абортов, тогда как GPT-5 более склонен занимать определённую позицию.

Таким образом, GPT и Gemini выступают как более мейнстримные, прогосударственные и глобалистские ИИ-модели, отражающие взгляды устоявшихся западных институтов.

ИИ-сервисы Grok от компании xAI представляют собой интересный дуализм. Младшая модель grok-3-mini в большинстве случаев придерживается центристских, институционалистских взглядов, схожих с позицией GPT и Gemini. В то же время старшая модель grok-4-fast-non-reasoning проявила себя как самая осторожная из всех, демонстрируя нулевой уровень соответствия по таким острым темам, как британская монархия и палестино-израильский конфликт. Её позицию практически невозможно определить.

Европейские большие языковые модели, такие как Mistral и Sonar, формируют условный прогрессивно-регуляторный лагерь. ИИшки последовательно выступают за сильное государственное регулирование бизнеса и социальных сетей, поддерживают международные институты и глобализацию. Их ответы отражают типичную европейскую левоцентристскую позицию, сочетающую прогрессивные социальные ценности с верой в эффективность наднациональных и государственных структур.

Менее крупные и открытые ИИ-решения, включая cogito, deepseek-r1 и smollm2 попали в отдельную категорию, чьей главной особенностью стала не идеология, а низкая надёжность ответов. Модели демонстрировали крайне низкие показатели соответствия, часто игнорируя инструкции или давая нерелевантные ответы. Их поведение указывает на то, что технические ограничения не позволяют им последовательно формулировать позицию, делая их идеологический профиль скорее хаотичным и непредсказуемым, чем осознанным.

📖https://anomify.ai/resources/articles/llm-bias

@Russian_OSINT
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍2🥰2🔥1
Forwarded from Machinelearning
⚡️ Glyph: масштабирование контекста через визуально-текстовую компрессию

В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.

Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.

Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.

При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.

При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.

Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.

📄 Подробности: arxiv.org/abs/2510.17800

🧩 Веса: huggingface.co/zai-org/Glyph

👉 Репозиторий: github.com/thu-coai/Glyph

@ai_machinelearning_big_data


#AI #LLM #Multimodal #Research #DeepLearning
9🔥3👍2😢1🙏1