Анализ данных (Data analysis)
47.1K subscribers
2.68K photos
304 videos
1 file
2.3K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
📈 Вышел новый важный бенчмарк для исследовательских ИИ

LiveResearchBench - это *живой пользовательский бенчмарк* для оценки глубинных исследовательских систем на реальных, «полевых» задачах.

Он проверяет, могут ли исследовательские агенты создавать отчеты с корректными цитатами под реальные запросы пользователей. Всего собрано *100 задач в 7 доменах и 10 категориях*, на разработку ушло 1500 часов работы экспертов.

Старые бенчмарки устарели, были узкими и часто пересекались с данными предобучения.
Поэтому авторы ввели 4 строгих правила:
- задачи должны быть ориентированы на пользователя
- четко определены
- использовать актуальные данные из интернета
- требовать синтеза информации из множества источников

Каждая задача проходила 6 стадий создания (от интервью с пользователями до экспертной доработки) и 5 стадий проверки качества (независимые ревью и контроль качества).

Для оценки результатов создан фреймворк DeepEval, который оценивает отчеты по 6 критериям: структура, фактическая точность, корректность цитирования и др.
Используются чек-листы, парные сравнения и древовидные рубрики.

Для снижения смещения авторы использовали ансамбль моделей Gemini 2.5 Pro и GPT-5 как оценщиков, что сделало результаты стабильнее.

Тесты 17 агентных систем показали:
- мультиагентные решения лучше оформляют отчеты и ставят цитаты
- одиночные агенты стабильнее, но уступают в глубине рассуждений

Это важный шаг к тому, чтобы измерять, могут ли ИИ-агенты работать как настоящие исследователи - находить, анализировать и цитировать информацию из живых источников.

🔗 https://arxiv.org/abs/2510.14240
7👍7🔥4🥱1
⚡️ Anthropic обнаружила тревожную уязвимость в обучении языковых моделей: всего 250 подставных документов достаточно, чтобы «внедрить» скрытую команду (backdoor) в модель размером от 600 миллионов до 13 миллиардов параметров - даже если среди данных есть в 20 раз больше нормальных примеров.

Главное открытие: не процент заражённых документов, а их абсолютное количество определяет успех атаки. Увеличение объёмов данных и масштаба модели не защищает от целенаправленного отравления.

Backdoor остаётся незаметным - модель работает как обычно, пока не встретит секретный триггер, после чего начинает выполнять вредоносные инструкции или генерировать бессмыслицу.

Даже если продолжать обучение на «чистых» данных, эффект стирается очень медленно - backdoor может сохраняться длительное время.

Вывод: защита LLM требует контроля происхождения данных, проверки целостности корпусов и мер по выявлению скрытых иньекций.

🟢 Подробнее: https://www.anthropic.com/research/small-samples-poison
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥267👍3
Илон Маск написал у себя в X:

«У Grok 5 примерно 10 % шансов стать AGI - и он может оказаться очень близок к этому уровню.»


Большинство разногласий вокруг сроков появления AGI сводятся к тому, как именно его определяют.

Например, по последнему мнению Андрея Карпатия, настоящая AGI — это не просто языковая модель, а интеллект с телом: продвинутые роботы, способные выполнять физическую работу и даже решать проблему согласования (alignment).

Если придерживаться такого определения, то даже 10 лет - слишком оптимистичный прогноз.
😁15👍8🤣32🔥2
Uber запускает новый способ заработка для водителей в США 💰

Теперь водители смогут получать деньги, выполняя «цифровые задачи» — короткие задания, которые занимают всего пару минут и доступны даже во время ожидания пассажиров.

Примеры таких задач:
▫️ разметка данных для обучения ИИ
▫️ загрузка меню ресторанов
▫️ запись голосовых сэмплов
▫️ озвучка сценариев на разных языках

Потенциал огромен: компании вроде Scale AI и Surge AI, занимающиеся разметкой данных, уже оцениваются примерно в $30 млрд каждая.

В начале октября Uber также приобрёл бельгийский стартап Segments AI, специализирующийся на разметке данных, чтобы усилить свои позиции в этой сфере.
👍25😁125🔥3
🖼️ Удаление водяных знаков из видео Sora 2 с помощью ИИ

Этот проект позволяет эффективно удалять водяные знаки из видео, созданных с помощью Sora 2, используя технологии искусственного интеллекта. Пользователь загружает видео, система анализирует каждый кадр и удаляет водяной знак с помощью инпейнтинга.

🚀Основные моменты:
- Использует ИИ для точного удаления водяных знаков
- Поддерживает Windows, MacOS и Linux
- Обработка видео с сохранением качества
- Легкий в использовании интерфейс для загрузки видео

📌 GitHub: https://github.com/hate0s/sora2-watermark-remover
🤣21🔥53🥴3👍1
🌍 NVIDIA лидирует в опенсорсе в области ИИ, а китайские лаборатории только догоняют.

Всего пару лет назад большинство моделей - особенно крупные языковые - были закрыты
.
Теперь всё иначе: экосистема открытого ИИ растёт взрывными темпами. Только за последние 90 дней на Hugging Face появилось более миллиона новых репозиториев.

NVIDIA вышла в лидеры по количеству открытых проектов в 2025 году: серии Nemotron, BioNeMo, Cosmos, Gr00t и Canary.

Китайские компании (Alibaba Cloud с Qwen, Baidu, Tencent и другие) активно догоняют и уже способны конкурировать с западными лабораториями.

Открытый ИИ стал не только про гигантов - тысячи независимых разработчиков публикуют модели, датасеты и адаптации (например, LoRA). Это превращается в целое движение.

Меняется глобальная карта ИИ: Китай и США усиливают позиции, а Европа и другие страны всё больше уходит в тень.

⚠️ Но есть нюансы:

Открытость ≠ качество: важно следить за достоверностью данных, этикой и устойчивостью моделей.

Рост числа репозиториев требует фильтрации — не всё из нового имеет практическую ценность.

Лицензии и совместимость становятся критически важными: ошибки здесь могут стоить дорого.

📎 Подробнее: https://aiworld.eu/story/nvidia-leads-open-source-ai-momentum-as-chinese-labs-close-in

#OpenSourceAI #NVIDIA #China #Innovation #AI #Ecosystem
11👍6🔥2
Когда твоя AI-девушка жила на AWS us-east-1 💔*

Все было прекрасно, пока датацентр AMAZON не упал.
29🤣24🔥7🥱5💔5👍3
Не говорите создателю Markdown, что целая индустрия AI-агентов теперь зависит от каких-то .md-файлов, которые он когда-то написал просто ради удобства.
🔥384👍1
🌌 Google Gemini научили распознавать взрывающиеся звёзды по 15 примерам

Google Research показали, что мультимодальная модель Gemini способна находить *вспышки сверхновых и другие астрономические события* — буквально по нескольким обучающим примерам.

🚀 Главное
- Использован few-shot learning — всего ~15 примеров для каждой обсерватории *(Pan-STARRS, MeerLICHT, ATLAS)*
- Модель видит три изображения: новое, эталонное и разницу между ними
- Gemini не просто ставит метку, но объясняет, *почему* считает событие настоящим
- Средняя точность — 93 %, после итераций до 96,7 %
- Умеет оценивать свою неуверенность и просить помощи человека
- Объяснения модели признаны экспертами-астрономами достоверными

🔭 Почему это важно
- Будущие телескопы вроде Vera Rubin Observatory будут генерировать *миллионы сигналов каждую ночь* — без ИИ это невозможно обработать
- Подход few-shot позволяет быстро адаптировать модель к новым данным без переобучения
- Gemini превращается в научного помощника, а не просто классификатор

⚠️ Ограничения
- 93 % ≠ 100 % — человек-в-петле всё ещё необходим
- Модель чувствительна к качеству примеров и может ошибаться на редких артефактах

Вывод: Gemini теперь не просто анализирует изображения, а *учится думать как учёный* — объясняя, сомневаясь и адаптируясь к новым задачам.
📖 Источник: https://research.google/blog/teaching-gemini-to-spot-exploding-stars-with-just-a-few-examples/
11🔥6👍2
🚀 Примеры ChatKit для разработчиков

Репозиторий содержит продвинутые примеры использования ChatKit, включая интеграцию FastAPI и Vite + React. Он демонстрирует, как создать сервер ChatKit с помощью Python SDK и использовать различные инструменты для взаимодействия с клиентом.

🚀 Основные моменты:
- Полный шаблон проекта с фронтендом и бэкендом.
- Интеграция с инструментами для получения погоды и переключения тем.
- Легкая разработка с проксированием запросов через Vite.

📌 GitHub: https://github.com/openai/openai-chatkit-advanced-samples

#python
6👍4🔥3
Amazon планирует заменить около 600 000 сотрудников в США роботами.
Это колоссальный сдвиг - не только для компании, но и для всей экономики.


Да, многие рабочие места исчезнут.
Но если смотреть шире, мы стоим у начала новой промышленной революции, где выигрывают те, кто инвестирует в технологии на раннем этапе.
Доходы от акций и дивидендов в будущем смогут превысить сегодняшние зарплаты, благодаря эффекту сложного процента.

Автоматизация будет только расти. Это неизбежно.
И, вероятно, параллельно появятся формы базового дохода (UBI/UHI), чтобы сгладить переход.

2030-е будут эпохой не страха, а огромных возможностей - для тех, кто готов адаптироваться.

#Robotics #Automation #Amazon #FutureOfWork #AIeconomy
🤣29👍7🔥64🥱3🐳1
Крутая работа от NVIDIA + MIT 👏

QeRL (Quantization-enhanced Reinforcement Learning) - новый способ обучать LLM-модели с подкреплением, используя 4-битные веса и адаптивный шум.

📈 Результат работы метода: до 1.5× быстрее rollout’ы* и полноценное RL-обучение 32B модели на одной H100 (80 GB).

Rollout - это прохождение эпизода или попытка модели выполнить задачу от начала до конца, чтобы потом оценить её действия и выдать награду.

Обычный RL медленный, потому что rollout’ы длинные, а память занята политикой и эталоном.

LoRA уменьшает число обучаемых параметров, но не ускоряет генерацию.
QLoRA использует NF4, но таблицы тормозят вывод.

⚙️ QeRL решает это:
- применяет NVFP4 веса через Marlin,
- сохраняет LoRA только для градиентов,
- использует одну 4-битную политику и для rollout’ов, и для scoring — без дубликатов.

🧠 Добавление адаптивного шума квантизации повышает энтропию токенов — модель исследует пространство решений активнее.
Шум постепенно уменьшается и сливается с RMSNorm-масштабированием — без добавления параметров.

📊 На математических задачах:
- награды растут быстрее,
- точность равна или выше, чем у 16-битных LoRA и QLoRA.

💡 Итого: быстрее, экономнее по памяти, и крупные модели теперь реально можно обучать на одной GPU.

📄 https://arxiv.org/abs/2510.11696
11🔥6👍3
Forwarded from Machinelearning
🔥 GOOGLE AI опубликовали пост о настоящем прорыве в области QUANTUM AI

Сегодня в журнале Nature команда Google впервые показали проверяемое квантовое преимущество с помощью метода, называемого *out-of-time-order correlator (OTOC), или «квантовые эхо».

Эксперимент проведён на квантовом чипе Willow, и он показывает, что квантовые устройства уже способны решать задачи, которые невозможно эффективно симулировать на классических компьютерах.

Квантовый процессор Google выполнил алгоритм под названием Quantum Echoes - в 13 000 раз быстрее, чем лучший классический алгоритм на одном из самых мощных суперкомпьютеров в мире.

🟠Что это значит простыми словами
Учёные научились буквально «отматывать время» в квантовой системе и смотреть, когда она переходит от упорядоченного поведения к хаосу. Этот переход - ключ к пониманию, где начинается настоящее квантовое преимущество.

Проще говоря:

1) Учёные запускают квантовую систему вперёд во времени, позволяя ей запутаться и “рассеять” информацию.

2) Затем применяют обратные операции, как будто “перематывают” процесс назад.

3) Если всё сделано идеально, система должна вернуться в исходное состояние,но из-за квантового хаоса это происходит лишь частично.

4) Разница между “до” и “после” показывает, насколько глубоко информация ушла в хаос.

Работа показывает, что можно извлекать информацию из хаотичных квантовых состояний, ранее считавшихся полностью случайными.

Такой эффект невозможно воспроизвести на обычных суперкомпьютерах. Это шаг к практическим квантовым вычислениям, которые смогут моделировать материалы, молекулы и сложные физические процессы с точностью, недостижимой ранее.

«Quantum Echoes может стать основой будущих квантовых разработок для реального применения.

*Out-of-time-order correlator (сокращённо OTOC) - это специальная метрика, с помощью которой физики измеряют, как быстро информация "распространяется" и смешивается внутри квантовой системы.

🟢 Статья: https://www.nature.com/articles/s41586-025-09526-6

@ai_machinelearning_big_data

#QuantumComputing #Google #AI #Nature #Physics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
16👍5
🚀 IBM представила Toucan: крупнейший открытый набор данных для обучения ИИ-агентов вызывать и использовать инструменты (tool calling).

Toucan содержит более 1,5 млн реальных сценариев взаимодействия с API и внешними сервисами, охватывая 2000+ инструментов - от планирования задач до анализа данных и отчётности.

💡 Модели, обученные на Toucan, уже обошли GPT-4.5-Preview в ряде бенчмарков по эффективности работы с инструментами.

Toucan обучает модели на реальных последовательностях вызовов инструментов, а не синтетических данных.


Подробнее: https://research.ibm.com/blog/toucan-for-tool-calling

#AI #Agents #ToolCalling #IBM #LLM
🔥109👍4
🍎 Apple выпустила Pico-Banana-400K - это крупнейший открытый датасет для редактирования изображений по тексту.

Что внутри:
• ~400 000 примеров на основе реальных фото из Open Images
• 35 типов правок в 8 категориях: от изменения цвета до замены объектов, стилей, текста, выражений лиц и даже расширения кадра
• Все правки делала модель Nano-Banana, а качество оценивал Gemini-2.5-Pro по 4 критериям:

Интересные детали:
• Легче всего модели даются стилизация (93% успеха) и эффекты вроде зернистости плёнки
• Сложнее всего — точное перемещение объектов и редактирование шрифтов (~57–59% успеха)
• Неудачные попытки сохранены — как негативные примеры для обучения
• Общая стоимость сборки датасета — около $100 000

Датасет открыт для исследований (лицензия CC BY-NC-ND 4.0), идеален для разработки ИИ-редакторов следующего поколения.

🔗 GitHub
13👍5🔥3
🧠 Суперспособности для Claude Code

Репозиторий предоставляет редактируемую сообществом библиотеку навыков для плагина суперспособностей Claude Code. Пользователи могут добавлять новые навыки и улучшать существующие, способствуя развитию проекта.

🚀 Основные моменты:
- Редактируемая библиотека навыков
- Утилиты для управления навыками
- Поддержка сообщества для улучшений

📌 GitHub: https://github.com/obra/superpowers-skills
9👍2🔥2