Data Secrets
77.4K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати про железо: нобелевский лауреат Джеффри Хинтон считает, что скоро ИИ начнут бороться друг с другом за GPU и победит самый агрессивный

"Мы перешли на темную сторону эволюции" – утверждает Хинтон. По его словам, после появления суперинтеллектов они начнут соревноваться за ресурсы, так как чтобы стать умнее, нужно много GPU. Все закончится тем, что победит самый жадный и агрессивный.

Как вам такой естественный отбор?
😁113👍18🔥14🤯10🤔9🤪9🐳4🤨41👏1😐1
Кто такой Дэвид Майер и почему ChatGPT его так боится?

На выходных в соцсетях завирусилась байка о том, что GPT отказывается отвечать на вопросы о неком Дэвиде Майере. Если попросить его сделать это, он мгновенно зависает, и как бы вы не старались джейлбрейкнуть его или схитрить, ничего не происходит.

Вообще, пользователи позже обнаружили, что Дэвид Майер – не единственное имя, которое вызывает такой ужас у чат-бота. В ступор его заводят также Брайан Худ, Джонатан Терли, Джонатан Зиттрейн, Дэвид Фабер, Гвидо Скорца и др. Кто все эти люди и почему GPT их так ненавидит?

Конечно, в сообществе сразу начали рождаться бесконечные теории заговора. Но реальная причина, скорее всего, состоит в том, что все эти личности так или иначе сами предпочли "быть забытыми". Смотрите:

➡️ Брайан Худ – человек, который пострадал от GPT в прошлом году. Бот ложно назвал его виновником преступления, совершенного десятилетия назад, о котором Худ на самом деле сообщил. Тогда его адвокаты связались с OpenAI, и хотя никакого иска так и не было подано, сообщили, что "оскорбительные материалы удалены".

➡️ Джонатан Терли – тоже жертва обстоятельств. Он известный юрист и комментатор Fox News, но в конце прошлого года к нему домой ворвалась полиция и его долго допрашивали по делу, которое затем оказалось сфабрикованным. Тогда его репутация сильно пострадала, и он пытался стереть из Интернета упоминания об инцеденте.

➡️ Гвидо Скорца входит в совет директоров итальянского Управления по защите данных.

➡️ Джонатан Зиттрейн тоже юрист, известный тем, что много говорит о праве быть забытым в Интернете.

Между этими людьми, скорее всего, есть связь. Они все – публичные личности, которые предпочли стереть информацию о себе сами. Но... кто такой Дэвид Майер? Нет ни одного политика, юриста, актера и пр. с таким именем. Но был профессор Дэвид Майер. Он не был публичным человеком, но (!) в конце жизни столкнулся с тем, что его имя использовал в поддельных документах один очень разыскиваемый преступник. Из-за этого Майеру даже на какое-то время запретили путешествовать, и он постоянно боролся за то, чтобы его имя было отделено от псевдонима террориста.

Итак, вывод: вероятно, у ChatGPT есть список имен, которые по юридическим, политическим или этическим причинам требуют особого отношения. Существует множество таких специальных правил, и они, конечно, редко публикуются. Вероятно, один из таких списков с именами был случайно поврежден неисправным кодом, в результате чего GPT и начал "падать на ровном месте".

В общем, теперь вы знаете правду, а вся эта драма — еще одно полезное напоминание о том, что модели это не только голые отфайнтюненные трансформеры, но и сверхнапичканные правилами и политиками компаний системы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍95🫡1714🤯11🔥2🌭2💯2👻1
В OpenAI, кажется, готовятся добавлять рекламу в ChatGPT

По словам издания Financial Times на это указывает подозрительное количество новых соответствующих вакансий, хантинг талантов в сфере рекламы из Google и Meta и последние интервью финансового директора. Кроме того, затраты организации растут, так что в новом году без дополнительной монетизации стартапу действительно будет тяжко.

В каком виде будет размещаться реклама – пока непонятно
🤯57🗿2514👍9🙈6🌚5🫡4🔥1🤔1
Суровый русский киберпанк
😁155🔥1784
В России появился первый онлайн-тренажер по математике в приложении Т-Банка “Число Т”. В нем собраны самые разные задачи, которые подбираются под каждого пользователя индивидуально: алгоритмы приложения анализируют его успеваемость и усложняют или упрощают задания. Также с помощью приложения можно повысить свою финансовую грамотность и даже начать осваивать IT-профессии. Задачи в приложении не повторяются, а игровая механика поддерживает интерес пользователей.

В Т-Банке отмечают, что любая инновация в современном цифровом мире всегда начинается с языка математики. Для того, чтобы поднять престиж и интерес к этой науке на новый уровень компания разработала ряд бесплатных инициатив, которые затем объединила в масштабный образовательный проект “Т=Математика”. “Число Т” позволяет детям в игровой форме узнавать новое, а взрослым –- поддерживать в тонусе работу мозга. В компании уверены, что интерес к математике у нового поколения и способность решать сложные задачи позволит обеспечить технологический суверенитет стране.

Так, запуск онлайн-тренажера “Число Т”, как и проведение ежегодного Всероссийского математического диктанта 1 декабря, стало частью образовательного проекта “Т=Математика”. Попробовать свои силы в онлайн-тренажере можно на сайте или в приложении банка.
👍45😐22🔥12❤‍🔥43🤔2
Hugging Face выпустили бесплатный открытый курс по файнтюнингу

В программе – теория и приктика по LoRA, файнтюнингу с учителем, DPO, ORPO и другим техникам alignment'а и настройки модели под ваши задачи. Все ноутбуки сделаны на примере SmolLM2 и вообще курс заточен под локальные модельки, но знания легко переносятся.

Полезная и крутая практика, особенно если реально имеете дело с файнтюнингом на работе или учитесь. Ссылка
👍91🔥30103🍓2
Ух ты: Amazon вышли из спячки и релизнули новую линейку моделей Nova

В семейство вошли модели Nova Pro, Micro и Lite. Флагманская крупная Pro где-то на уровне Llama 3.2 90B. По некоторым бенчмаркам наступает на пятки Sonnet 3.5 и GPT-4o, но вряд ли все-таки будет полезнее в использовании (судить сложно, будем ждать результатов на арене). Зато цены приятные: $0.8/1M Input, $3.2/1M output. Это примерно треть цены GPT-4o. Контекст – 300К.

Micro и Lite, кажется, получились лучше. Lite примерно на уровне Gemini Flash, а Micro чуть хуже Haiku 3.5, но имеет отличную скорость: 157 input tokens/s, что быстрее, чем у Gemini 1.5 Flash, Llama 3.1 8B и GPT-4o mini.

Попробовать уже можно на Арене или на aws
👍35🔥11👏51👌1
На случай важных переговоров краудсорсингов

Разработчик из Твиттера соединил Claude Sonnet и Flux и попросил их вместе разработать пропагандистские плакаты на тему популяризации ручной разметки и RLHF. В итоге получились футуристичные постеры с надписями вроде «Благословенные оценщики: каждый клик формирует нашу судьбу», «Ваши пальцы делают нас лучше», «Максимизируйте счастье и другие метрики» и прочее. Милота, в общем.

Пользуйтесь, когда в следующий раз будете уговаривать стажера разметить датасет 👍
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁71🔥32👍9👻31
Эволюция наших дней
😁182👍2011🙈4🤓1
OpenAI впервые за 9 лет существования наняли директора по маркетингу. Им стала Кейт Руш, которая до этого работала на той же должности в Coinbase. Напоминаем, что между тем место технического директора после ухода Миры Мурати так и остается свободным.
🔥39💘9👍8🤔52❤‍🔥1
Forwarded from Институт AIRI
Финальная ИИшница этого года пройдет 5 и 6 декабря 🍳

Делимся подробным расписанием онлайн-митапа, где исследователи расскажут про свои статьи на NeurIPS 2024.

5 декабря: YouTube, VK Bидео

◼️15:35
Вводный доклад про Optimal Transport — Александр Коротин, AIRI, Сколтех

◼️15:45
Optimal Flow Matching: Learning Straight Trajectories in Just One Step — Никита Корнилов, МФТИ, Сколтех

◼️16:05
Adversarial Schrödinger Bridge Matching — Даниил Селиханович, Сколтех

◼️16:25
Light Unbalanced Optimal Transport — Милена Газдиева, Сколтех

◼️16:45
Rethinking Optimal Transport in Offline Reinforcement Learning — Арип Асадулаев, AIRI, МФТИ, ИТМО

◼️17:05
Energy-Guided Continuous Entropic Barycenter Estimation for General Costs — Александр Колесов, Сколтех

◼️17:25
ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport — Назар Бузун, AIRI

◼️17:45
On the Optimal Time Complexities in Decentralized Stochastic Asynchronous Optimization

Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity

Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
— Александр Тюрин, AIRI

◼️19:05
Group and Shuffle: Efficient Structured Orthogonal Parametrization — Михаил Горбунов, EPFL


6 декабря: YouTube, VK Bидео

◼️15:35
∇2DFT: A Universal Quantum Chemistry Dataset of Drug-Like Molecules and a Benchmark for Neural Network Potentials — Кузьма Храбров, AIRI

◼️15:55
XLand-MiniGrid: Scalable Meta-Reinforcement Learning Environments in JAX — Александр Никулин, AIRI

◼️16:15
BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack — Юрий Куратов, AIRI, МФТИ

◼️16:35
RClicks: Realistic Click Simulation for Benchmarking Interactive Segmentation — Антон Антонов, AIRI

◼️16:55
HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach — Максим Николаев, AIRI

◼️17:15
EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas — Михаил Мозиков, AIRI, МИСИС

Ведущий ИИшницы — Артур Кадурин, AIRI.

До встречи!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍29🤯169🔥5😁5🤔2🙈1