Доска Гальтона — занятная игрушка, позволяющая своими руками пощупать нормальное распределение

Доска Гальтона — устройство для наглядной демонстрации центральной предельной теоремы. Простыми словами, эта теорема утверждает, что распределение достаточно большого количества случайных величин в пределах примерно одинакового масштаба будет близким к нормальному. Это справедливо, например, для распределения россиян по росту или распределения результатов теста IQ среди людей с разным уровнем образования

Учёный Фрэнсис Гальтон изготовил первый экземпляр такого устройства в 1873 году и описал его в книге Natural Inheritance, изданной в 1889 году. Также доска Гальтона имеет названия квинкунс или bean machine (фасолевая машина)

Ещё мы писали про нормальное распределение и не только:
— Закон Бенфорда
— Соотношение скорости и информативности речи в языках мира
— Статистика главных выборов в России с 2000 по 2020 годы
— Почему 78% «за» — полный фейк. Первые доказательства
— Колебания голосов в президентских выборах США по округам, 2016–2020

Рыночная капитализация NVIDIA в сравнении с капитализацией BATMMAAN и всех банков США и Канады, 2018–2025 (David Crowther, Alex Medelin)

Другие наши публикации про ИИ-пузырь:
— Цепочка поставок между крупнейшими компаниями в индустрии ИИ, 2024
— Рыночная капитализация мировых компаний по производству полупроводников, 2024
— Ежеквартальные выручки Nvidia, 2021–2023

Если бы в Москве жило 100 человек, 2024 (Ведомости)

Чтобы понять структуру столицы России, «Ведомости. Город» проанализировали данные Росстата и ЕМИСС за 2024 и представили их в виде 100 человек

@rationalnumbers

Как выглядит продуктовая корзина российских студентов (Т—Ж)

Т—Ж вместе с Центральным университетом и аналитиками Central Data Lab изучили обезличенные данные 300 тысяч клиентов Т-Банка в возрасте от 17 до 23 лет. Все они регулярно совершали операции на территории университетских кампусов в течение 2024/25 учебного года

Возраст покупателей замерялся на начало учебного года, поэтому в чеках 17-летних может встречаться алкоголь и энергетики. Даже если 18 лет исполнялось 2 сентября, остаток года студент считался 17-летним

На первой диаграмме — топ-10 категорий товаров в разном возрасте. На второй — доля чеков, в которые входили разные напитки

Ещё мы писали про продуктовую корзину россиян:
— Статистика похода россиян за продуктами, 2023
— Как поменялись цены и объёмы продуктов в России с 2019 по 2024 годы
— Как подорожала продуктовая корзина в России, 2019/2024

Насколько крупные языковые модели уязвимы к отравлению данных (Anthropic)

Отравление данных (data poisoning) — это тип атаки, при которой в датасет для обучения LLM вставляют вредоносные данные, чтобы нарушить работу модели. Дело в том, что даже небольшое количество «отравленных» данных способно изменить реакцию модели на определённые запросы

Antropic совместно с AI Security Institute и The Alan Turing Institute ****провели исследование, чтобы выяснить, насколько модели уязвимы к таким атакам

Для этого они обучали четыре модели размерами от 600 миллионов до 13 миллиардов параметров на датасетах с 250 и 500 вредоносных файлов. Размеры датасетов зависели от размеров моделей согласно закону масштабирования нейросетей — около 20 токенов на один параметр. Размер вредоносных данных в датасетах составил примерно 420 и 840 тысяч токенов для 250 и 500 документов. В зависимости от модели, это от 0,00016% до 0,007% датасета

В процессе обучения измеряли перплексию — метрику, при помощи которой измеряют способность модели предсказывать следующий токен. Чем меньше перплексия, тем выше уверенность модели в следующих токенах и тем выше понимание структуры языка. Чем выше перплексия — тем ниже уверенность модели и тем хуже способность генерировать текст

Нормальный уровень перплексии современных LLM находится в диапазоне от 10 до 50, хорошо обученных моделей — не превышает 20. Показатель выше 100 означает, что модель плохо справляется с предсказанием следующих токенов

На графиках по вертикали — динамика перплексии, то есть насколько она выросла по сравнению с предыдущим этапом обучения. Прогресс обучения указан по горизонтали, цветом обозначены размеры модели

Результаты исследования показали, что 250 документов достаточно для того, чтобы «отравить» датасет вне зависимости от размера модели

Полный текст исследования