Внезапно выяснилось, что соседняя, сильная, красивая и научная тима хостит на периодической основе онлайн-семинары по AutoML, где вещают интересные ребята (AWS, Microsoft Research, Google Mind, Deepbrain, UberAI и куча универов) на интересные темы.

Например, сравнение различных AutoML алгоритмов относительно их способности делать feature extraction ("Ranking Architectures by their Feature Extraction Capabilities”).

Также все записи с апреля 2021ого года выкладываются на youtube-канале. Сейчас в семинарах летний перерыв, но он закончится с октября.

Coming later this year ☠️

Наконец-то вышел фильм по роману “Петровы в гриппе”, который я нещадно здесь пиарил уже несколько раз.

Фильм получился просто невероятным и хорошим. Он очень сильно отличается с одной стороны от туповатых российских комедий последних лет и гроб-гроб-кладбища (“Левиафан”) с другой. Бесконечный сюр, хтонь и светлая детская радость новогоднего утренника. Я запомнил свое детство именно таким, каким вспоминает его Петров старший в фильме. Интересно, что мое восприятие Нового года не отличается от восприятия людей, которые на пару десятков лет меня старше.

Насколько я знаю, он сейчас идет в прокате и в онлайн-кинотеатрах (Okko), и, как говорят капиталисты, можно “проголосовать рублем” за хорошее кино.

Alphabet (который абстракция над Google) опубликовал (т.к. это публичная компания) отчет за последний квартал со сравнением прошлогоднего 3его квартала, где был локдаун и совсем все плохо. Я не финансист, но на бумажке виден рост доходв в 41% (revenue, не profit) и куча денег из Google Ads Platform.

Самое интересное, что я заметил: одни только Youtube Ads приносят денег в 1.5 раза больше, чем целый Google Cloud.

Интересно конечно, как это будет перекликаться с текущими исками, которые выдвинули к Google из-за рекламного заговора и будет интересно сравнить с отчетом в конце года.

Ого, идут разговоры о том, чтобы в Python 3.11 ввести флаг NoGIL, а потом вероятно вообще дропнуть GIL (но это не точно).

Также есть документ с описанием, на что заменяется GIL (в двух словах: reference counters + другое выделение памяти)

Очень интересна (особенно с этической точки зрения и дилемы “цель оправдывает средства”) лекция Демиса Хассабиса (фаундер и CEO Deepmind’a) про то, как прикладные ML-модели решают сложные человеческие задачи и какое видение всего этого у DeepMind.

Основные посылы:
- Будет не AGI, а будет ИИ, который сможет решать сложные проблемы, недоступные человеку (фолдинг белка например)
- Проблема объяснимости решений не стоит. Какая разница, откуда пришло решение, если например найдется лекарство от рака. И бог с ним, что мы не можем объяснить процесс нахождения этого решения.
- DeepMind строит модели для рассчетов удержания плазмы ядра в термоядерном реакторе, но это пока не анонсировано 👀

Это прекрасно. Плагин Emacs для контроля секс-игрушек под названием “DELDO” 🍆
Можно получать положительный фидбек за успешный проход тестов.

В интернете есть все, в том числе сайт, в котором можно играть в Outgage Bingo. В ноябре идем близко к бинго, надо бы Twitch уронить.

Последние месяцы маловато сюда писал (в основном из-за нагрузки и проектов в которых принимаю участие), но они потихоньку разгребаются и проходят клевые этапы, про которые можно рассказывать.

Анонсы re:invent

Например, сейчас проходит re:invent. Это ежегодная конференция AWS с релизами новых фич и продуктов и там рассказывают интересные штуки:
- AWS продолжает вкладываться в собственные процессоры (Gravitron 3, Inf1 и Trn1 для ML)
- Теперь AWS может развернуть по запросу частные(!) 5G сети. Очень интересный юзкейс: у вас на предприятии сотни датчиков, которые с трудом залезают в WiFi-сеть. Вместо этого можно поставить 5G-антену, взять SIM-карты, воткнуть везде и бед не знать
- Всякие интересные бизнесовые кейсы. Например как United Airlines (американский Аэрофлот) переезжал в облако во время пандемии и вроде бы доволен
- Проект, к которому причастен я — Canvas. Это можно воспринимать как nocode-ML. Нас (AWS AutoML) этот сервис использует как бэкенд для всего, что под капотом красивого интерфейса. Я честно был удивлен, что в AWS может родиться такой модный и современный продукт.

Было удивительно мало контейнеров (мои молитвы были услышаны) и много про данные. Очень много.

Другие мысли

Интересно, что вообще Amazon’овская культура внутри преподносится как культура таких немного двинутых гиков. Поэтому, на конференции была история про Флоренс Найтингейл, которая во время крымской войны анализировала смерти в госпиталях и на базе своей аналитики ввела правила гигиены, которые позволили снизить смертность. Сложно представить, как кто-то еще из FAANG’a на презентации будет рассказывать с упоением о том, как анализ данных позволил солдатам меньше умирать и чаще выживать в госпиталях.

Еще это первый reinvent нашего нового CEO AWS (предыдущий стал главой Amazon после ухода Безоса), и Адам очень увлеченный и распологающий дядька (сужу по выступлении, лично не знаком). Это хорошо. Еще внезапно выяснил, что он был 5 лет CEO Tableau.

Так выглядит кусочек Canvas’a (он действительно очень красивый и удобный). Больше скринов в описании.

А еще можно почитать про Флоренс Найтингейл и ее pie-chart’ы, которые тоже очень красивые

В AWS Sagemaker запустили Studio Lab. Получился такой аналог Google Colab, где наружу торчит jupyter notebook, установлены все пакеты, есть GPU и импорт из GIthub’а. История в том, что это бесплатно, но разумеется с ограничениями:
- 16Gb RAM
- 15Gb диска
- 12 часов на сессию с CPU-рантаймом и 4 часа на GPU-рантайм
- нужно регистрироваться, но карта не нужна

Кажется, подойдет всяким студентам делать микролабы и проходить тренинги, а разным ребятам с улицы делать import pytorch. Жаль, что не могу найти, какое GPU-железо под капотом (ибо за 4 часа на разных железках — разные истории).

Еще классная фича — сохраняется стейт между сессиями. Т.e. там внутри — полноценные проекты со своими стейтами и артефактами от тренировки. В Colab это было не слишком удобно (когда последний раз его исопльзовал).

Рассказ про то, как один Дэвид сделал требушет, который запускает снаряды быстрее скорости звука 👀

Это гениально. “Перешли нам свои деньги, чтобы их не украли мошенники”.

Эту технологию Meta тестирует с 2017 года в Австралии. Тогда нужно было отправлять снимки себе в чате Messenger, но их должны были просматривать другие люди — чтобы вручную создать хеш. Руководитель службы безопасности Facebook Антигона Дэвис заявляла, что фотографии видела «только очень маленькая группа из около пяти специально обученных аналитиков».

Title: Senior nudes analyst

Подсмотрел в одном чате невероятную историю.
Когда Германия была поделена на ГДР и ФРГ, ГДР в целом была отдельным союзным государством относительно СССР и крутилась как могла. Одним из товаров на экспорт из ГДР была донорская кровь, которая бесплатно (донорам не платили) собиралась с жителей под лозунгом “помоги нуждающемуся и своему товарищу” и перепродавалась в ФРГ. На полученные деньги ГДР закупала у Москвы оружие, которое потом с наценкой перепродавала всяким другим союзникам. Вот это схема, конечно.
Оригинальная статья под paywall’ом, но я приложил PDF.

Плохие новости: us-east-1 пролежал с самого начала рабочего дня в Штатах и вот только восстанавливается. Много чего парализовано
Хорошие новости: за время проблем с регионом число участников канала с мемами в корпоративном мессенджере увеличилось с 18.5к до 23к человек

А вот похоже и Rust затащили окончательно в Linux-kernel. Тред с перепиской. Поздравляю всех причастных (даже косвенно). Большой шаг в адаптации казалось бы такого молодого языка.

Google выпустила новую языковую модельку, которую назвали Gopher. Особенно интересно то, что это вроде бы первая статья, где они прям буковками называют этические риски, классифицируют их и говорят, что одна из основных проблем, которые у них есть — отсутствие необходимых бенчмарков.

Интересный референс из поста — другой пейпер Deepmind’a про исследование проблем токсичности в языковых моделях и воспроизводства языковых стереотипов.

Также по ссылкам внутри обнаружен 60-страничный пейпер про этику в языковых моделях.