Смотрю внимательнее: удалили целые секции.

Ещё и косячнули с редактированием

Кстати, автор "So Good They Can't Ignore You", Cal Newport, сильно выделяется среди авторов селф-хелпа: он профессор Computer Science и имеет внушающий уважение хирш. Занимается какими-то там распределенными алгоритмами. Поэтому я списываю методологические огрехи книги на то, что автор хотел сделать её максимально короткой, цепляющей и доступной широкой аудитории. Законы жанра

Нетворкаюсь с ИИ специалистами покупая и продавая маки с MPS, уже встретил более десяти человек из топовых лаб и стартапов

#щитпостинг

Привет новым подписчикам!

Здесь можно найти пост про меня и что в канале интересного:
https://xn--r1a.website/boris_again/1652

Недавно я написал англоязычный лонгрид про то, как работают опционы в стартапах.

Иногда пишу эссе про жизнь и некую философию домашнего разлива.

Самый популярный материал это определённо методичка по поиску работы в ML/IT.

Если вы пришли сюда за ML, то вот недавний обзор важной статьи про world models.

Сегодня хочу порекомендовать вам канал Тагир Анализирует.

Тагир занимается аналитикой в Яндекс.Плюс, ОЧЕНЬ быстро растет по карьерной лестнице, участвует в менторской программе ВШЭ и чего только не делает. Главное, что очень доступно и открыто рассказывает про профессию аналитика.

Посты, которые я бы хотел выделить:
* Пост про карьерный путь. Тагир два раза публиковался в журнале Код. Сначала со своей историей, а через год с продолжением. Так что его рост и подход можно проследить в динамике. Должно быть особенно интересно начинающим свой путь.
* Огромная серия постов с советами для новичков.
* Посты про зарплаты в анилитке, например недавний.

Так же рекомендую папку авторских каналов про аналитику, куда в том числе включили меня и Тагира:
https://xn--r1a.website/addlist/dMeiok8FCdA3ZTMy

Мой канал попал в папку про аналитику, так что время показать что-нибудь по теме.

Предлагаю мой пост на Хабре: Нормально разбираемся в Нормальном распределении. Вместо описания приведу цитату:

Но что это такое? Почему там экспонента? Почему минус? Зачем делить на 2 сигма-квадрат? Откуда взялось число Пи? Куда делись монеты, шары, урны и кролики? Почему мы от интуитивных объяснений перешли к тупому запоминанию?

Каждая формула несет некоторую идею. В этом посте мы будем препарировать нормальное распределение пока не поймем, что оно в себе несет. В конце мы выведем функцию плотности вероятности и узнаем откуда она берется.

Я покажу, что, несмотря на пугающий вид, Нормальное распределение это не конь в вакууме. Это все еще про броски монеток, урны и другие вещи из реального мира.

Так же есть английская версия.

Яндекс выложил в опенсорс библиотеку YaFSDP – собственное решение для ускорения обучения больших языковых моделей. YaFSDP — это версия подхода FSDP (Fully Sharded Data Parallel) — параллелизм с полным разбиением данных.

При распределённом обучении больших моделей коммуникация между GPU — это узкое горлышко. Сколько не ускоряй этап вычислений, быстрее учиться модель не будет, так как коммуникации ограничивают передачу данных между память. При этом часто эти коммуникации неэффективны.

YaFSDP позволяет сократить время обучения LLM до 25%. Результат зависит от архитектуры и числа параметров нейросети, но авторы заявляют, что можно получить экономию ресурсов GPU до 20%. Библиотека лучше всего работает именно с большими моделями, так как чем больше модель, тем больше оверхед на коммуникацию.

YaFSDP особенно пригодится тем, кто использует GPU в облаке, не может поднять $1 триллион финансирования и хочет сократить расходы. Или для тех регионов, где предложение GPU ограничено.

YaFSDP оптимизирует ресурсы графических процессоров на всех этапах обучения: pre-training, supervised fine-tuning, alignment.

Исходный код библиотеки уже доступен на Github.

Первый стрим в моем канале: поговорим про образование.

17 июня в 12:00 по Москве мы с Cергеем Сластниковым обсудим в аудиочате канала новую магистерскую программу ВШЭ «Прикладные модели искусственного интеллекта», реализующуюся совместно с VK.

UPD: спикер заболел, стрим переносится, выложу новое время как станет понятно

Я учился на ФКН ВШЭ на программе "Науки о Данных." Одно из направлений программы включало в себя тесное сотрудничество с крупной технологической компанией и я наблюдал, что это работало отлично.

В целом я очень болею за DS/ML/AI образование в России, особенно в ВШЭ, так как сам преподавал. Поэтому я очень рад, что мне предложили обсудить новую программу.

Программа разработана совместно с VK и направлена на подготовку специалистов в индустриальном машинном обучении. В расписании можно найти курсы по Machine Learning, Deep Learning, C++, Computer Vision, Natural Language Processing, генеративным моделям, а так же обработку больших данных на Hadoop. По моему мнению это хорошая смесь основ и приложений, а так же радует видеть курсы по Data Engineering.

С 2022 по 2023 год в России количество вакансий в ML выросло на 21%. Так что перспективы на рынке сейчас хорошие.

На стриме мы обсудим программу, а так же почему она реализуется совместно с VK, какие это дает преимущества и накладывает ли какие-то ограничения на выпускников.

17 июня, 12:00 по Москве, в аудиочате моего канала. Присоединяйтесь.

В процессе стрима можно будет задавать вопросы гостю через комментарии под специальным постом.

UPD: спикер заболел, стрим переносится, выложу новое время как станет понятно

Слушают ли глухие люди рок? Я не знал, но концерт для них переводят! Выглядит странным образом завораживающе, как танец. Смотрел на сурдопереводчицу больше, чем на солистку

В лонгриде про опционы я писал о множестве рисков, с которыми сталкиваются сотрудники стартапов. И это не про то, что стартап не взлетит, а про возможности все потерять если он взлетел.

В этой статье фаундер раскрывает еще один неочевидный момент: на практике фаундеры, в отличие от сотрудников, не идут all-in и не ждут экзита, чтобы заработать деньги. На самом деле они продают часть equity на каждом раунде инвестирования. Чаще всего это небольшие деньги, в пределах $1M, но в редких случаях это могут быть миллиарды. И это не плохо, ведь фаундерам тоже надо как-то жить. Нехорошо только то, что сотрудники не получают такой опции и даже не узнают о том, что фаундеры так делают.

Так же автор описывает, как в своем стартапе они используют гораздо более удобный для сотрудников ESOP (employee stock options plan), закрывающий большинство рисков, о которых я писал в лонгриде.

Меня закэнселили забанили на стендап шоу.

Две недели занимаюсь стендапом, а уже драма!

Вчера выступил в четвертый раз. Прошло неплохо. После шоу я уже вызвал такси, подхожу попрощаться с ведущим и парой комиков. Одна из комиков посмотрела на меня и говорит ведущему: "Ой, а ему не заплатили." Я такой: "You guys getting paid?"

Ведущий говорит: "Everyone gets paid, but YOU are not." Интонация была какая-то странная, будто высокомерная, и я заглотил наживку, спросил почему. Он объяснил, что они не платят новым комикам, тем кто выступает меньше трех месяцев, потому что потом они пропадают и больше не приходят, "don't wanna be part of this scene." Я не понял логической связи. Обозначил, что мне все равно на эти деньги, но сказал, что это какая-то странная схема: комики ведь делают твое шоу, посетители приносят деньги, и причём тут вообще пропадают эти комики позже или нет? Он выдал мне тираду о том, что он в комедии шесть лет, и почему они должны платить опытным комикам так же, как мне? Стало уже совсем неловко, я сказал, что "I can see the reasoning, not cool, but I am going", а он не пожал мне руку и говорит "Get out, you are not getting on this show." Я развернулся и пошел в свое такси, благо моя самооценка не держится на том, что я N лет в комедии (пока что).

Весь разговор длился минуты полторы, поэтому я вообще не уловил, что это было. Нормально же общались, как говорится. Позже, подумав, понял, что его задело: он решил, что я учу его как делать шоу. Хотя я ведь просто пытался понять, как это работает и почему, а потом сказал, что думаю.

Возможно тут есть нечто культурное: в русском эгалитарном обществе высказывать свое мнение это священное право, а при обсуждении того, что справедливо, а что нет, вообще нельзя пройти мимо.

Очень хотелось объяснить человеку на языке тела, что общаться с людьми через "Get out" неуважительно. Но подостыл и написал ему в вотсап, что не хотел обидеть (что правда) и "no hard feelings." Больше всего беспокоило, что он пойдет рассказывать плохие вещи в тесной тусовочке, и мне отрубят доступ к другим площадкам, после чего карьера великого рейнджера комика закончится не начавшись. Поэтому хотелось по крайней мере не дать конфликту разгораться. Он выдал мне в ответ тираду, что мол, сначала поживи в комедии с моё, а потом делись своим мнением. Чтож, окей.

Вот он какой, суровый шоу-бизнес, в котором все работает совсем не так, как я привык.

Вынес из этого важный урок коммуникации: не лезь куда не надо и считывай комнату.

По части комедии нашел для себя пару хаков.

Как я уже говорил, тяжело практиковаться, когда у тебя в неделе есть пять минут на сцене. Я заметил, что основная проблема это уверенность. Если ты не уверен, то даже лучшие шутки будут в тишину. Уверенность делится на две главные компоненты: общая и способность не сбиваться когда шутка не заходит или что-то ещё идет неожиданным образом.

Нашел такой способ: отрабатывая дома материал включаем шум какого-нибудь балагана на большую громкость или один час смеха. Задача: говорить как ни в чем ни бывало. В случае со смехом можно ещё отработать паузы, когда даешь людям проржаться. Как ни странно, оказалось, что смех сбивает гораздо сильнее, чем балаган, особенно когда он невпопад.

Другое упражнение, которое я себе придумал: выйти на сцену и молчать, стараясь как можно меньше шевелиться. Искупаться в этой неловкости до тех пор, пока она не перестанет беспокоить. Даже если я делаю это упражнение дома, завожу таймер на 20 секунд и представлю, что вокруг зал, пульс подскакивает до сотни. Будь моя воля, я бы вышел на открытом микрофоне и молчал бы минуту, но меня за такое выгонят. Так что попробовал на выступлении десять секунд, хватило где-то на семь, буду постепенно увеличивать.

Идея возникла потому, что тут есть один комик, который просто стоит неподвижно и монотонным голосом зачитывает однострочные шутки. И это офигенно смешно.

В итоге на последнем выступлении чувствовал себя увереннее и даже чуть-чуть мог импровизировать.

https://twitter.com/ssi/status/1803472825476587910

Суцкевер делает свою AI лабу.

Нижний Новгород 👆👆👆💪💪💪