Я люблю все, что связано с CLIP моделями, потому что это универсальный швейцарский нож для случая "мне нужны хорошие эмбеддинги изображений или текста и как можно быстрее". Что закрывает львиную долю практических кейсов применения DL в проде. И подавляющую долю кейсов работы с датасетами.

Найти дубликаты? CLIP. Сделать классификатор без данных? CLIP. Отсеять мусор? CLIP. Написать семантический поиск? CLIP. Кластеризовать? CLIP. И так далее. В целом возможности ограничены фантазией: кто-то даже SLAM навигацию на CLIP сделал (но зачем?).

Вышел jina-clip, судя по метрикам во всем лучше OpenCLIP. Плюс модель особо заточена на качественный ретривал.

Меня удивляет постоянство профессиональных комиков. Комик, который держит бар, где я выступал, ведет по пять шоу в неделю. Каждый раз он разогревает зал, импровизирует на ходу и делает всё это смешно. Я ещё ни разу не видел, чтобы ему не удалось рассмешить людей. То есть независимо от того, что у тебя происходит в жизни, расстался ли ты с девушкой или ушел в запой, тебе надо каждый день смешить людей.

Я подумал, что в IT на уровне начиная с senior похожая история. Независимо от того, что у меня происходит в жизни, каждый день я прихожу на работу и ничего не делаю.

Кто такая эта ваша миссия? Пример из реальной жизни.

Мой босс в Planet Farms более двадцати лет строит вертикальные фермы. Он может построить фабрику, рулить IT компанией, писать алгоритм оптимизации логистики на плюсах, поднимать деньги, продавать, и так далее, и всё это в один день. У него есть бизнес-видение на десять лет вперед, и есть мнение о том, что Flask лучше Django. У него счастливый брак и двое детей. Я ни разу не видел его раздраженным. Я спросил его: "Как ты не устаешь?" Он ответил: "Я люблю то, что я делаю". Я спросил его: "Почему ты не уедешь в Долину за бесконечными деньгами?" Он сказал: "Зачем мне это, чтобы купить машину подороже или дом побольше?" При этом он не занимает позицию “не буду вкалывать, а буду чиллить.” Пашет нон-стоп и играет на победу работая в стартапе с людьми, которым доверяет, и веря, что у компании хорошие шансы.

У человека миссия и это очень круто. Мне повезло знать нескольких сверстников, которые тоже нашли свою миссию и целенаправленно вкладывают усилия в карьерный капитал в своей области. В отличие от меня.

На этом фоне мне кажется, будто я что-то делаю не так. Попробую перечислить всё значимое, чем я занимался, и что из этого вышло:
- Разработка ПО и дженерик IT. Нормально выстрелило, быстро дошел до тимлида, карьерный капитал накапливается. На этом этапе, при достаточных усилиях, можно уйти в независимый консалтинг, внедрять хорошие практики разработки и всё такое.
- Аналитика продукта. Ненадолго перешел на эту позицию, научился крутить воронки и считать ретеншены, дальше не пошло. Опыт помогает в IT карьере.
- Машинное обучение. Нормально выстрелило, хорошо сочетается с разработкой.
- Наука. Очень интересно, но пока скорее не выстрелило. Пара слабых статей в магистратуре, одна шальная статья по прогнозированию COVID, несколько попыток сделать ML резерч в Yandex/Toloka. Пока на паузе.
- Преподавание. Вел семинары на трех курсах в ВШЭ, далее ОТУС. Нормально, хотя и не прям вау: помогает учиться, дает карьерный капитал, приносит немножко денег. Однажды мне оплатили перелет и отель, чтобы я прочитал лекцию в Иннополисе! На этом этапе можно делать свои курсы. При достаточных усилиях конечно же.
- Консалтинг. Что-то эпизодически получается. Два банка, одна госуха и одна небольшая компания заплатили мне за мои умные советы.
- Карьерные консультации. Хорошо получилось, приносит небольшие, но приятные деньги, сильно лучше преподавания. При желании можно делать карьерную школу или чем там занимаются коучи, которые превращают такое в бизнес. Желания пока нет.
- Организация мероприятий. Организовал и провел один хакатон, ещё пару мероприятий. Получалось средне, ничего не принесло.
- Пет-проекты. Несколько попыток, всё закопано, ничего не взлетело.
- Блоги и письмо. Телеграм канал скорее выстрелил, приносит немного денег, репутацию и просто доставляет удовольствие. Остальное пока не выстрелило.

Да, я тот ещё распылятор. Ввязывался в абсолютно любой движ начиная лет с восемнадцати. Отчасти из интереса, отчасти осознанно для накопления капитала, чтобы одни занятия помогали другим, но в основном из страха что-то упустить и из желания что-то доказать.

Смотрю на этот список и думаю: всё это очень интересно, но кто я (по жизни)? Многое нормально получается и за что-то даже готовы платить деньги. Всё без каких-то вау-достижений. Некоторые вещи можно перевести на другой уровень, сделать настоящий бизнес или карьеру. Надо лишь отказаться от остального и приложить на порядок больше усилий в конкретную точку.

Вот в этом и проблема. Ничто не тянет на “миссию.” Я не представляю куда всё это движется. Столько всего пробую, но зачем? Что-то там поделал, что-то тут поделал, чуть-чуть заработал, похвастался в телеграм канале. И долго так будет? Может быть я просто слишком быстро сдаюсь, боюсь коммититься? Может быть надо 100% пивотнуться, например в блоггинг, и стать фултайм клоуном 🤡 вместо парт-тайм? Надо обрезать лишнее и сфокусировано фигачить, благо перспективных направлений много. За сорок лет точно получится.

Но, почему-то, нет. Очень страшно упустить, пожалеть, вложить много усилий и понять, что копал не туда. Что обрезать, что оставить? Давно хожу кругами вокруг этого вопроса. На эту тему книга принесла мне новые мысли.

Часть 2/3, начало тут

Упрощенный тезис автора книги про то, как строить карьеру и найти миссию:
1. Не надейся на миф, что надо лишь найти своё “предназначение” и “страсть” и всё станет хорошо (follow your passion).
2. Как можно лучше делай то, что получается. Усердно и целенаправленно практикуйся.
3. Накапливай карьерный капитал и используй его для получения автономии и лучших возможностей. Предпочитай автономию и контроль за своей жизнью деньгам.
4. Делай маленькие проекты, так называемые небольшие ставки, и смотри, что нравится и выстреливает.
5. Что-то выстрелит и укажет тебе на миссию: некоторое общее направление деятельности, которое приносит удовлетворение и смысл. Примеры из книги: объединять технологии и искусство, искоренять болезни определенного типа, просвещать общество по археологии.

Важен порядок: ты не можешь на пустом месте придумать себе миссию на всю жизнь и больше никогда ни в чем не сомневаться. Только находясь на самом острие какой-то сферы ты увидишь как сделать нечто исключительное. Сначала надо потрудиться, а потом уже думать о миссиях. Автор приводит несколько примеров людей, которые не имели изначальной миссии, но усердно работали и переходили от одной перспективной деятельности к другой, каждый раз используя накопленный ранее карьерный капитал. В конце концов они практически случайно сталкивались с нужным направлением и после этого вкладывались целиком. Обычно это был небольшой проект, который неожиданно выстрелил и понеслось.

Это меня успокаивает. Во-первых, большинство примеров из книги докатились до своей миссии сильно после тридцати, так что у меня ещё есть большой запас. Во-вторых, подход с маленькими ставками очень похож на то, что я делаю. Накапливаю карьерный капитал, систематически пробую новое и смотрю на отклик.

Очень хочется выбить гарантии. Как бы так пробовать, но чтобы точно получилось? Не хотелось бы сорок лет пробовать, а в итоге: “ну я пытался.” Сознание обожает заключать мысленные контракты с реальностью: “давай я буду десять лет ботать машинное обучение, а ты сделай меня великим ученым, по рукам?” Это же сознание потом обижается, что другая сторона не исполнила обязательство. Я ведь всё сделал, ну как так?

Это замаскированное желание найти легкий путь. Если бы я каким-то образом однозначно узнал, что, скажем, штамповать статьи про LLM это моё призвание в жизни, то легко вложил бы в это сорок лет упорного труда. Это был бы самый легкий путь, потому что не пришлось бы выбирать и жить с последствиями.

Но гарантий нет, контроля нет и за сорок лет может ничего не получиться. Можно только пытаться и разыграть свои карты наилучшим образом.

Кроме того, говоря в терминах книги, я далеко от острия какой-либо сферы. Если я не вижу миссии это не значит, что со мной что-то нетак. Просто с такой позиции миссий не видно. Хотелось бы заранее знать точку назначения и тогда я бы конечно о-го-го как быстро туда пошел. Но хотеть недостаточно и в целом бесполезно. Если точка находится где-то за холмом, я не увижу её как бы мне этого ни хотелось. Её надо сначала найти, а для этого надо пробовать. Мы видим только до своего тумана войны и для его преодоления нужна иная точка зрения. Нужно сменить фрейм, а для этого придется погружаться глубже в экспертизу и пробовать новое.

В конечном итоге вопрос не решен: что глобально делать со своей жизнью? Но теперь я понимаю, что это неправильный вопрос. Нельзя намедитировать себе окончательное понимание просто потому, что я этого хочется и у других людей оно есть. Мой процесс деятельности и поиска далеко не самый худший. Остается отпустить контроль. Погружаться, стараться, пробовать и не ждать никаких железных гарантий.

Часть 3/3, начало тут

Закидывал лонгрид по опционам на Hackernoon как linkpost, так что должно было быть указано, что источник на моем сабстеке.

Получил 482 прочтений и оно trending на 16 месте.

Однако внутри нет ни одной ссылки на мой сабстек (зато ссылка на сабстек Васи есть, так что он получит больше паблисити). Так же текст был отредактирован без моего согласия. Даже заголовок изменили.

Размышляю между тем, чтобы добавить везде где можно ссылки на свой сабстек и хоть что-то с этого получить, или вообще снести статью.

Смотрю внимательнее: удалили целые секции.

Ещё и косячнули с редактированием

Кстати, автор "So Good They Can't Ignore You", Cal Newport, сильно выделяется среди авторов селф-хелпа: он профессор Computer Science и имеет внушающий уважение хирш. Занимается какими-то там распределенными алгоритмами. Поэтому я списываю методологические огрехи книги на то, что автор хотел сделать её максимально короткой, цепляющей и доступной широкой аудитории. Законы жанра

Нетворкаюсь с ИИ специалистами покупая и продавая маки с MPS, уже встретил более десяти человек из топовых лаб и стартапов

#щитпостинг

Привет новым подписчикам!

Здесь можно найти пост про меня и что в канале интересного:
https://xn--r1a.website/boris_again/1652

Недавно я написал англоязычный лонгрид про то, как работают опционы в стартапах.

Иногда пишу эссе про жизнь и некую философию домашнего разлива.

Самый популярный материал это определённо методичка по поиску работы в ML/IT.

Если вы пришли сюда за ML, то вот недавний обзор важной статьи про world models.

Сегодня хочу порекомендовать вам канал Тагир Анализирует.

Тагир занимается аналитикой в Яндекс.Плюс, ОЧЕНЬ быстро растет по карьерной лестнице, участвует в менторской программе ВШЭ и чего только не делает. Главное, что очень доступно и открыто рассказывает про профессию аналитика.

Посты, которые я бы хотел выделить:
* Пост про карьерный путь. Тагир два раза публиковался в журнале Код. Сначала со своей историей, а через год с продолжением. Так что его рост и подход можно проследить в динамике. Должно быть особенно интересно начинающим свой путь.
* Огромная серия постов с советами для новичков.
* Посты про зарплаты в анилитке, например недавний.

Так же рекомендую папку авторских каналов про аналитику, куда в том числе включили меня и Тагира:
https://xn--r1a.website/addlist/dMeiok8FCdA3ZTMy

Мой канал попал в папку про аналитику, так что время показать что-нибудь по теме.

Предлагаю мой пост на Хабре: Нормально разбираемся в Нормальном распределении. Вместо описания приведу цитату:

Но что это такое? Почему там экспонента? Почему минус? Зачем делить на 2 сигма-квадрат? Откуда взялось число Пи? Куда делись монеты, шары, урны и кролики? Почему мы от интуитивных объяснений перешли к тупому запоминанию?

Каждая формула несет некоторую идею. В этом посте мы будем препарировать нормальное распределение пока не поймем, что оно в себе несет. В конце мы выведем функцию плотности вероятности и узнаем откуда она берется.

Я покажу, что, несмотря на пугающий вид, Нормальное распределение это не конь в вакууме. Это все еще про броски монеток, урны и другие вещи из реального мира.

Так же есть английская версия.

Яндекс выложил в опенсорс библиотеку YaFSDP – собственное решение для ускорения обучения больших языковых моделей. YaFSDP — это версия подхода FSDP (Fully Sharded Data Parallel) — параллелизм с полным разбиением данных.

При распределённом обучении больших моделей коммуникация между GPU — это узкое горлышко. Сколько не ускоряй этап вычислений, быстрее учиться модель не будет, так как коммуникации ограничивают передачу данных между память. При этом часто эти коммуникации неэффективны.

YaFSDP позволяет сократить время обучения LLM до 25%. Результат зависит от архитектуры и числа параметров нейросети, но авторы заявляют, что можно получить экономию ресурсов GPU до 20%. Библиотека лучше всего работает именно с большими моделями, так как чем больше модель, тем больше оверхед на коммуникацию.

YaFSDP особенно пригодится тем, кто использует GPU в облаке, не может поднять $1 триллион финансирования и хочет сократить расходы. Или для тех регионов, где предложение GPU ограничено.

YaFSDP оптимизирует ресурсы графических процессоров на всех этапах обучения: pre-training, supervised fine-tuning, alignment.

Исходный код библиотеки уже доступен на Github.

Первый стрим в моем канале: поговорим про образование.

17 июня в 12:00 по Москве мы с Cергеем Сластниковым обсудим в аудиочате канала новую магистерскую программу ВШЭ «Прикладные модели искусственного интеллекта», реализующуюся совместно с VK.

UPD: спикер заболел, стрим переносится, выложу новое время как станет понятно

Я учился на ФКН ВШЭ на программе "Науки о Данных." Одно из направлений программы включало в себя тесное сотрудничество с крупной технологической компанией и я наблюдал, что это работало отлично.

В целом я очень болею за DS/ML/AI образование в России, особенно в ВШЭ, так как сам преподавал. Поэтому я очень рад, что мне предложили обсудить новую программу.

Программа разработана совместно с VK и направлена на подготовку специалистов в индустриальном машинном обучении. В расписании можно найти курсы по Machine Learning, Deep Learning, C++, Computer Vision, Natural Language Processing, генеративным моделям, а так же обработку больших данных на Hadoop. По моему мнению это хорошая смесь основ и приложений, а так же радует видеть курсы по Data Engineering.

С 2022 по 2023 год в России количество вакансий в ML выросло на 21%. Так что перспективы на рынке сейчас хорошие.

На стриме мы обсудим программу, а так же почему она реализуется совместно с VK, какие это дает преимущества и накладывает ли какие-то ограничения на выпускников.

17 июня, 12:00 по Москве, в аудиочате моего канала. Присоединяйтесь.

В процессе стрима можно будет задавать вопросы гостю через комментарии под специальным постом.