Борис опять
15.1K subscribers
1.44K photos
72 videos
30 files
1.48K links
life = curiosity + irreducible noise

Whois: https://xn--r1a.website/boris_again/3400

Лс: @btseytlin
Download Telegram
Совет тем, кто изучает английский в Москве: попробуйте Moscow Language Exchange.

Лучший способ практиковать язык это говорить на нем. Эти ребята бронируют места в барах, выбивают из баров скидки на пиво, выделяют столы под желающих практиковать тот или иной язык. Русские как правило приходят туда за английским, а экспаты за русским.

На втором курсе я однажды выбрался к этим ребятам и вдруг оказался окружен людьми со всего мира. Получается этакое путешествие не выходя за пределы Москвы. Все как бы приходят туда практиковать языки, но на самом деле потусить. Там была очень расслабляющая атмосфера: просто подходишь к любому человеку, он тебе улыбается, болтаете. Так я пообщался с профессором проджект менеджмента из Германии, с американцем который воевал в Ираке и Афганистане (он сказал, что AK-74 круче M4A1 🇷🇺🇷🇺🇷🇺, хоть и не знает, пробивает ли калаш рельсу вдоль), с прикольным дедом из нефтянки и еще с множеством интересных людей. Сообщество изначально организовалось как ивент на сайте Couchsurfing, поэтому там много путешественников и довольно прикольных людей. Тусил с ними порядка года. Один раз играл в покер в подвале с какими-то итальянцами, которые изображали из себя мафиози. Встречался с 27-летней американкой, но не долго. Встретил там парня, который проехал всю Россию автостопом. Потом мы вместе съездили автостопом в Питер. Так я узнал, что больше не буду путешествовать автостопом с кем-то и в следующие разы катался один: Москва - Пятигорск, Москва - Варшава и позднее в Европе Энсхеде - Брюссель. В итоге накатал за 10 тысяч км и за это можно поблагодарить именно эту встречу, LEM.

Прикольно видеть, что спустя аж восемь лет (да как так-то?) эти ребята все еще собираются. Наверняка там все поменялось, но все равно советую.

https://www.facebook.com/MoscowLEM/
15🤔2👍1
Для всех, кто спрашивает: нет, ПИК не платит мне за рекламу (жаль!). Это Телеграм автоматически добавляет рекламу, когда в канале набирается 1к подписчиков 🙁
Премиум спасает от этого
😢8😁1🤔1
Дата начала работы в Яндексе была 17 августа. Дата увольнения была 24 августа. Я услышал, что опционы вестятся через год, и думал, что отработав год получу хорошую сумму. Оказалось, что дата вестинга была 31 августа и это было в каждом письме на тему. Я продолбался на несколько сотен тысяч рублей. Мне не понравилось. По возможности избегайте
😢48👎5🐳5
Эх, когда уходил из Mindsdb смог выбить себе бонус в $5k, который мне никто не был должен. А теперь смог сделать наоборот
😢4
Не буду комментировать ситуацию и на время приостановлю посты. Делайте то, что считаете правильным
39😢9🐳8😁1
#лабораторный_журнал

Первая неделя заканчивается и я очень доволен. Команда очень сильная: главный devops c 30 годами опыта (не шутка, начинал с ассемблера на компьютерах, которые подключались к телевизору в качестве экрана), дизайнер в прошлом основал и продал компанию, менеджер делал несколько компаний в агротехе и хорошо понимает в технологиях, знает какие сенсоры и камеры лучше применять для оценки орошения растений и прочие нюансы.

Joao реально крут. Он дал джуну ml инженеру задачку сделать такую CNN, у которой receptive field покрывает ровно одно растение на фото, чтобы нейросетка делала параллельные предсказания для каждого растения, сохраняя много вычислений из-за накладывающихся сверток. Я даже не подумал бы о таком решении. Однако я стал выяснять: а зачем? У нас есть какие-то ограничения на время инференса? Нам нужна такая оптимизация даже в ущерб возможности использовать претрейнутые веса? Мы не можем просто нарезать картинки на отдельные растения и обрабатывать их батчом? Joao послушал меня и дал джуну задачку просто нарезать картинки и обучать претрейнутую модель.

Джун очень старается, глубоко закапывается. Опыта с ML у него почти нет. Например, он взял accuracy в качестве метрики для задачи с несбалансированными классами. Но старается очень сильно, например реализует Resnet блоки с нуля, чтобы разобраться.

Данных для ML нет. Сейчас есть сырые изображения, но они свалены в кучу. Все метаданные, из которых можно сделать лейблы, записаны в имена файлов. Среди изображений есть поломанные, из тех времен когда камеры настраивали, и невозможно понять, какие поломаны, а какие нет. Процесса разметки так же нет. Первым делом буду проектировать базу данных, чтобы хранить изображения, и внедрять процесс разметки в работу агрономов. Сделаем так, чтобы разметка не была для них дополнительной работой, а помогала им в их собственной коммуникации. Нашел проблему - отметил - показал коллегам. У них уже есть такой процесс, но сейчас он состоит из записей на листочках, док файлов, эксель таблиц и устной коммуникации.

Когда приходишь на новую работу надо как-то сразу принести пользу. Я люблю такой лайфхак: проходишь онбординг и документируешь его. Всегда нужно пойти к кому-то и получить какие-то доступы и нигде не записано к кому идти и что получать. Записываю все такие моменты. В конце формирую из этого новый процесс онбординга и показываю всем: следующему человеку будет проще. Я видел и более продвинутый вариант: когда в MindsDB наняли технического менеджера привести архитектурное безумие в порядок он первым делом нарисовал схему всего, что уже построено и как оно взаимодействует.
👍39🔥135
Борис опять
#лабораторный_журнал Первая неделя заканчивается и я очень доволен. Команда очень сильная: главный devops c 30 годами опыта (не шутка, начинал с ассемблера на компьютерах, которые подключались к телевизору в качестве экрана), дизайнер в прошлом основал и…
Работа помогает не сойти с ума, поэтому решил все же постить. Но контента будет поменьше. Ничего не говорю коллегам о войне, мобилизации и моем волнении на тему. Для них это просто новости по телевизору.
26👍4
Forwarded from DLStories
На ICLR-2022 была, оказывается, такая интересная работа: авторы показали, что принцип работы Transformer’ов (с небольшим дополнением) схож с принципом работы гиппокампа и энторинальной коры головного мозга человека.
(Автор работы, елси что, Ph.D. по computational/ theoretical neuroscience. Понимает, о чем говорит)

Подробнее:
Гиппокамп и энториальная кора мозга вместе отвечают за память, восприятие времени и пространства. Энториальная кора является “шлюзом” для гиппокампа: она обрабатывает поступающую в гиппокамп и исходящую из него информацию. Гиппокамп же обрабатывает и структурирует все виды памяти: краткосрочную, долгосрочную, пространственную.
То есть, связка “гиппокамп + энторинальная кора” (EC-hippocampus) играют важную роль при решении человеком задач, связанных с пространственным восприятием.

Как показали, почему Transformer “похож” на EC-hippocampus: авторы статьи взяли Transformer и обучили его на простую задачу, в которой нужно выдавать ответ, имея в виду текущее пространственно положение. Архитектура Transformer была стандартная с парой небольших отличий в формуле для attention и position encodings. Вычисление position encodings было изменено так, что стало обучаемым.

После обучения модели ученые посмотрели на “пространственную карту весов position encodings”. Карта составляется просто: для каждого пространственного положения из задачи, которую учил Tranformer, вычисляется средняя активация position encodings. Так вот, оказалось, что эта карта структурно схожа с той, что получается из активаций нейронов в EC-hippocampus

Но это еще не все: только такая “похожесть” карт активаций нейронов в мозге и модели недостаточно убедительна. Авторы статьи так же показали следующее: архитектура Transformer эквивалентна математической модели EC-hippocampus, которую нейробиологи построили не так давно и активно используют. Эта матмодель называется TEM (Tolman-Eichenbaum Machine), и она хорошо описывает основные процессы, происходящие в EC-hippocampus. TEM — обучаемся модель, которая при обучении должна имитировать процессы, происходящие в EC-hippocampus.

Так вот, упомянутый выше модифицированный Transformer, оказывается, имеет аналогичное с TEM устройство. Аторы назвали такой трансформер TEM-t. В статье авторы показывают аналогии между отдельными компонентами Transformer и TEM. В частности, “модель памяти” TEM оказывается эквивалентной self-attention из Tranformer.
Более того, авторы заявляют, что TEM-t может служить более эффективной моделью EC-hippocampus, чем существующий TEM: он гораздо быстрее обучается, имеет больший потенциал по памяти (может “запоминать” и “вытаскивать” больше бит памяти). Также плюсом является то, что пространственная карта весов position encodings трансформера похожа на такую карту из мозга (о чем писала выше).

Подробнее об устройстве TEM, TEM-t, экспериментах и о том, какое значение это имеет для нейробиологии — в статье. А еще там есть описание того, как архитектура Transformer может быть реализована на биологических нейронах. Блин, а вдруг какие-то части нашего мозга — это реально transformer’ы?)

Еще ссылка: статья в Quantamagazine об этой работе

P.S. Надеюсь, я нигде сильно не наврала. Все же в вопросах устройства мозга и подобном я дилетант. Feel free поправлять меня в комментариях
#ai_inside
🤔6🔥2👍1
Португальская кухня кажется на 70% состоит из картохи. Они все едят с чипсами. Остальные 20% это рыба. Еще 10% вкусная выпечка.
😁4
#лабораторный_журнал

Мне разрешили говорить вам все в рамках разумного на свое усмотрение, поэтому продолжаем.

Ситуация такая: я работаю в Periplo Innovation, которая на 100% принадлежит холдингу Planet Farms. Казалось бы просто Португальское юрлицо, но нет: юрлица в UK, Швейцарии и Италии называются Planet Farms. Разница вот в чем: все Planet Farms занимаются производством овощей. Мы же занимаемся разработкой технологий, которые позволят построить сто таких производителей овощей. Довольно круто.

Начальник сказал, что ML проект теперь целиком моя проблема и он очень этому рад. Так что я теперь де-факто продакт оунер (русск. решала) всея ML.

Успел поговорить 1х1 со всеми членами команды. Нельзя не заметить разницу между тем, как ведут диалог прожжённые ребята и как это делают джуны. Первые говорят про то, что мне нужно знать по их части. Вторые рассказывают, чем они сейчас занимаются, какую фичу им не дали сделать, что им сказали в другой команде и все такое прочее. Джунов постоянно приходится направлять, они как-будто не думают о том, зачем они мне что-то говорят.
🔥36👍6😁5👏3👎1
Forwarded from DevFM
История поиска работы "Борис опять"

Недавно вышла интересная серия постов о поиске работы machine learning-инженером. Пожалуй, самое ценное в ней — личный опыт и нешаблонные советы автора. История ещё не закончена, автор продолжает рассказывать о своём опыте переезда и искренне делится эмоциями.

Наши мысли по мотивам этой серии статей:
1. Всегда стоит критически подходить к таким постам. Это как книги об историях успеха — что сработало для одних, не сработает для других. Особенно аспекты, связанные с нанимающей стороной — компании разные и ситуации тоже бывают разные.

2. "Нельзя врать", — говорит автор. Врать действительно нельзя, но приукрасить можно. Грань между "приукрасить" и "врать" заслуживает отдельного поста.

3. Интересно увидеть реальное CV автора. Не будем вдаваться в нюансы составления CV, но хорошей практикой считается summary часть. В ней следует тезисно рассказать кто вы, что умеете и что хотите. Автор сетует на блок CV с перечислением технологий, которыми владеешь. И что он — инженер, готовый овладеть всеми необходимыми для решения задачи навыками. Как раз об этом и стоило бы сказать в summary. Способность осваивать новое для решения задач — скилл хорошего разработчика. А блок технологий полезен для HR, которые умеют только grep-ать резюме.

4. По этой серии постов молодой разработчик сможет приземлиться, понять, что IT это не радужное место с гарантированными 300кк/с. Найти хорошо оплачиваемую работу — это труд и дисциплина.

5. Отдельного внимания заслуживают части, где автор описывает примеры тестовых заданий, а главное — ход мыслей при решении. Именно здесь понимаешь важность широкого кругозора. Об этом у нас был отдельный пост.

6. Переговоры — важная часть собеседований. "Уметь говорить нет" выглядит простым и понятным советом, который на деле применять совсем не просто. Хорошо работает приём, будто решение принимаете не вы, и нужно обязательно посоветоваться с третьей стороной, от которой зависит финальное решение.
#edu
🔥19👏4
Не во всем согласен, но канал хороший, особенно для начинающих
🔥52
# Когда выгодно рисковать шкурой?

Происходящее в России это грандиозное упражнение в оценке рисков. Все так или иначе спрашивали себя: будет ли война? Как долго она продлится? Будет ли мобилизация? Текущие вопросы: введут ли военное положение? Что случится после референдумов? Призовут только 300к человек или будет всеобщая мобилизация? Для нежелающих быть участниками главный вопрос всегда такой: стоит ли уезжать?

Первый шаг это перестать мыслить бинарными категориями. В который раз приведу мысленный эксперимент: если в ваш дом завтра с вероятностью 10% ударит метеорит, вы останетесь дома, потому что скорее всего ничего не будет, или уедете на дачу на день? Идея в том, что надо оценивать вероятности рисков и готовиться пропорционально им, а не мыслить бинарными категориями будет/не будет. Для меня лично риск мобилизации еще в феврале был достаточно велик, чтобы уехать.

Я поразмышлял над этим экспериментом подольше. Все с ним хорошо, но он не дает ответа: когда стоит уезжать от метеорита? При 10% вероятности все очевидно. При 1% я бы тоже уехал. При 0.1% тоже. Но где-то должна быть черта после которой я не уеду. Где она? 0.01%? 1e-20%?

Приходит на ум сравнивать с базовыми вероятностями смерти. У каждого из нас есть вероятность быть сбитым машиной или умереть по другим причинам. Соответственно если вероятность метеорита или мобилизации сильно увеличивает вероятность умереть, то надо избегать, а если ничего особо не меняется, то можно не волноваться. Но какой смысл терпеть даже 0.0001% увеличение риска, если можно его избежать? Чего-то не хватает, ведь по факту смысл терпеть риск есть т.к. мы это постоянно делаем.

То, чего не хватает, это цена избегания риска. Если уехать из дома на день стоит миллиард долларов и долг ляжет на вашу семью, то может быть имеет смысл потерпеть риск с вероятностью 10%. При какой сумме стоит терпеть?

Есть концепция стоимости жизни: статистическая оценка стоимости предотвращения смерти. Ей пользуются страховые компании, а так же государства для принятия решений. Например, если антиковидная мера стоит 2 миллиарда, а спасает жизней только на 1 миллиард, то она не выгодна. Это не значит, что ее не введут: если в бюджете есть лишний миллиард, то можно уйти в убыток ради жизней. Но это неплохой способ оценить эффективность мер.

Применим бездушный утилитаризм к своей жизни. Стоимость жизни по актуарной оценки 9 миллионов рублей. Альтернативно можете сами оценить свою жизнь (например так: за какую сумму, выданную вашей семье, вы бы совершили самоубийство?). Предположим, что вероятность быть мобилизованным и сильно пострадать от этого 1%. Если стоимость избегания меньше 90 тысяч рублей, то оно того стоит.

В примере с метеоритом, при 0.001% вероятности умереть как динозавр оценка риска 90 рублей. Это меньше цены бензина до дачи, поэтому уезжать не стоит того.

Это не к тому, что жизни это просто цифры. Но это неплохая линза, через которую можно посмотреть на ситуацию. Тяжело принимать хорошие решения ориентируясь только на страх, смутные ощущения и военную аналитику от соседа по парте. Перевод рисков из  ощущений в цифры дает перспективу. Можно сравнивать, осознавать масштаб и, наконец, ответить себе, где проходит черта.
👍26👎21😁1🤔1😢1
Быстрый расчетец.
Согласно стате в России 52 073 591 мужчин возрастом от 18 лет и выше. Предположим, что 3/4 из них могут быть призваны. Получаем 39 055 193.
300000 / 39055193 = 0.008 = 0.8%

Вероятность призыва при отсутствии какой-либо информации о вас, кроме того, что вы мужчина призывного возраста, 0.8%. Как по мне это очень много.
👎25👍201🤔1🐳1
Люди в комментариях пишут, что я ложно успокаиваю людей, мол вероятность маленькая. Вообще интенция была обратная: я думал, что пугаю людей, потому что вероятность очень большая.
Например, вероятность умереть в автокатастрофе в течение всей жизни 0.99%. То есть за время частичной мобилизации призывной мужчина хватает на себя почти столько же риска, сколько получит во время всей жизни от топ-1 убийцы современности. По актуарной таблице смертности вероятность умереть в возрасте между 18 и 19 лет 0.1%, то есть, если я правильно понимаю как читать актуарные таблицы, вероятность быть мобилизованным в 8 раз выше, чем обычная вероятность смерти в течение года в здоровом возрасте по вообще любой причине.

Стоит отметить, что вероятность умереть на войне ниже. Вероятность смерти на войне примерно 20к / 200к по текущей статистике потерь, так что вероятность и быть мобилизованным, и умереть при этом, около 0.8% * 10% = 0.08%. Это конечно сильно меньше, но для многих, кто думает уезжать, исход “мобилизоваться, но не умереть” тоже не радостный и достойный избегания. Поэтому думаю, что решение уезжать или нет принимается именно на основе вероятности мобилизации
👍24👎4
1. Гнев
2. Отрицание
3. Использование pytorch lightning или других верхнеуровневых либ для написания своих трейн лупов, хотя всегда писала всё своё с нуля... 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
😁1
Can it run DOOM?
DNNs: