Маленькая задачка на 5 минут из области "что будет в высших измерениях". Решение немного выносит мозг, максимально контринтуитивно.

https://youtu.be/sZqGWy0hxe8

ТехноШаман выпустил очень годный видос про его самую долгую симуляцию эволюции. Не пугайтесь что это седьмая часть, предварительно знать ничего не нужно, там всё объясняется.

Там есть осцилляция хищников и жертв и даже паразиты! Ещё мне понравились моменты когда проводились параллели с уже известными результатами эволюции на нашей планете.

https://youtu.be/oB0NTtZ_9lI

Видео, заголовок которого звучит не так впечатляюще: "Сделал 3D уровень в 2D игре". Ну сделал, и сделал, запрограммировал наверное как-то. Все мы писали рейтрейсинги всякие.

Но нет. Проблема в том, что здесь есть очень много ограничений, из-за которых автор пошёл на такую смекалку, что в один момент я начал истерически смеяться (на моменте с генетическим алгоритмом 🙃). Если вам интересно кайфануть от решений невозможных проблем, безумия автора и просто весёлого видео с грамотной музыкой, то рекомендую к просмотру.

https://youtu.be/Qvlb-Yo6Rqo

Шикарное видео про обучение нейронки балансированию двойного маятника. Обучается через генетический алгоритм. Вроде бы простая задача, простое решение, но очень глубоко. А в какой-то момент автор придумал гениальное решение, когда его система перестала обучаться.

Я посмотрел очень много подобных видео, и вообще погружался в тему, и это видео одно из достойнейших. Так что реально рекомендую.

На самом деле это вторая часть, и там есть первая с контекстом и историей. Ради второй стоит посмотреть и первую (https://www.youtube.com/watch?v=EvV5Qtp_fYg).

https://youtu.be/9gQQAO4I1Ck (это вторая)

#видео

ТехноШаман выпустил прям фундаментальную работу в области симуляции эволюции. Здесь он на простых моделях сравнивает бесполое и половое размножение, кто из них лучше работает и почему. Сравнивает как это работает для разных размеров популяций и разной вероятности мутаций.

Давно на ютубе не видел такого глубокого анализа, всё видео чисто кайфовал и получал концентрированные знания. Особенно в конце понравились замечания про ограничения этих моделей.

Рекомендую смотреть всем независимо от пола, возраста и вашего способа размножения.

https://youtu.be/UNKlsr6Bf2s

#видео

Чувак уже делает третью версию нейронки, которая обучается кататься в игре trackmania, очень интересный прогресс, в этот раз она прям хороша. На каждой новой карте заново обучает нейронку, и использует Reinforcement Learning, а именно некий алгоритм IQN, надо бы о нём почитать. Нейронка на вход получает скриншоты, так что очень даже честный и интересный метод. Это мгновенная подписка, жду когда он будет делать нейронку, которая умеет кататься на куче других карт.

https://youtu.be/cUojVsCJ51I

#видео

В этом видео объясняется история понимания того почему именно задача трёх тел является нерешаемой, рассказывается про то как Пуанкаре исследовал упрощённую версию этой задачи и обнаружил конкретную причину почему возникает хаос. Прикольно и познавательно. Советую пролистывать всякие очевидные и понятные части.

https://youtu.be/l2wnqlcOL9A

#видео

Автор этого видео захотел сделать майнкрафт на апериодическом замощении! Вы наверняка знаете про апериодическое замощение на 2D, но вот для 3D вряд ли слышали. В этом видео автор рассказывает как раз про него.

По сути это больше видео про апериодическое замощение в 3D, чем про майнкрафт и то что автор сделал. Рекомендую смотреть первые 8 минут, остальное вам не нужно.

https://youtu.be/15LTqvZtrMo

#видео

Недавно прослушал книгу "Война с саламандрами", и ставлю этой книге твёрдую оценку +1.5 по моей шкале.

Это книга в жанре фантастики, написанная в 1936 году. Написал её Карел Чапек, на минуточку, автор слова "робот"! Рекомендую прочитать всем, кто любит научную фантастику. Можно сказать, это классика.

Далее, о ней я старался написать максимально без спойлеров, начиная с завязки, но кто любит вообще без спойлеров - не читайте.

Завязка книги в том, что люди обнаружили очень смышлённых животных - особых саламандр, метр ростом. А далее начали использовать их в своих целях, обучать разному труду, а саламандры стали становиться всё умнее и умнее за счёт постижения человеческой культуры. Книга повествует об этом процессе, и как это, в конечном счёте, привело к войне.

В книге нет какого-то особого развития персонажей, и в целом персонажей, так что это не для любителей людей. Книга больше про идею, про сюжет, про историю. Поэтому местами может быть не так захватывающе, как другие книги, но всё-равно очень интересно.

Книга является настоящей фантастикой, потому что она вводит какой-то необычный, но вполне реальный элемент и исследует как он повлияет на мир. Такое очень редко встретишь, щас очень много фантастики не про идею, а про людей в бесполезном фантастическом сеттинге. Причём в некоторых произведениях толком ничего бы принципиально не поменялось, замени фантастику на средневековье с магией.

И в какой-то степени книга очень похожа на рассуждения современных авторов о порабощении людей роботами. Прям читаешь и диву даёшься, что это написано в 1936 году! А в одном месте даже было **невероятно** похоже на современные LLM! Кто прочитает - отпишитесь, как думаете в каком месте, под спойлером))

#книга

Physics of Language Models

Я в своей жизни ML занимался довольно мало, но в последнее время решил все-таки по-лучше разобраться. Так что иногда (частота зависит от количества лайков 👍) буду постить краткие пересказы статей/докладов, которые мне показались интересными.

Мне очень не нравится идея смотреть на LLM, как на какой-то черный ящик, который каким-то магическим образом учится, и, нужно всего лишь увеличить количество параметров в нем, обучить на большем количестве данных, и тогда он станет гораздо умнее и вдруг научится решать всякие задачи.

В докладе Physics of language models авторы тренируют относительно маленькие модели (100М параметров) на синтетических данных, и смотрят, какие задачи LLM могут решать, а какие нет.

Например, оказывается что LLM даже теоретически не могут научиться отвечать на вопрос вида "Правда ли, что Байден родился в четном году?" при том, что они прекрасно знают в каком году он родился, и знают, какие числа четные. Оказывается, что дело в порядке токенов. Если бы ответ был в формате "Байден родился в году 1942, это четное число, ответ да", то все бы работало. Но если хочется получить ответ в формате "Да, потому что он родился в ...", то в момент написания первого токена у LLM еще не будет числа 1942 "в контексте" и она не сможет выбрать правильный ответ. И такая проблема есть у любых моделей вне зависимости от размера.

По аналогичным соображениям, если в датасете было написано только "X родился в городе Y", то модель никогда не сможет научиться правильно отвечать на обратный вопрос "кто родился в городе Y?" (потому что в "памяти" модели будет мапинг X->Y, но не в обратную сторону).

Еще из прикольного в докладе показывают, что можно обучить текстовую модель делать топологическую сортировку графа. При этом можно проследить, что в "состоянии" модели во время инференса действительно будет храниться множество посещенных вершин и тех вершин, которые можно посетить на следующем шагу.

Хороший, глубокий анализ концепции космического лифта, с научными работами и собственными расчётами от автора. Интересовался этой темой, и даже смотрел на английском ютубе всякое, но это самый крутой видос

https://youtu.be/fdG8SGumNOg

#видео

Видео о том как умирают заводы и что творится в России по этому поводу от человека, который всю жизнь управляет машиностроительным заводом. Как госконтракты выигрываются неправильными людьми, и как некачественные дешёвые китайские инструменты продают втридорого вместо отечественных.

https://youtu.be/dUJzTOugJE8

#видео

Это ролик не столько про математику, сколько про то как нужно думать. Очень кайфанул с повествования автора, прям так всё по полочкам разложено, в мозгу приятно щекочет. Рекомендуется к просмотру особенно тем, кто в школе не любил математику.

Очень хочу чтобы в школах появились уроки по просмотру избранного контента ютуба, и это видео было бы там в обязательной программе, наравне с некоторыми видео 3blue1brown.

https://youtu.be/zZH1nZyWYHg

Очень интересная документалка, не про машины, а про политику и всё вокруг. Может поначалу показаться что даётся куча несвязанных фактов, но нужно досмотреть до конца, оно того стоит, поверьте мне.

https://www.youtube.com/watch?v=7N0C8jH-utE

Я щас пишу симулятор дрифтинга для машинок, и для того чтобы получилось реалистично, приходится много гуглить и пытаться понять. И вот когда гуглил про slip angle, то обнаружил такое золото.

Чувак объяснил офигенно, ГЛУБОКО (как я люблю), показал шикарные визуализации (на лего колесе вообще гениально). В конце видео понял почему в NFS перед поворотоами оптимально было тормозить! Чтобы прийти в итоге к оптимальному slip angle. В общем я получил настоящее понимание. Рекомендую всем, даже если вы не заинтересованы в написании симулятора машинок.

https://youtu.be/MwrUz1WI5GY

Очень прикольный фильм, сделанный в майнкрафте. Я залип. Сюжет и задумка классные. Написание и текст иногда страдают, и видно непрофессионализм, но простительно, когда так интересно.

https://youtu.be/2pFwQiwRbcg