Arslan's Insights
1.81K subscribers
66 photos
16 videos
53 links
Я Арслан. В этом канале делюсь своими интересными наблюдениями в мире технологий и не только.

Наблюдения не только технические, но и социальные. Стараюсь писать коротко.

Мой контакт: @arslanurt
Download Telegram
#state_of_ai_report_2024

Слайд [36] про то, что если не просто по всему обучающему датасету идти, а прямо во время обучения подбирать данные для следующей итерации на основе их полезности для обучения, то модель обучается быстрее. Полезность определяется другой моделью.

Слайд [37-38], в котором авторы замечают, что китайские компании показывают крутые LLM не смотря на санкции. В нем же говорят, что вот мол есть 01.AI, которые фокусируются именно на китайском языке. А где про YandexGPT слайд тогда уж скажите мне?)

Слайд [39] прикольный. Говорят, что вот в 2018 году куча народу пытались сделать модель, которая сможет по картинке описать, что на ней находится. А сейчас в 2024 году это просто сопутствующая задача, которую умеют решать мультимодальные модели даже небольшого размера, таков прогресс. Картинки приложил.

Кажется, слайды про LLM более-менее закончились, следующие слайды вижу про картинки и видео, так что продолжение следует!
1🔥8👍5
Снова загружен работой, не до разбора отчета( А пока шутка с внутреннего ресурса:

Сложный код создает сильных инженеров,
сильные инженеры создают простой код,
простой код создает слабых инженеров,
а слабые инженеры создают сложный код.
😁47👍6💯4👎1
https://techcrunch.com/2024/10/30/aurora-innovation-delays-commercial-autonomous-truck-launch-to-2025

Есть такая компания - Aurora. Делают автономные грузовики в штатах. Хотели запустить перевозки без водителя к концу 2024 года. Сейчас пишут, что откладывают на квартал.

В качестве аргумента пишут, что сейчас у них грузовик может ехать 80% времени без наблюдения и помощи удаленного оператора, а они хотят достигнуть 90%, чтобы начать коммерческие перевозки без водителя.

Давайте посчитаем математику.

Aurora хочет запустить 10 грузовиков. Представим, что грузовики будут ездить круглые сутки, что на самом деле нонсенс и это невозможно, но пусть.

За грузовиками нужно следить 20% времени (так как пишут, что сейчас 80% не требует наблюдения). Значит два человека должны всегда следить за одним из 10 грузовиков. Окееееей, пусть будет 5 человек, чтобы всплески потребности переживать. И пусть один человек может только за одним грузовиком следить, что тоже вообще-то глупость, но пусть.

Пусть они работают по графику 1-3 по 12 часов, хотя вообще-то для 12 часов обычно это график 2-2. Делаем существенное допущение.

То есть в сутках две смены по 5 человек на 4 дня. Получается 40 человек. Пусть есть отпуска и болезни, умножим на полтора. Нужно 60 удаленных операторов.

Пусть оплата удаленного оператора в штатах будет 200к$, что вообще-то нонсенс и это намного больше, чем на самом деле. Делаем допущения.

Итого, нужно заплатить 12млн$ в год, чтобы стать первыми в мире. И это с существенными допущениями, а в реальности в несколько раз меньше.

Ну может денег нет? Вот только 3 августа они подняли раунд 483млн$.

Просто смешно. Думаю через квартал они тоже не запустят. Ну посмотрим.
👍183
Удивительный perplexity

Сделать компанию, которая просто берет ответ google (по слухам именно google) и прогоняет через GPT API от OpenAI, да еще и делает еще один поиск - это звучит как истинное безумие.

То есть у ребят на старте не было ни одной своей технологии, кроме пачки файлов с клеем между API. Сейчас это несколько поменялось и в качестве LLM теперь они берут mistral и llama и дообучают под свои задачи. И еще они теперь делают свой поиск. Поиск сделать - огромные траты, но google им не даст свое API использовать для победы над самим собой, конечно, поэтому тут нет выбора. Да еще и OpenAI выкатили поиск в ChatGPT, что не добавляет уверенности в будущем perplexity.

Штука классная у ребят получается, конечно. Но все же очень много, кто вообще-то способен сделать то же, что и они. Особенно с тем качеством, которое у них было на старте. Я помню я открывал тогда perplexity и думал, что они умрут через полгода, так как такие плохие ответы читать невозможно, а интерфейс безбожно лагает.

И тем не менее им удалось зажечь. Почему - не знаю) Но уже понятно, что в ближайшие пару лет они точно уже не умрут. Но что будет дальше? По прежнему непонятно. Но, надеюсь, у них получится вырасти сильнее и потеснить google, потому что продукт действительно делают свежий и прикольный.
👍164🔥3
ISO 3103

Открытие дня. Оказывается существует международный стандарт про то, как нужно заваривать чай.

"В сосуд, содержащий пробу чая, добавляют кипящую воду до уровня от 4 до 6 мм от края (т. е. приблизительно 285 см3 при использовании большого сосуда для заваривания, 140 см3 при использовании малого сосуда для заваривания, описанных в приложении А) и закрывают крышкой. Дают чаю настояться в течение 6 мин, затем, удерживая крышку так, чтобы разваренный чайный лист оставался в сосуде, переливают настой через зазубренный край в чашу (см. 5.2), вместимость которой соответствует вместимости сосуда для заваривания. Переворачивают крышку, перемещают на нее разваренный чайный лист и помещают ее на опорожненный сосуд для органолептического анализа разваренного чайного листа. При анализе мелкого чая необходима особая тщательность, и может потребоваться применение сита."

В стандарте 6 страниц. Напомню, чтобы принять стандарт в ISO собирается технический комитет и процесс разработки стандарта устроен так, что документ редактируется до тех пор, пока не станет удовлетворять всех участников комитета.

На русском стандарт можно почитать тут: https://rosgosts.ru/file/gost/67/140/gost_iso_3103-2013.pdf
😁328👍1
Оказывается, intel практически в одну калитку проигрывает рынок серверного железа.
🤯11😢31
Media is too big
VIEW IN TELEGRAM
Сегодня вышел YaC 2024 - ежегодный рассказ про технологии и сервисы Яндекса и людей, которые их создают. В серии про нейросети я рассказал про развитие нашего автономного транспорта и применение нейросетей в нём.

А еще у нас есть классная новость - мы стали еще на шаг ближе к тому, чтобы наши авто вели себя на дороге так же, как хорошие и опытные водители.

Для этого мы начали использовать нейросеть-трансформер - теперь она помогает планировать траекторию движения автономного транспорта, то есть решать, как нужно ехать в сложившейся обстановке. Наша нейросеть обучается на данных о действиях первоклассных водителей в самых разных ситуациях, которые могут возникнуть на дороге. Она обобщает эти знания и учится реагировать даже в таких ситуациях, которых пока еще не было в реальности, но которые гипотетически могут случиться.

На видео видно несколько трудных ситуаций, с которыми приходится сталкиваться на дорогах)
4🔥2623🤩4
Киберпанк уже наступил!
😁23😱7😢3🔥2🤩2👍1🌚1👾1
Сделали подкаст про автономные грузовики. Получилось интересно, приглашаю послушать)
10
Forwarded from Яндекс
This media is not supported in your browser
VIEW IN TELEGRAM
🫶 Зачем Яндексу свой автономный грузовик, когда машины поедут без водителей и как на это отреагируют окружающие? В новом yet another podcast говорим об этом и многом другом.

🅰️ Ситуация в мире автономного транспорта. Кто из лидеров уже готов к поездкам без водителя в салоне?

🅰️ В поля с дальнобойщиками. Каково это — впервые оказаться в кабине автономного грузовика?

🅰️ Нейросети учатся у водителей. Означает ли это, что роботы будут заезжать в шашлычку и останавливаться на перекур?

🅰️ Грузовики — уже есть. А что со всем остальным: инфраструктурой и безопасностью окружающих?

↗️ Смотрите на YouTube и в VK Видео, слушайте в Яндекс Музыке.

Подписывайтесь 〰️ @yandex
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥286👍3🤮2
Очень интересно, что сейчас происходит из-за DeepSeek r1. Для тех, кто не следил:

1. Чуваки смогли обучить LLM, которая почти не хуже, чем у OpenAI.
2. Сделали это в 20 раз дешевле и написали подробную статью как это сделали.
3. Сотрудники из фейсбука на форумах пишут чуть ли не о панике в руководстве, что так дешево можно делать такие модели.
4. Приложение DeepSeek в топе американского стора.
5. Акции крупных компаний падают на премаркете (насдак еще не открылся). Акции nvidia падают почти на 12% на премаркете.

С 2022 года после выхода ChatGPT это первое событие, которое вызвало такой бурный ажиотаж. Представьте, основные игроки в индустрии думают, что нужно очень много денег, анонсируют stargate на 500млрд$. И тут оказывается, что можно сделать то же самое в 20 раз дешевле.

Есть нюансы. Китайцы не могут нормально рассказывать про мощности. Потому что санкции. Поэтому есть некоторые риски, что сказали неправду и использовали больше мощностей.

Но лично я не думаю. Статья есть, нужен примерно квартал, чтобы ее повторили самые быстрые конкуренты. На код и эксперименты около месяца, плюс месяца два на обучение и все проверки. Думаю увидим подтверждение.

Ноу хау в том, что придумали как делать обучение с подкреплением по-другому.

Интересно, а ведь год только начался!
1370👍31🔥25❤‍🔥3🤔2
Роль интуиции в работе

Посмотрел подкаст с Яном Непомнящим (один из лучших шахматистов современности).

Очень зацепил момент про интуицию в шахматах: https://www.youtube.com/watch?v=T_QYOn7P-tA&t=2465s

Ян говорит, что вот бросаешь взгляд на доску и в голове сразу появляется какие-то 4 хода, которые нравятся. Сначала непонятно почему, потом начинаешь их анализировать. Если ты в хорошей кондиции, то в 9 случаях из 10 среди этих 4 ходов есть лучший ход, который возможно сделать на текущем шаге. Если кондиция не очень, то реже. Ян считает, что интуиция не просто так берется, а на основе большого опыта.

Рассуждения полностью верны и для работы руководителя. Нужно понимать, что интуиция всегда присутствует, люди не могут быть роботами. Даже если человек считает, что не ориентируется на интуицию, все равно какие-то решения ему нравятся больше, какие-то меньше.

Решения, которые приходится принимать руководителю, бывают тактические и стратегические.

Стратегические решения - это то, куда вообще идет вся команда в ближайший год и далее. Тут ошибка может быть фатальна. Даже 1 из 10. Но с другой стороны интуиция помогает сузить пространство возможных решений. В конечном итоге хорошая интуиция помогает с большей вероятностью двигаться правильно.

Тактические решения - это те решения, которые отвечают на вопрос "Что нужно делать прямо сейчас? Что нужно делать в ближашие два-три месяца?". В них ошибка в 1 случае из 10 - это незначительный риск. Последствия таковы, что некоторые вещи придется переделывать. Но с другой стороны на тактическом уровне медленное принятие решений - фатально на стратегическом уровне. Команда заболачивается, люди бесконечно спорят, боятся принять даже элементарные решения, думаю все это встречали.

Если интуиция работает хорошо, то ей можно пользоваться. Получится работу делать быстрее. Если интуиция работает плохо, то нельзя. Как понять работает ли интуиция хорошо? На самом деле это не очень сложно. На стратегическом уровне нужно в любом случае глубоко прорабатывать решения. Важно так же помнить про когнитивные искажения. Заниматься проработкой, а не рационализацией. В чем отличие? Рационализация - поиск аргументов "за". Проработка - поиск аргументов и "за" и "против". На тактическом уровне можно просто увидеть, что происходит. Делает ли команда то, что не нужно в 1 случае из 10, или чаще, или реже.

Итак, интуиция важна. И важно, чтобы она работала хорошо. Как ее развивать? Нельзя просто верить в интуицию, получится ерунда.

Чтобы развивать интуицию, на мой взгляд надо развивать три вещи: насмотренность, погруженность и подготовка. Расскажу подробнее про каждую вещь:

1. Насмотренность. Нужно понимать как делаются разные проекты. Может казаться, что зачем тратить время на то, чтобы погружаться в чужие проекты, в опыт других компаний или команд. Но если так тратить время, то начинаешь видеть параллели и со своим проектом. Начинаешь видеть похожее. Это помогает учиться на чужих ошибках. Нужно смотреть и стараться разобраться как все работает в вашей и смежных индустриях. Не в вашем проекте, а в других.

2. Погруженность. Надо глубоко понимать как и что делается в вашем проекте. У некоторых людей бытует мнение, что руководитель - это только про people management. Сроки, ресурсы, процессы. Но нет, таким образом решения принимать невозможно. Нужно знать детально, что делают ваши люди. В моменте может казаться, что спрашивать как что-то делается - трата времени. Но по факту погружение помогает более эффективно конфигурировать зоны ответственности. Помогает понимать, где команда идет не туда или где команда идет медленнее, чем могла бы.

3. Подготовка. К принятию решения надо готовиться. Подготовка от погруженности отличается тем, что погруженность - это про все подряд, подготовка - это про конкретное решение. Если не хватает знаний про то место, в котором нужно решение принять, надо погрузиться в это место, даже если времени мало.
👍45🔥148
(продолжение)

На первый взгляд во всех этих пунктах много затрат времени на то, что напрямую не связано с вашей работой. Однако если это не делать, то интуиция будет работать плохо, что в результате приведет к неверным или слишком медленно принятым решениям.
15👍12
Столпились!
🔥5426😍8🤣6👍2
Посмотрел keynote Хуанга от nvidia на GTC

Очень много всего крутого про самое разное. Но сильно зацепил кусок, в котором он объявил о партнерстве DeepMind + Nvidia + Disney Research для создания реалистичной физики для симулятора MuJoCo. Вообще реалистичная физика в симуляторе - критически важна для того, чтобы можно было делать роботов. Только с помощью симулятора можно тестировать и обучать роботов. Проблема переноса результатов обучения из симулятора в реальный мир - существенная. Если попробовать обучить робота ходить в симуляторе, то в реальности он так просто ходить уметь не будет после этого. Реалистичная физика - ключ к тому, чтобы роботы буквально самообучались внутри виртуального мира. Ну и вывели на сцену милашку-робота из звездных войн - это просто отвал башки)
🔥32💯6😁31
Проснулся, поел… пришел в офис - ВСТРЕЧА.
Дошел до своего стола, решил осознаться, кто-то написал, пока отвечал - ВСТРЕЧА.
Задержали на одной, наругали на второй - ВСТРЕЧА.
Пошел поесть, параллельно - ВСТРЕЧА.
ВСТРЕЧА, ВСТРЕЧА, ВСТРЕЧА!

(с) утащено с внутреннего ресурса с минимальными модификациями
😁51😢19💔15💯10👍2🤬2🤝2❤‍🔥1🔥1
Радуюсь, когда появляются российские компании, которым удается делать классные LLM-ки. Авито сделали хорошую модель A-Vibe, которая стала топ-1 среди всех 7b моделей на бенчмарке для русского языка MERA. Судя по новостям взяли qwen2.5, дообучили на русский язык и получили большой буст по метрикам (интегрально 0.482 -> 0.578), переобучили токенизатор (до x2 к производительности). Большая работа, круто!
🔥39👍9🎅2😁1🌭1🖕1
Устали от классических конференций, в которых просто выходят люди и рассказывают доклады?

Мне повезло, что меня позвали надеть рубашку ведущего на "Чинителей прекрасного", который провел Яндекс. Мне очень понравился формат мероприятия. Были и интересные доклады на нем тоже, но очень прикольно, что была еще куча активностей.

- Можно было под присмотром профессионалов взять какую-нибудь сломанную электронику и запаять починить ее.

- Можно было запаять починить самокаты в составе группы. Буквально на ивент притащили пару самокатов и чинили их группой.

- Можно было починить старый компьютер Ленинград. Люди по очереди подходили и паяли электроды! Кажется, в итоге к успеху не пришли, но было весело)

А еще можно было посмотреть на прототипы Яндекс Станции и на разобранный сервер яндекса.

Вообще ивент был для людей, которые занимаются железом, но вот я, например, чистый программист и мне очень понравилось.

Больше фото тут: https://moiseev.gallery.photo/gallery/yandex_chiniteli_prekrasnogo/
🔥46👍128