Сколько глаз и пальцев у 6 детей?
Anonymous Poll
39%
Это очень просто. Ответ: 12 глаз, 120 пальцев
28%
Сколько угодно
22%
Погодите, я ща выведу формулу с числом сочетаний из n по k. Что по аксиомам? Крюк - это палец?
11%
🤯
😁19👍1
Топ 10 постов в канале NN for Science за 2022 год. 7ое место.
Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.
7ое место (26.1к прочтений) занимает июльский пост про то, как нейросети ускоряют разработку новых чипов GPU.
С тех пор вышли новые GPU от NVidia, при проектировании которых использовалась эта нейросеть. Но у железа цикл годовой, так что ждём следующего года и новых открытий.
Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.
7ое место (26.1к прочтений) занимает июльский пост про то, как нейросети ускоряют разработку новых чипов GPU.
С тех пор вышли новые GPU от NVidia, при проектировании которых использовалась эта нейросеть. Но у железа цикл годовой, так что ждём следующего года и новых открытий.
Telegram
NN for Science
Сингулярность на пороге. Как ИИ проектирует GPU?
NVIDIA использует ИИ для разработки более компактных, быстрых и эффективных микросхем, обеспечивающих повышение производительности с каждым поколением чипов.
В работе PrefixRL: Optimization of Parallel Prefix…
NVIDIA использует ИИ для разработки более компактных, быстрых и эффективных микросхем, обеспечивающих повышение производительности с каждым поколением чипов.
В работе PrefixRL: Optimization of Parallel Prefix…
🔥10🎉3👍1😱1🤩1
Релокейш дестинейшн мечты для МЛ инженера
К слову о гпу. В ходе полевых исследований обнаружен район, в котором регистрационные знаки транспортных средств сплошь GPU. От жука до трактора. Умираю от зависти. Хочу жить среди графических процессоров на колесах
📍Где: Польша, г. Пуцк
🗿Пруф
@GingerSpacetail
К слову о гпу. В ходе полевых исследований обнаружен район, в котором регистрационные знаки транспортных средств сплошь GPU. От жука до трактора. Умираю от зависти. Хочу жить среди графических процессоров на колесах
📍Где: Польша, г. Пуцк
🗿Пруф
@GingerSpacetail
😁32🔥2
Forwarded from gonzo-обзоры ML статей
В продолжение поста свежая статья от New York Times, согласно которой Гугл очень серьёзно относится к возможности смены парадигмы в поиске: https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html
Статья за пейволлом, но телеграммовское instant view в мобильном приложении, похоже, позволяет без проблем её прочитать.
Статья за пейволлом, но телеграммовское instant view в мобильном приложении, похоже, позволяет без проблем её прочитать.
NY Times
A New Chat Bot Is a ‘Code Red’ for Google’s Search Business
A new wave of chat bots like ChatGPT use artificial intelligence that could reinvent or even replace the traditional internet search engine.
❤22🔥4
Forwarded from Приближаем сингулярность
Google объединил self-supervised NLP подходы и получил профит на 50 задачах
Обычно GPT-like (только декодер) модели обучаются на Language Modeling (LM), энкодер-декодер - на Span Corruption (SC). Первая задача больше про экстраполяцию, вторая - про интерполяцию. Поэтому GPT умеет во few-shot и в целом лучше для генерации текстов, а условный T5 хорош впонимании классификации текста.
Ученые из гугла решили обучить модель, которая бы хорошо себя показывала на всех задачах (генерация, классификация, retrieval, QA, …) и в разных постановках (supervised дообучение, zero/few - shot).
Обучали на миксе трех лоссов:
- S-denoiser - LM-like
- R-denoiser - SC
- X-denoiser - extreme SC: спаны длиннее и/или их больше
В итоге дообучение модели с таким претрейном дает им профит на большинстве из 50+ различных задач и постановок. То есть они двигают Парето границу качества, улучшая его по нескольким направлениям.
Ещё из интересного:
- Mode switching: обучали, добавляя токен задачи [R], [S] или [X]; на дообучении помогает подставлять соответствующий токен
- X-denoiser помогает, но его одного недостаточно (и много чего ещё в ablations)
- Их модель UL2 20B получает профит от Chain of Thought промптинга. Это эмерджентное свойство не наблюдалось у моделей средних размеров (да, 20B - средний размер :) )
- Дают soft advice: используйте энкодер-декодер архитектуру (разделение весов); похуже: только декодер, но с bidirectional attention на префикс; ещё хуже - vanilla decoder only; encoder only - deprecated
- Веса UL2 20B в открытом доступе
Paper; Blogpost
Подписывайтесь: https://tttttt.me/building_singularity
Здесь больше интересных постов про AI :)
Обычно GPT-like (только декодер) модели обучаются на Language Modeling (LM), энкодер-декодер - на Span Corruption (SC). Первая задача больше про экстраполяцию, вторая - про интерполяцию. Поэтому GPT умеет во few-shot и в целом лучше для генерации текстов, а условный T5 хорош в
Ученые из гугла решили обучить модель, которая бы хорошо себя показывала на всех задачах (генерация, классификация, retrieval, QA, …) и в разных постановках (supervised дообучение, zero/few - shot).
Обучали на миксе трех лоссов:
- S-denoiser - LM-like
- R-denoiser - SC
- X-denoiser - extreme SC: спаны длиннее и/или их больше
В итоге дообучение модели с таким претрейном дает им профит на большинстве из 50+ различных задач и постановок. То есть они двигают Парето границу качества, улучшая его по нескольким направлениям.
Ещё из интересного:
- Mode switching: обучали, добавляя токен задачи [R], [S] или [X]; на дообучении помогает подставлять соответствующий токен
- X-denoiser помогает, но его одного недостаточно (и много чего ещё в ablations)
- Их модель UL2 20B получает профит от Chain of Thought промптинга. Это эмерджентное свойство не наблюдалось у моделей средних размеров (да, 20B - средний размер :) )
- Дают soft advice: используйте энкодер-декодер архитектуру (разделение весов); похуже: только декодер, но с bidirectional attention на префикс; ещё хуже - vanilla decoder only; encoder only - deprecated
- Веса UL2 20B в открытом доступе
Paper; Blogpost
Подписывайтесь: https://tttttt.me/building_singularity
Здесь больше интересных постов про AI :)
👍20🔥7
Forwarded from Earth&Climate Tech
eBook-How-to-Build-a-Career-in-AI.pdf
3.5 MB
Как построить карьеру в AI. Руководство от Andrew Ng
Новый Год 🎄, время строить планы. Если хочется научиться что-то делать в AI, но не знали с чего начать, то читайте дальше!😉
Самый главный популяризатор AI выложил в открытый доступ руководство как построить карьеру в AI.
Руководство очень просто написано и является сборником полезных советов. Можно использовать вместо ментора. Состоит из 3-х основных глав:
1️⃣ Как научиться
2️⃣ Как выбрать проект
3️⃣ Как найти работу
Эндрю дает простые, но важные советы как побороть синдром самозванца, нужно ли глубоко знать математику, и пожалуй самое главное, как правильно выбирать проекты для своего AI портфолио (спойлер, лучше сразу делайте что-то на пересечении вашей экспертизы/того что вам интересно и AI)
Инджой
Новый Год 🎄, время строить планы. Если хочется научиться что-то делать в AI, но не знали с чего начать, то читайте дальше!😉
Самый главный популяризатор AI выложил в открытый доступ руководство как построить карьеру в AI.
Руководство очень просто написано и является сборником полезных советов. Можно использовать вместо ментора. Состоит из 3-х основных глав:
1️⃣ Как научиться
2️⃣ Как выбрать проект
3️⃣ Как найти работу
Эндрю дает простые, но важные советы как побороть синдром самозванца, нужно ли глубоко знать математику, и пожалуй самое главное, как правильно выбирать проекты для своего AI портфолио (спойлер, лучше сразу делайте что-то на пересечении вашей экспертизы/того что вам интересно и AI)
Инджой
👍23🔥11🎉2🤩2❤1
Выпал на новогодние праздники (которые у меня в этом году случились по всем календарям кроме русского), и конечно же миллион событий и осознанных встреч. Но давайте попробуем вкатиться обратно.
Обнаружение марсотрясений с помощью методов машинного обучения
Ребята из ETH рассказывают как наконец то смогли убедить упертых геологов, что машинное обучение это круто и как его можно использовать для изучения Марса ☄️.
Блог-пост
фотка кстати настоящая со спутника
Обнаружение марсотрясений с помощью методов машинного обучения
Ребята из ETH рассказывают как наконец то смогли убедить упертых геологов, что машинное обучение это круто и как его можно использовать для изучения Марса ☄️.
Блог-пост
фотка кстати настоящая со спутника
🔥15👍5
Forwarded from Карьера в науке
#Карьерныеистории: от студента МГУ до постдока Стэнфорда
Артемий Новоселов, постдок School of Sustainability Стэнфордского университета, автор телеграм-канала NN for Science, рассказал «Карьере в науке» свою историю успеха.
Артемий изучает применение искусственного интеллекта к геофизике (науке об изучении планет с помощью физических методов), читает лекции в Стэнфорде и занимается популяризацией науки.
«Изначально у меня даже не было мысли связать жизнь с геологией. Я занимался в театральной школе около 8 лет и хотел поступать в театральный университет. В последний момент мама отговорила, и выбор пал на геологический факультет МГУ. Меня привлекала идея ходить в походы и носить бороду, а геологи все это делают, в этом была вся задумка. Геологом я стал, но бороду так и не ношу, а в походы хожу в свободное от работы время».
Об учебе в Норвегии, работе в Стэнфорде и о том, как применяется искусственный интеллект в геофизике, читайте в наших карточках.
#карьерныеистории #стэнфорд #постдок
Артемий Новоселов, постдок School of Sustainability Стэнфордского университета, автор телеграм-канала NN for Science, рассказал «Карьере в науке» свою историю успеха.
Артемий изучает применение искусственного интеллекта к геофизике (науке об изучении планет с помощью физических методов), читает лекции в Стэнфорде и занимается популяризацией науки.
«Изначально у меня даже не было мысли связать жизнь с геологией. Я занимался в театральной школе около 8 лет и хотел поступать в театральный университет. В последний момент мама отговорила, и выбор пал на геологический факультет МГУ. Меня привлекала идея ходить в походы и носить бороду, а геологи все это делают, в этом была вся задумка. Геологом я стал, но бороду так и не ношу, а в походы хожу в свободное от работы время».
Об учебе в Норвегии, работе в Стэнфорде и о том, как применяется искусственный интеллект в геофизике, читайте в наших карточках.
#карьерныеистории #стэнфорд #постдок
❤48👍22🔥8😱1🤩1