Топ 10 постов в канале NN for Science за 2022 год. 10ое место.

Близиться Новый год, а значит пора подводить итоги и разбирать что произошло дальше.

10ое место (21.5к прочтений) занимает июньский пост про то, как инженер из гугла стал громко кричать, что языковая модель Lamda разумна и, что ей нужны права.

За это время у нас появилась ChatGPT, и надо признать, что я сам теперь, как сумасшедший хожу и спекулирую по поводу определения сознания (консенсуса по которому все равно нету). Мне кажется это определение надо срочно адаптировать к тому факту, что у нас появился AI.

Image Stacking

Пишем промпт, сохраняем картинку, используем ее для следующего промпта, повторяем пока не получаем что хотели.

Идея сама по себе не нова, но исполнение отличное

Ссылка

Топ 10 постов в канале NN for Science за 2022 год. 9ое место.

Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.

9ое место (21.9к прочтений) занимает октябрьский пост про то, как Stable Diffusion можно использовать в Augmented Reality (AR).

С тех пор инференс SD ускорили в несколько раз, а значит и на мобильных устройствах он работать стал быстрее.

Коммерческих продуктов пока не встречал, но думаю что они не за горами, вопрос уже не в технологии, а в том, что бы найти хорошее применение (например прикрутить туда Dreambooth, находить объект, дергать 20 более менее разных кадров, дообучать и стилизировать объект в AR).

Ох, что нас ждёт в 2023!!!

Как ИИ помог человечеству в 2022 году.

Искусственный интеллект (ИИ) может помочь в решении больших проблем и улучшении нашей жизни. От решения проблемы изменения климата до обнаружения смертоносного оружия и диагностики опасных проблем со здоровьем - ИИ продемонстрировал свой потенциал положительного влияния на мир. Вот лишь несколько примеров того, как ИИ меняет мир к лучшему:

🍀 Борьба с изменением климата: Исследователи используют ИИ для визуализации будущих последствий наводнений и лесных пожаров, улучшения процесса принятия климатических решений, мониторинга лесов и обмена данными. Среди других проектов в области климата с использованием ИИ - создание цифровых двойников планеты для проверки влияния различных мер по смягчению последствий потепления и картирование истончения морского льда.

🥗 Улучшение доступа к питательным веществам и воде: ИИ используется для точного определения мест, где население подвергается риску недоедания из-за дефицита питательных веществ. В США алгоритм помогает местным органам власти находить и удалять токсичные свинцовые трубы, которые препятствуют доступу к чистой воде.

💣 Обнаружение смертоносного оружия: Исследователи работают над системой искусственного интеллекта, которая с помощью съемок с беспилотников и машинного обучения выявляет неразорвавшиеся мины на расстоянии, чтобы их можно было безопасно обезвредить. Другой алгоритм ИИ, созданный на основе глаза мухи, может обнаруживать беспилотники, которые могут быть использованы в неблаговидных целях.

🏁 Удивительные видеоигры: Недавно программа ИИ победила человеческих чемпионов в ультрареалистичной гоночной игре Gran Turismo. Это поможет разработчикам игры создать в игре реально крутого автоматизированного соперника. Успех программы также может вдохновить исследователей на создание самоуправляемых автомобилей в реальном мире.

😷 Диагностика проблем со здоровьем: Исследователи завершили полевые испытания программы ИИ для выявления сепсиса - основной причины смерти в больницах. Результаты показали, что программа снизила количество осложнений и смертей от сепсиса, и получила положительные отзывы от медицинских работников. ИИ также используется для диагностики бактериальной инфекции на оливковых деревьях.

🧬 Взлом белкового кода: Компания DeepMind, принадлежащая Google, объявила, что ее программа ИИ AlphaFold предсказала молекулярные структуры почти всех известных белков - около 200 миллионов предполагаемых форм белков. Это крупное достижение в области биологии принесло создателям ИИ премию Breakthrough Prize в размере 3 миллионов долларов.

🍷Обзор вина и пива: Языковые модели могут помочь вам решить, что пить, объединяя существующие обзоры в сжатые, обобщенные описания. Потенциально программа может быть расширена для обзора других продуктов.

🦠 Предсказание вирусов с пандемическим потенциалом: Исследователи используют инструмент ИИ для анализа вирусных мутаций и предсказания того, когда появятся и станут доминирующими новые варианты, такие как вариант COVID-19 Omicron. Другие алгоритмы изучают эволюцию вирусов, чтобы выявить потенциальные пандемические вирусы до их появления.

Это лишь несколько примеров того, как ИИ используется для оказания положительного влияния на мир. К 2023 году стало очевидно, что эта технология обладает потенциалом для решения больших проблем и улучшения нашей жизни.

По материалам Scientific American

Топ 10 постов в канале NN for Science за 2022 год. 8ое место.

Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.

8ое место (22.7к прочтений) занимает июньский пост про расшифровку речи китов.

С тех пор особо ничего нового не случилось, разве что Бронштейн искал себе аспирантов на этот проект.

Надеюсь в следующем году нас порадуют датасетом и какой-нибудь первичной моделькой.

Гуглу конец? ChatGPT взял лидерство в соревновании по поиску.

Вы когда-нибудь искали что-то в Гугле и были разочарованы результатами? Вы не одиноки.

Недавно компания Surge AI провела исследование, сравнив производительность ChatGPT, большой языковой модели, разработанной OpenAI, с Google по ряду поисковых запросов. Результаты оказались удивительными: несмотря на то, что ChatGPT не был специально разработан для поиска, он превзошел Google по запросам о програмировании и сравнялся с ним по общим информационным запросам. Более того, когда дело дошло до специфических запросов по програмированию, ChatGPT был признан лучшим в 70% случаев.

Эти результаты свидетельствуют о том, что большие языковые модели, такие как ChatGPT, могут представлять угрозу для традиционных поисковых систем, таких как Google. Так что в следующий раз, когда вы будете испытывать трудности с поиском нужной информации, попробуйте воспользоваться ChatGPT.

🔗 Блог-пост

Почувствуй себя ChatGPT

Нейронкам необъяснимо сложно даются пальцы: и рисовать, и считать. Зная эту уязвимость, все давай ее спрашивать, сколько у кого пальцев, глаз, ушей и прочих частей тела... Тоже думаете, это тривиально?

Тада, нате вам задачка из детской книжки:

Топ 10 постов в канале NN for Science за 2022 год. 7ое место.

Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.

7ое место (26.1к прочтений) занимает июльский пост про то, как нейросети ускоряют разработку новых чипов GPU.

С тех пор вышли новые GPU от NVidia, при проектировании которых использовалась эта нейросеть. Но у железа цикл годовой, так что ждём следующего года и новых открытий.

Релокейш дестинейшн мечты для МЛ инженера

К слову о гпу. В ходе полевых исследований обнаружен район, в котором регистрационные знаки транспортных средств сплошь GPU. От жука до трактора. Умираю от зависти. Хочу жить среди графических процессоров на колесах

📍Где: Польша, г. Пуцк
🗿Пруф

@GingerSpacetail

Всем приветики из Нью-Йорка! Буду тут до 27ого, кто хочет встретиться - пишите

В продолжение поста свежая статья от New York Times, согласно которой Гугл очень серьёзно относится к возможности смены парадигмы в поиске: https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html

Статья за пейволлом, но телеграммовское instant view в мобильном приложении, похоже, позволяет без проблем её прочитать.

Google объединил self-supervised NLP подходы и получил профит на 50 задачах

Обычно GPT-like (только декодер) модели обучаются на Language Modeling (LM), энкодер-декодер - на Span Corruption (SC). Первая задача больше про экстраполяцию, вторая - про интерполяцию. Поэтому GPT умеет во few-shot и в целом лучше для генерации текстов, а условный T5 хорош в понимании классификации текста.

Ученые из гугла решили обучить модель, которая бы хорошо себя показывала на всех задачах (генерация, классификация, retrieval, QA, …) и в разных постановках (supervised дообучение, zero/few - shot).

Обучали на миксе трех лоссов:
- S-denoiser - LM-like
- R-denoiser - SC
- X-denoiser - extreme SC: спаны длиннее и/или их больше

В итоге дообучение модели с таким претрейном дает им профит на большинстве из 50+ различных задач и постановок. То есть они двигают Парето границу качества, улучшая его по нескольким направлениям.

Ещё из интересного:
- Mode switching: обучали, добавляя токен задачи [R], [S] или [X]; на дообучении помогает подставлять соответствующий токен
- X-denoiser помогает, но его одного недостаточно (и много чего ещё в ablations)
-  Их модель UL2 20B получает профит от Chain of Thought промптинга. Это эмерджентное свойство не наблюдалось у моделей средних размеров (да, 20B - средний размер :) )
- Дают soft advice: используйте энкодер-декодер архитектуру (разделение весов); похуже: только декодер, но с bidirectional attention на префикс; ещё хуже - vanilla decoder only; encoder only - deprecated
- Веса UL2 20B в открытом доступе

Paper; Blogpost

Подписывайтесь: https://tttttt.me/building_singularity
Здесь больше интересных постов про AI :)

The first prize in generative art should be this

Друзья, с наступающим или наступившим Новым годом вас! В этом году наше уютное коммьюнити выросло до размеров о которых я и мечтать не мог, а что же нас ждёт в следующем году?

Желаю всем нам, что бы война закончилась и началось светлое и прекрасное будущее!

Happy New Year!

Как построить карьеру в AI. Руководство от Andrew Ng

Новый Год 🎄, время строить планы. Если хочется научиться что-то делать в AI, но не знали с чего начать, то читайте дальше!😉

Самый главный популяризатор AI выложил в открытый доступ руководство как построить карьеру в AI.

Руководство очень просто написано и является сборником полезных советов. Можно использовать вместо ментора. Состоит из 3-х основных глав:

1️⃣ Как научиться
2️⃣ Как выбрать проект
3️⃣ Как найти работу

Эндрю дает простые, но важные советы как побороть синдром самозванца, нужно ли глубоко знать математику, и пожалуй самое главное, как правильно выбирать проекты для своего AI портфолио (спойлер, лучше сразу делайте что-то на пересечении вашей экспертизы/того что вам интересно и AI)

Инджой

Выпал на новогодние праздники (которые у меня в этом году случились по всем календарям кроме русского), и конечно же миллион событий и осознанных встреч. Но давайте попробуем вкатиться обратно.

Обнаружение марсотрясений с помощью методов машинного обучения

Ребята из ETH рассказывают как наконец то смогли убедить упертых геологов, что машинное обучение это круто и как его можно использовать для изучения Марса ☄️.

Блог-пост

фотка кстати настоящая со спутника