Как со временем меняется производительность моделей ChatGPT?
Исследователи из Berkeley и Stanford обнаружили, что производительность моделей ChatGPT может сильно меняться за короткий промежуток времени.
Например, GPT-4 (март 2023 г.) хорошо справился с определением простых и составных чисел (точность 84%), но GPT-4 (июнь 2023 г.) плохо справился с этими же вопросами (точность 51%). Интересно, что GPT-3.5 в июне справлялась с этой задачей гораздо лучше, чем в марте. 🤨
В июне GPT-4 стал менее охотно отвечать на деликатные вопросы и обсуждать опросы общественного мнения, чем в марте. 🤬
GPT-4 в июне показал лучшие результаты в ответах на многосегментные вопросы, чем в марте, тогда как производительность GPT-3.5 в этой задаче снизилась. ❔
Результаты исследования подчеркивают необходимость постоянного мониторинга LLMs 👀
📚Статья
@innovationitsme
Исследователи из Berkeley и Stanford обнаружили, что производительность моделей ChatGPT может сильно меняться за короткий промежуток времени.
Например, GPT-4 (март 2023 г.) хорошо справился с определением простых и составных чисел (точность 84%), но GPT-4 (июнь 2023 г.) плохо справился с этими же вопросами (точность 51%). Интересно, что GPT-3.5 в июне справлялась с этой задачей гораздо лучше, чем в марте. 🤨
В июне GPT-4 стал менее охотно отвечать на деликатные вопросы и обсуждать опросы общественного мнения, чем в марте. 🤬
GPT-4 в июне показал лучшие результаты в ответах на многосегментные вопросы, чем в марте, тогда как производительность GPT-3.5 в этой задаче снизилась. ❔
Результаты исследования подчеркивают необходимость постоянного мониторинга LLMs 👀
📚Статья
@innovationitsme
❤11🤯7🔥1
Сходил на хакатон в Кремниевой Долине. Андрей Карпаты, Сергей Брин, Граймс, ElutherAI и dadabots 🤯. А сам хакатон проходил в огроменном особняке!
🤯79🔥37👍8❤6
Forwarded from эйай ньюз
Аннотированный код
Наткнулся на классный сайт, где собран код некоторых популярных моделей (или их частей), например Stable Diffusion, GPT, Switch Tranformer, MPL-Mixer и др. Весь цимес в том, что каждая строка кода задокументирована, и показаны соответствующие математические формулы.
Будет полезно тем, кто любит начининать изучать модели сразу с кода. Как раз занятие на воскресенье.
На скринах - код DDIM и Adam.
https://nn.labml.ai/
@ai_newz
Наткнулся на классный сайт, где собран код некоторых популярных моделей (или их частей), например Stable Diffusion, GPT, Switch Tranformer, MPL-Mixer и др. Весь цимес в том, что каждая строка кода задокументирована, и показаны соответствующие математические формулы.
Будет полезно тем, кто любит начининать изучать модели сразу с кода. Как раз занятие на воскресенье.
На скринах - код DDIM и Adam.
https://nn.labml.ai/
@ai_newz
🔥51🤩3👍2
Forwarded from Лекторий
17.08 Лекторий о том, как мы воспринимаем реальность.
Вы когда-нибудь задумывались, почему мы видим мир именно таким, каким видим? Почему то, что кажется реальностью одному человеку, может совершенно по-разному восприниматься другим?
На лектории "Взгляд изнутри" мы попытаемся заглянуть в самые глубины человеческого сознания и разобраться, как устроено наше восприятие реальности, от чего оно зависит и как его можно расширить.
Своими взглядами поделятся:
🔆 Станислав Лео – Экзистенциальный и психоделический психотерапевт, предприниматель создатель бота «Эпикур»
🔆 Саша Березович – Психотерапевтка, СДВГ-информированная специалистка и авторка канала «Саша об СДВГ»
🔆 Захар Коган – Аналитик и исследователь, автор BOI DIARIES
🔆 Екатерина Прасова – Соосновательница ArtNeuroVerse Biennale и мама художницы с аутизмом
📍 Almacén Gallery HaPninim 1, Tel Aviv
🕦 17 августа, в 19:00
💰 Стоимость билета: 80 шек
ПОСЛЕДНИЕ Билеты: https://get-in.com/lectorium
Вы когда-нибудь задумывались, почему мы видим мир именно таким, каким видим? Почему то, что кажется реальностью одному человеку, может совершенно по-разному восприниматься другим?
На лектории "Взгляд изнутри" мы попытаемся заглянуть в самые глубины человеческого сознания и разобраться, как устроено наше восприятие реальности, от чего оно зависит и как его можно расширить.
Своими взглядами поделятся:
🔆 Станислав Лео – Экзистенциальный и психоделический психотерапевт, предприниматель создатель бота «Эпикур»
🔆 Саша Березович – Психотерапевтка, СДВГ-информированная специалистка и авторка канала «Саша об СДВГ»
🔆 Захар Коган – Аналитик и исследователь, автор BOI DIARIES
🔆 Екатерина Прасова – Соосновательница ArtNeuroVerse Biennale и мама художницы с аутизмом
📍 Almacén Gallery HaPninim 1, Tel Aviv
🕦 17 августа, в 19:00
💰 Стоимость билета: 80 шек
ПОСЛЕДНИЕ Билеты: https://get-in.com/lectorium
🔥4👍2😁2🤯1😢1
🔬 Искусственный интеллект помогает создать лучшие батареи!
7 лет назад начался проект, в котором ИИ играл ключевую роль. Исследователи из Стенфорда разработали алгоритмы машинного обучения для отбора материалов, которые могли бы стать основой более стабильных и долговечных батарей.
🤖 С помощью ИИ из более чем 12 000 известных литийсодержащих материалов было отобрано 21 перспективное соединение. Машинное обучение предсказало, что LBS (не путать с LK99) может обладать электрохимическими свойствами, превосходящими существующие материалы.
⚡️ LBS оказался самым стабильным серосодержащим литий-ионным электролитом, который может удерживать высокие уровни заряда без разрушения.
🔋 Это открытие не только подтвердило эффективность скрининга на основе машинного обучения, но и ускорило процесс открытия полезных соединений, который без ИИ мог бы занять гораздо больше времени.
🧪 Теперь команда планирует дальнейшее улучшение LBS и исследование новых материалов для более безопасных твердотельных батарей.
Статья
Блог-пост
7 лет назад начался проект, в котором ИИ играл ключевую роль. Исследователи из Стенфорда разработали алгоритмы машинного обучения для отбора материалов, которые могли бы стать основой более стабильных и долговечных батарей.
🤖 С помощью ИИ из более чем 12 000 известных литийсодержащих материалов было отобрано 21 перспективное соединение. Машинное обучение предсказало, что LBS (не путать с LK99) может обладать электрохимическими свойствами, превосходящими существующие материалы.
⚡️ LBS оказался самым стабильным серосодержащим литий-ионным электролитом, который может удерживать высокие уровни заряда без разрушения.
🔋 Это открытие не только подтвердило эффективность скрининга на основе машинного обучения, но и ускорило процесс открытия полезных соединений, который без ИИ мог бы занять гораздо больше времени.
🧪 Теперь команда планирует дальнейшее улучшение LBS и исследование новых материалов для более безопасных твердотельных батарей.
Статья
Блог-пост
👍18🔥12🤯4
Forwarded from Институт AIRI
⚡️Самый долгожданный пост этого лета!
Записи лекций и семинаров летней школы по искусственному интеллекту «Лето с AIRI» с ведущими учеными из научно-исследовательских организаций и ВУЗов выложены на YouTube-канал.
🖇 Сохраняйте ссылку на плейлист
В этом году на Школе было много направлений: от обучения с подкреплением, робототехники, 3D компьютерного зрения до детектирования и диагностики аномалий в промышленности.
Институт AIRI
Записи лекций и семинаров летней школы по искусственному интеллекту «Лето с AIRI» с ведущими учеными из научно-исследовательских организаций и ВУЗов выложены на YouTube-канал.
🖇 Сохраняйте ссылку на плейлист
В этом году на Школе было много направлений: от обучения с подкреплением, робототехники, 3D компьютерного зрения до детектирования и диагностики аномалий в промышленности.
Институт AIRI
🔥13🤯6👍2❤1😱1
Бесплатный курс: «ИИ для педагогов»
В этом году ChatGPT прогремел на весь мир, и особенно жаркие дебаты разгорелись на почве того, как ИИ изменит образование. Кто-то кричит - запретить, кто-то придумывает креативные задания на совместное творчество. Большинству же педагогов - пофиг, потому что ничего не понятно. Новый курс "AI 101 для Учителей" предлагает учителям заглянуть в будущее педагогики с позиций ИИ.
ИИ - это инструмент, и как любой инструмент, он требует понимания. Для эффективного применения в классной комнате учителям важно освоить основы технологии, понять её возможности и ограничения. В курсе особое внимание уделяют и этическим аспектам: вопросам ответственности и предвзятости (баесов).
Курс, разработанный совместно с такими авторитетами как Code.org, ETS, ISTE и Khan Academy, предлагает ресурсы и экспертные мнения, чтобы помочь педагогам не просто познакомиться, но и адаптировать ИИ для своих нужд в образовании.
Сайт курса
В этом году ChatGPT прогремел на весь мир, и особенно жаркие дебаты разгорелись на почве того, как ИИ изменит образование. Кто-то кричит - запретить, кто-то придумывает креативные задания на совместное творчество. Большинству же педагогов - пофиг, потому что ничего не понятно. Новый курс "AI 101 для Учителей" предлагает учителям заглянуть в будущее педагогики с позиций ИИ.
ИИ - это инструмент, и как любой инструмент, он требует понимания. Для эффективного применения в классной комнате учителям важно освоить основы технологии, понять её возможности и ограничения. В курсе особое внимание уделяют и этическим аспектам: вопросам ответственности и предвзятости (баесов).
Курс, разработанный совместно с такими авторитетами как Code.org, ETS, ISTE и Khan Academy, предлагает ресурсы и экспертные мнения, чтобы помочь педагогам не просто познакомиться, но и адаптировать ИИ для своих нужд в образовании.
Сайт курса
👍2🔥2🤯2
🖥️ LLaMa.cpp: начало эпохи персональных ИИ ассистентов!
Кто бы мог подумать, что огромные языковые модели LLM однажды будут работать на обычных MacBook? llama.cpp демонстрирует, что это уже реальность.
LLaMa это новейшая языковая модель от компании Мета. Открытая архитектура LLaMa позволяет широкому кругу пользователей, включая исследователей, бизнес и стартапы, максимально реализовать возможности AI. LLaMa.cpp — это ультралегкая реализация LLaMa на C++, которая реально заводится на ноутбуке.
Оказалось, что все дело в скорости памяти. Даже несмотря на меньший объем вычислительных ресурсов, MacBook M2 по скорости памяти может сравниться с мощными серверами (если данных мало: batch_size=1, то есть модель за раз говорит только с одним человеком). Однако, на больших объемах данных (batch_size=160+) мощь больших серверов остается непревзойденной (когда модель должна параллельно разговаривать с несколькими людьми).
Вывод: Мы на пороге новой эры, когда каждый сможет иметь свою персональную модель LLM прямо у себя дома и работать с ней офлайн.
🤓 Статья
🤩 твит Карпати
Кто бы мог подумать, что огромные языковые модели LLM однажды будут работать на обычных MacBook? llama.cpp демонстрирует, что это уже реальность.
LLaMa это новейшая языковая модель от компании Мета. Открытая архитектура LLaMa позволяет широкому кругу пользователей, включая исследователей, бизнес и стартапы, максимально реализовать возможности AI. LLaMa.cpp — это ультралегкая реализация LLaMa на C++, которая реально заводится на ноутбуке.
Оказалось, что все дело в скорости памяти. Даже несмотря на меньший объем вычислительных ресурсов, MacBook M2 по скорости памяти может сравниться с мощными серверами (если данных мало: batch_size=1, то есть модель за раз говорит только с одним человеком). Однако, на больших объемах данных (batch_size=160+) мощь больших серверов остается непревзойденной (когда модель должна параллельно разговаривать с несколькими людьми).
Вывод: Мы на пороге новой эры, когда каждый сможет иметь свою персональную модель LLM прямо у себя дома и работать с ней офлайн.
🤓 Статья
🤩 твит Карпати
🔥43❤9👍9
Бесплатный курс по семантическому поиску
Хотите углубить свои знания в мире больших языковых моделей? DeepLearning.AI выпустили новый короткий курс "Large Language Models with Semantic Search".
На этом курсе вы научитесь приспосабливать большие языковые модели для поиска информации на сайтах с обширным количеством контента. Вместо традиционного поиска по ключевым словам, представьте возможность задавать вопросы человеческим языком и получать на них максимально релевантные ответы.
Два профессионала в области машинного обучения, Jay Alammar (это который Illustrated Transformer) и Luis Serrano из Cohere, расскажут:
- Как работает основной поиск по ключевым словам.
- Как улучшить результаты поиска с помощью новых методов.
- И, самое главное, как интегрировать эти методы в ваш собственный веб-сайт.
Почему это важно? Представьте, что ваш сайт или приложение может понимать запросы пользователей на новом уровне, предоставляя им именно то, что они ищут. Это может радикально улучшить их опыт и, как следствие, увеличить время, которое они проводят на вашем ресурсе.
Курс подойдет всем, кто уже знаком с Python и хочет расширить свои горизонты.
Самое лучшее? Запись на курс сейчас бесплатна! (пока они тестируют площадку)
🤓 Курс
Хотите углубить свои знания в мире больших языковых моделей? DeepLearning.AI выпустили новый короткий курс "Large Language Models with Semantic Search".
На этом курсе вы научитесь приспосабливать большие языковые модели для поиска информации на сайтах с обширным количеством контента. Вместо традиционного поиска по ключевым словам, представьте возможность задавать вопросы человеческим языком и получать на них максимально релевантные ответы.
Два профессионала в области машинного обучения, Jay Alammar (это который Illustrated Transformer) и Luis Serrano из Cohere, расскажут:
- Как работает основной поиск по ключевым словам.
- Как улучшить результаты поиска с помощью новых методов.
- И, самое главное, как интегрировать эти методы в ваш собственный веб-сайт.
Почему это важно? Представьте, что ваш сайт или приложение может понимать запросы пользователей на новом уровне, предоставляя им именно то, что они ищут. Это может радикально улучшить их опыт и, как следствие, увеличить время, которое они проводят на вашем ресурсе.
Курс подойдет всем, кто уже знаком с Python и хочет расширить свои горизонты.
Самое лучшее? Запись на курс сейчас бесплатна! (пока они тестируют площадку)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12😱4👍3
ИИ образование для сотрудников Конгресса
Искусственный интеллект (ИИ) произвел настоящую революцию в нашем мире. За этой революцией подтягиваются изменения в экономике и обществе. Соответственно, регулирование ИИ становится все более и более необходимым (для того что бы гарантировать, что технология используется ответственно и безопасно).
Но есть нюанс, большинство законотворцев вообще не понимают что такое ИИ и как он работает.
Конгресс США стоит на переднем крае принятия решений, которые будут формировать будущее ИИ. Но как они могут регулировать то в чем вообще не разбираются?
Именно поэтому Стенфордский Институт Человекоцентричного ИИ (Stanford HAI) решил взять инициативу в свои руки. Они провели трехдневный интенсив для сотрудников Конгресса.
С 7 по 9 августа на кампусе Stanford, 28 сотрудников из обеих палат Конгресса собрались, чтобы узнать о потенциале ИИ у ведущих академиков и понять, как регулировать эту новую технологию.
Большой вопрос конечно, сколько экспертности можно приобрести за 3 дня, но лучше хоть так, чем никак.
🙃 Новость
На фото Кандализа Райз (бывшая глава ГосДепа) и Фей-Фей Ли (мама ImageNet) о чем то увлеченно беседуют.
Искусственный интеллект (ИИ) произвел настоящую революцию в нашем мире. За этой революцией подтягиваются изменения в экономике и обществе. Соответственно, регулирование ИИ становится все более и более необходимым (для того что бы гарантировать, что технология используется ответственно и безопасно).
Но есть нюанс, большинство законотворцев вообще не понимают что такое ИИ и как он работает.
Конгресс США стоит на переднем крае принятия решений, которые будут формировать будущее ИИ. Но как они могут регулировать то в чем вообще не разбираются?
Именно поэтому Стенфордский Институт Человекоцентричного ИИ (Stanford HAI) решил взять инициативу в свои руки. Они провели трехдневный интенсив для сотрудников Конгресса.
С 7 по 9 августа на кампусе Stanford, 28 сотрудников из обеих палат Конгресса собрались, чтобы узнать о потенциале ИИ у ведущих академиков и понять, как регулировать эту новую технологию.
Большой вопрос конечно, сколько экспертности можно приобрести за 3 дня, но лучше хоть так, чем никак.
На фото Кандализа Райз (бывшая глава ГосДепа) и Фей-Фей Ли (мама ImageNet) о чем то увлеченно беседуют.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13😁6❤5🔥1🤯1
Неочевидное общее между марсианской грязью и карбонизированными чернилами на древних папирусах
Весной мы писали о соревновании Vesuvius Challenge по восстановлению из пепла (в буквальном смысле) библиотеки когда-то роскошной виллы Люция Пизона, тестя Юлия Цезаря. Вилла находилась в Геркулануме, а город, равно как и Помпеи, прекратил существование во время извержения Везувия осенью 79 года.
С момента объявления соревнования призовой фонд увеличился до $1 млн, оказалось, что "stack more layers" не оч работает, а человеческие глаза и мозги по-прежнему незаменимые части ИИ.
Напомним, что ценность собрания свитков в том, содержание библиотеки вполне может изменить историю. Например, есть хорошие шансы найти подробное описание римской истории в конце царствования Тиберия, в то самое время, когда, как предполагается, жил Иисус.
В 2015 году рентгеновские снимки свертков научились виртуально разворачивать (Seales et. al). В 2023 крайне любопытная мысль пришла от одного из участников соревнования.
Кейси Хэндмер, отрудник НАСА, автор книг по индустриализации Марса и основатель Teraform Industries уже 8 лет смотрит на поверхность Марса, где одна из самых информативных частей - текстура потрескавшейся грязи.
Отдельные $100к соревнования посвящены задаче детекции чернил на изображении, изобилующем артефактами, следами изломов, органики и волокон.
Угадайте, на что по предположению Кейси похожи чернила? Ага, на потрескавшуюся и отслаивающуюся грязь.
Он набросал в mathematica алгос для проверки гипотезы, и похоже, что для решения задачи поиска текста нужно хорошенько препоцессить датасет неDL методами, чтобы нейронки искали действительно релевантные символы. Причем, очень нелишним было бы добавить LLM, натренинную на древне-греческих текстах, чтобы создать распределение вероятностей для следующего символа и полирнуть байесовским тестом для видимых фрагментов чернил, чтобы обновить вероятность.
Обожаю, когда экспертность в одной области позволяет сдвинуть границу знаний в совершенно другой науке.
@GingerSpacetail
Весной мы писали о соревновании Vesuvius Challenge по восстановлению из пепла (в буквальном смысле) библиотеки когда-то роскошной виллы Люция Пизона, тестя Юлия Цезаря. Вилла находилась в Геркулануме, а город, равно как и Помпеи, прекратил существование во время извержения Везувия осенью 79 года.
С момента объявления соревнования призовой фонд увеличился до $1 млн, оказалось, что "stack more layers" не оч работает, а человеческие глаза и мозги по-прежнему незаменимые части ИИ.
Напомним, что ценность собрания свитков в том, содержание библиотеки вполне может изменить историю. Например, есть хорошие шансы найти подробное описание римской истории в конце царствования Тиберия, в то самое время, когда, как предполагается, жил Иисус.
В 2015 году рентгеновские снимки свертков научились виртуально разворачивать (Seales et. al). В 2023 крайне любопытная мысль пришла от одного из участников соревнования.
Кейси Хэндмер, отрудник НАСА, автор книг по индустриализации Марса и основатель Teraform Industries уже 8 лет смотрит на поверхность Марса, где одна из самых информативных частей - текстура потрескавшейся грязи.
Отдельные $100к соревнования посвящены задаче детекции чернил на изображении, изобилующем артефактами, следами изломов, органики и волокон.
Угадайте, на что по предположению Кейси похожи чернила? Ага, на потрескавшуюся и отслаивающуюся грязь.
Он набросал в mathematica алгос для проверки гипотезы, и похоже, что для решения задачи поиска текста нужно хорошенько препоцессить датасет неDL методами, чтобы нейронки искали действительно релевантные символы. Причем, очень нелишним было бы добавить LLM, натренинную на древне-греческих текстах, чтобы создать распределение вероятностей для следующего символа и полирнуть байесовским тестом для видимых фрагментов чернил, чтобы обновить вероятность.
Обожаю, когда экспертность в одной области позволяет сдвинуть границу знаний в совершенно другой науке.
@GingerSpacetail
🔥43👍8❤6
Media is too big
VIEW IN TELEGRAM
Чтобы оказаться в фильме "Она" вам всего лишь нужно... Arduino, GPT4 и Whisper
Техно-оптимист Джастин Алви (ex @CovarianAI) cделал на основе Google Nest Mini ту самую виртуальную помощницу и поделился с нами репо.
Ура! Теперь мы тоже можем ревновать к Алану Уотсу. Кстати, в 2023 его голос можно достоверно клонировать (что и сделал Алви). Надеюсь, Спайку Джонзу уже передали, что эту сцену придется переснять.
🟥Код
@GingerSpacetail
Техно-оптимист Джастин Алви (ex @CovarianAI) cделал на основе Google Nest Mini ту самую виртуальную помощницу и поделился с нами репо.
Ура! Теперь мы тоже можем ревновать к Алану Уотсу. Кстати, в 2023 его голос можно достоверно клонировать (что и сделал Алви). Надеюсь, Спайку Джонзу уже передали, что эту сцену придется переснять.
🟥Код
@GingerSpacetail
🔥28👍6❤2
Magic AI: Добро пожаловать в первый "Даталолом"!
Эра ИИ требует данных! В Magic AI это осознают и готовы платить за ваши данные. Получите $100 за каждый GiB!
Имеете лишний даталолом объемом 10 TiB? Обещают перевести $1,000,000! Особенно, говорят, что ценят данные из мира программирования и науки.
Поделитесь своим "цифровым металлоломом" с Magic AI и, возможно, войдите в историю ИИ!
🤑 Продать данные
Эра ИИ требует данных! В Magic AI это осознают и готовы платить за ваши данные. Получите $100 за каждый GiB!
Имеете лишний даталолом объемом 10 TiB? Обещают перевести $1,000,000! Особенно, говорят, что ценят данные из мира программирования и науки.
Поделитесь своим "цифровым металлоломом" с Magic AI и, возможно, войдите в историю ИИ!
🤑 Продать данные
🤯18❤4🔥3