Большие языковые модели умеют предсказывать будущее (ну почти)
Исследователи выяснили, что языковые модели типа GPT-3 отлично предсказывают тренды временных рядов без обучения на таких данных.
Оказывается, если записать числа как текст и считать прогноз следующим словом, эти модели выдают хорошие результаты.
Более того, в некоторых случаях, они превосходят специализированные методы прогнозирования, которые годами обучались на этих данных.
Ещё языковые модели хорошо работают даже с малым объёмом данных и естественным образом описывают неопределённость прогноза.
Чем мощнее модель, тем точнее прогноз. Но модели с подстройкой под людей (RLHF) выдают худший результат (интересно, а если сделать файн-тюн на временные ряды?)
Языковые модели также умеют работать с пропусками в данных и отвечать на вопросы о прогнозах.
Исследователи опубликовали код, чтобы можно было применить их подход к любым моделям.
В целом, это открытие показывает огромные возможности языковых моделей для анализа трендов!
🔖 Статья
🐥 X thread
🚜 Код
Исследователи выяснили, что языковые модели типа GPT-3 отлично предсказывают тренды временных рядов без обучения на таких данных.
Оказывается, если записать числа как текст и считать прогноз следующим словом, эти модели выдают хорошие результаты.
Более того, в некоторых случаях, они превосходят специализированные методы прогнозирования, которые годами обучались на этих данных.
Ещё языковые модели хорошо работают даже с малым объёмом данных и естественным образом описывают неопределённость прогноза.
Чем мощнее модель, тем точнее прогноз. Но модели с подстройкой под людей (RLHF) выдают худший результат (интересно, а если сделать файн-тюн на временные ряды?)
Языковые модели также умеют работать с пропусками в данных и отвечать на вопросы о прогнозах.
Исследователи опубликовали код, чтобы можно было применить их подход к любым моделям.
В целом, это открытие показывает огромные возможности языковых моделей для анализа трендов!
🔖 Статья
🐥 X thread
🚜 Код
❤35🔥17😱7👍6🎉1
Манифест технооптимизма - за прогресс и изобилие через технологии
Тут Андреесен из a16z (крупный венчурный фонд) выложил любопытный документ под названием "Технооптимистический манифест". Его авторы призывают отказаться от технофобии и вновь поднять знамя прогресса и технологий.
Они утверждают, что технологии - это двигатель цивилизации, источник экономического роста и повышения уровня жизни. По их мнению, мы должны сознательно ускорять технологическое развитие, чтобы обеспечить изобилие для всех.
Авторы верят в силу свободных рынков и предпринимательства для создания новых товаров и услуг, удовлетворяющих безграничные человеческие потребности.
Они также убеждены в пользе искусственного интеллекта, который в симбиозе с человеком откроет немыслимые возможности. Доступная энергия, по их мнению, тоже критически важна для продвижения вперёд.
В целом, авторы призывают отказаться от страхов и чувства вины, вернуть веру в прогресс и снова начать амбициозно строить лучший технологический мир.
Как вы считаете, технооптимизм - это путь вперёд или ошибочная идеология? Буду рад обсудить в комментариях!
👏 Манифест
Тут Андреесен из a16z (крупный венчурный фонд) выложил любопытный документ под названием "Технооптимистический манифест". Его авторы призывают отказаться от технофобии и вновь поднять знамя прогресса и технологий.
Они утверждают, что технологии - это двигатель цивилизации, источник экономического роста и повышения уровня жизни. По их мнению, мы должны сознательно ускорять технологическое развитие, чтобы обеспечить изобилие для всех.
Авторы верят в силу свободных рынков и предпринимательства для создания новых товаров и услуг, удовлетворяющих безграничные человеческие потребности.
Они также убеждены в пользе искусственного интеллекта, который в симбиозе с человеком откроет немыслимые возможности. Доступная энергия, по их мнению, тоже критически важна для продвижения вперёд.
В целом, авторы призывают отказаться от страхов и чувства вины, вернуть веру в прогресс и снова начать амбициозно строить лучший технологический мир.
Как вы считаете, технооптимизм - это путь вперёд или ошибочная идеология? Буду рад обсудить в комментариях!
👏 Манифест
🔥32❤11😁10🎉5😢2👍1😐1
Превращаем фото в картину с помощью ChatGPT
Делаем фото -> в ChatGPT со зрением -> «
Делаем фото -> в ChatGPT со зрением -> «
Please write dalle prompt to recreate this image in details» -> "A nighttime scene overlooking San Francisco from Alamo Square. The city skyline glows ..." -> вставляем в Dall-E внутри ChatGPT -> получаем картинку справа.👍31🔥25❤7
Нейросеть Meta расшифровывает картинки прямо из мозга
Исследователи из Meta продолжают разрабатывать нейросеть, которая в режиме реального времени может восстанавливать изображения, которые человек видит перед глазами, анализируя активность его мозга.
Для записи активности мозга используется технология магнитоэнцефалографии (МЭГ). Она позволяет за секунду получить тысячи измерений работы мозга.
Нейросеть состоит из трёх частей:
1. Энкодер изображений, который создаёт их векторное представление.
2. Энкодер активности мозга, который выравнивает сигналы МЭГ с векторами изображений.
3. Декодер изображений, генерирующий картинку по мозговой активности.
Эта система показала хорошие результаты в тестах. Она может декодировать высокоуровневые черты изображений, такие как категории объектов. Правда пока не идеально воспроизводит низкоуровневые детали.
Тем не менее, это важный прогресс в понимании работы зрительной системы мозга и разработке интерфейсов "мозг-компьютер" (а заодно и VR/AR).
📽️ Блог-пост и видосы
🔖 Статья
Исследователи из Meta продолжают разрабатывать нейросеть, которая в режиме реального времени может восстанавливать изображения, которые человек видит перед глазами, анализируя активность его мозга.
Для записи активности мозга используется технология магнитоэнцефалографии (МЭГ). Она позволяет за секунду получить тысячи измерений работы мозга.
Нейросеть состоит из трёх частей:
1. Энкодер изображений, который создаёт их векторное представление.
2. Энкодер активности мозга, который выравнивает сигналы МЭГ с векторами изображений.
3. Декодер изображений, генерирующий картинку по мозговой активности.
Эта система показала хорошие результаты в тестах. Она может декодировать высокоуровневые черты изображений, такие как категории объектов. Правда пока не идеально воспроизводит низкоуровневые детали.
Тем не менее, это важный прогресс в понимании работы зрительной системы мозга и разработке интерфейсов "мозг-компьютер" (а заодно и VR/AR).
📽️ Блог-пост и видосы
🔖 Статья
🤯29🔥9👍6
AI завоюет наши компьютеры и смартфоны
Есть такой знаменитый дядька - Andrew Ng (основатель Coursera), его команда в AI Fund увидела потенциал модели GPT-3 за два года до выхода ChatGPT. Сейчас он рискнул сделать ещё одно предсказание: он думает, что мы увидим значительный рост приложений искусственного интеллекта, включая генеративный ИИ, работающих на периферийных устройствах - ПК, ноутбуках, смартфонах.
Я понимаю, что это идёт вразрез с общепринятой мудростью. Большинство ИИ сейчас работает в облачных дата-центрах, а не на периферийных устройствах. Для этого есть веские причины:
• Мощные языковые модели требуют огромных вычислительных ресурсов.
• Многие бизнесы предпочитают облачные SaaS-продукты, а не софт для периферийных устройств.
• Многие разработчики привыкли к созданию облачных приложений.
Но я думаю, эти факторы не остановят рост ИИ на периферии. Вот почему:
• Небольшие модели уже работают довольно неплохо на современных устройствах.
• Многим пользователям важна конфиденциальность данных.
• Производители чипов и ПК/ноутбуков крайне заинтересованы в том, чтобы стимулировать использование ИИ на периферии.
В AI Fund, Эндрю и компания изучают различные приложения ИИ для периферийных устройств и они считают, что здесь будут интересные возможности. Например, одновременный запуск нескольких моделей на одном чипе.
Я думаю, нам всем стоит изучить перспективы ИИ на устройствах пользователя.
Делитесь мыслями и идеями в комментах!
Есть такой знаменитый дядька - Andrew Ng (основатель Coursera), его команда в AI Fund увидела потенциал модели GPT-3 за два года до выхода ChatGPT. Сейчас он рискнул сделать ещё одно предсказание: он думает, что мы увидим значительный рост приложений искусственного интеллекта, включая генеративный ИИ, работающих на периферийных устройствах - ПК, ноутбуках, смартфонах.
Я понимаю, что это идёт вразрез с общепринятой мудростью. Большинство ИИ сейчас работает в облачных дата-центрах, а не на периферийных устройствах. Для этого есть веские причины:
• Мощные языковые модели требуют огромных вычислительных ресурсов.
• Многие бизнесы предпочитают облачные SaaS-продукты, а не софт для периферийных устройств.
• Многие разработчики привыкли к созданию облачных приложений.
Но я думаю, эти факторы не остановят рост ИИ на периферии. Вот почему:
• Небольшие модели уже работают довольно неплохо на современных устройствах.
• Многим пользователям важна конфиденциальность данных.
• Производители чипов и ПК/ноутбуков крайне заинтересованы в том, чтобы стимулировать использование ИИ на периферии.
В AI Fund, Эндрю и компания изучают различные приложения ИИ для периферийных устройств и они считают, что здесь будут интересные возможности. Например, одновременный запуск нескольких моделей на одном чипе.
Я думаю, нам всем стоит изучить перспективы ИИ на устройствах пользователя.
Делитесь мыслями и идеями в комментах!
👍36🔥8🤩3
У ChatGPT + Dall-E 3 все нормально с географией, но виды Подмосковья генерировать запрещено 🚫
Еду из Сан-Франциско в Лос Анжелес, ехать долго и решил потестировать географическое понимание мира у ChatGPT. Довольно рандомно выбирал точки с карты:
1. (36.9952667, -110.9813534) рядом с Monument Valley
2. (77.8135165, -67.3879417) где то в Гренландии
3. (55.8617384, 37.0854734) Подмосковье отказалась генерировать
4. (30.5982019, 34.7314079) пустыня в Израиле
5. (40.5260673, 127.9315223) где то в Северной Корее
Почему то Северная Корея OpenAI не смущает 🫤
Еду из Сан-Франциско в Лос Анжелес, ехать долго и решил потестировать географическое понимание мира у ChatGPT. Довольно рандомно выбирал точки с карты:
1. (36.9952667, -110.9813534) рядом с Monument Valley
2. (77.8135165, -67.3879417) где то в Гренландии
4. (30.5982019, 34.7314079) пустыня в Израиле
5. (40.5260673, 127.9315223) где то в Северной Корее
Почему то Северная Корея OpenAI не смущает 🫤
🔥25😁13👍9❤5😱4😢1
Датасеты стратегических игр для буста способностей GPT-like моделей
Делимся с вами новыми крутыми игровыми датасетами:
- Шахматы: 3,2 миллиарда партий / 608 миллиардов отдельных ходов
- Кубик рубика (3х3х3): 1,64 миллиарда решений / 236,39 миллиарда ходов
- Лабиринты : 350 000 лабиринтов / более 39,29 миллиардов ходов
Почему эти датасеты крутые? 👀
Шахматные датасеты создавались посредством самостоятельной игры с помощью сложного движка, состояния кубика Рубика были рандомизированы, а затем решались с помощью передового инструмента решения, а лабиринты создавались процедурно и решались с использованием надёжного алгоритма поиска пути.
Разработчики приглашают к совместным исследованиям 🔭
Команда даже готова помочь с необходимыми GPU ресурсами. Можно претрейнить или фантьюнить - любые эксперименты приветствуются. Но они особенно заинтересованы в тех, кто готов предварительно обучить модели малого и среднего масштаба на этих игровых данных, а затем перейти к стандартному обучению на текстовых данных. Особенно интересно потом сравнить с моделями аналогичной архитектуры, обученными исключительно на текстовых данных.
Идея очень понятная - если людям стратегические игры развивают критическое мышление, логику и способности решать проблемы, то и эмерджентные свойства фундаментальных моделей это может серьезно улучшить.
🖥️ Датасеты
Делимся с вами новыми крутыми игровыми датасетами:
- Шахматы: 3,2 миллиарда партий / 608 миллиардов отдельных ходов
- Кубик рубика (3х3х3): 1,64 миллиарда решений / 236,39 миллиарда ходов
- Лабиринты : 350 000 лабиринтов / более 39,29 миллиардов ходов
Почему эти датасеты крутые? 👀
Шахматные датасеты создавались посредством самостоятельной игры с помощью сложного движка, состояния кубика Рубика были рандомизированы, а затем решались с помощью передового инструмента решения, а лабиринты создавались процедурно и решались с использованием надёжного алгоритма поиска пути.
Разработчики приглашают к совместным исследованиям 🔭
Команда даже готова помочь с необходимыми GPU ресурсами. Можно претрейнить или фантьюнить - любые эксперименты приветствуются. Но они особенно заинтересованы в тех, кто готов предварительно обучить модели малого и среднего масштаба на этих игровых данных, а затем перейти к стандартному обучению на текстовых данных. Особенно интересно потом сравнить с моделями аналогичной архитектуры, обученными исключительно на текстовых данных.
Идея очень понятная - если людям стратегические игры развивают критическое мышление, логику и способности решать проблемы, то и эмерджентные свойства фундаментальных моделей это может серьезно улучшить.
🖥️ Датасеты
🔥33👍14❤5
PyTorch позволяет компилировать NumPy код для параллельных вычислений
Хотя NumPy частично основан на API для операций линейной алгебры (BLAS), а библиотеки BLAS по умолчанию используют несколько потоков для ускорения некоторых операций, сам NumPy напрямую не поддерживает параллельные вычисления.
Начиная с версии 2.1, PyTorch может компилировать NumPy в оптимизированный для параллельных вычислений C-код, без необходимости изменять исходный код. Все, что нужно - скомпилировать NumPy код используя
Более того, PyTorch также позволяет выполнять код NumPy на CUDA, просто запустив его в контексте
Простой бенчмарк на примере kmeans показывает 9х прирост в производительности OpenMP кода на одном ядре, по сравнения с обычным NumPy, 57х на 32 ядрах и 200х на RTX 2060.
📰 Источник
Хотя NumPy частично основан на API для операций линейной алгебры (BLAS), а библиотеки BLAS по умолчанию используют несколько потоков для ускорения некоторых операций, сам NumPy напрямую не поддерживает параллельные вычисления.
Начиная с версии 2.1, PyTorch может компилировать NumPy в оптимизированный для параллельных вычислений C-код, без необходимости изменять исходный код. Все, что нужно - скомпилировать NumPy код используя
torch.compile. В результате код NumPy будет скомпилирован в распараллеленный OpenMP код, а операции будут объединены, где это возможно, для еще более эффективных вычислений.Более того, PyTorch также позволяет выполнять код NumPy на CUDA, просто запустив его в контексте
torch.device("cuda")! В этом случае код будет скомпилирован в triton.Простой бенчмарк на примере kmeans показывает 9х прирост в производительности OpenMP кода на одном ядре, по сравнения с обычным NumPy, 57х на 32 ядрах и 200х на RTX 2060.
📰 Источник
🔥65❤19👍3😱3🤩2
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ от NVIDIA научил робота крутить ручку как человек
Компания NVIDIA разработала ИИ-агента Eureka, который учит роботов сложным навыкам. Он настолько хорош, что с его помощью обучили робо-руку крутить ручку не хуже человека.
Eureka автоматически генерирует награду для обучения с подкреплением методом проб и ошибок. Так роботы научились открывать ящики, ловить мячи, пользоваться ножницами и другим.
Для создания программ Eureka использует генеративный ИИ GPT-4 от OpenAI (уже представили Intelligence as a Service?). Он не требует специальных подсказок или шаблонов. Также агент учитывает отзывы людей, чтобы лучше соответствовать их цели.
Моделирование в NVIDIA Omniverse позволяет Eureka быстро оценить качество генерируемых программ. Затем ИИ улучшает их путём самообучения.
Агент Eureka успешно обучил разных роботов - двуногих, летающих дронов, манипуляторов. Он превзошёл программы, написанные экспертами, более чем в 80% задач.
Это прорыв, который открывает новые возможности в обучении роботов и создании реалистичной 3D-анимации.
😄 Блог-пост
🐙 GitHub
📚 Статья
Компания NVIDIA разработала ИИ-агента Eureka, который учит роботов сложным навыкам. Он настолько хорош, что с его помощью обучили робо-руку крутить ручку не хуже человека.
Eureka автоматически генерирует награду для обучения с подкреплением методом проб и ошибок. Так роботы научились открывать ящики, ловить мячи, пользоваться ножницами и другим.
Для создания программ Eureka использует генеративный ИИ GPT-4 от OpenAI (уже представили Intelligence as a Service?). Он не требует специальных подсказок или шаблонов. Также агент учитывает отзывы людей, чтобы лучше соответствовать их цели.
Моделирование в NVIDIA Omniverse позволяет Eureka быстро оценить качество генерируемых программ. Затем ИИ улучшает их путём самообучения.
Агент Eureka успешно обучил разных роботов - двуногих, летающих дронов, манипуляторов. Он превзошёл программы, написанные экспертами, более чем в 80% задач.
Это прорыв, который открывает новые возможности в обучении роботов и создании реалистичной 3D-анимации.
😄 Блог-пост
🐙 GitHub
📚 Статья
🔥47👍7❤6🤯5😁2
Новый способ эффективно кодировать пространственные данные для нейросетей
Исследователи предложили улучшенный способ кодирования географических координат (широты и долготы) для использования в нейронных сетях.
Обычно координаты преобразуют в векторы признаков при помощи тригонометрических функций. Но эти методы не оптимальны для данных на сферической поверхности Земли.
Ученые предлагают использовать сферические гармоники - специальные ортогональные функции на сфере. Они лучше подходят для геоданных.
Сферические гармоники можно представить как набор математических функций, которые вместе образуют своего рода "карту" поверхности сферы. Каждая функция отвечает за свою "зону" на сфере. Их комбинацией можно точно описать любую точку на сфере, в нашем случае - на Земле. Таким образом, сферические гармоники - это как бы географическая сетка, накладываемая на планету.
Кроме того, в качестве нейросети предлагается архитектура Siren. Она эффективно обрабатывает плавные сигналы от сферических гармоник.
Архитектура нейросетей Siren в свою очередь похожа на радар, который умеет улавливать плавные сигналы. В отличие от обычных нейросетей, построенных из прямоугольных импульсов, Siren использует плавные синусоидальные сигналы. Это позволяет ей лучше понимать данные от сферических гармоник.
Таким образом, сферические гармоники задают удобную "сетку" для геоданных, а Siren как радар умеет извлекать из неё нужную информацию. Вместе они обеспечивают эффективное кодирование местоположений.
Преимущества нового подхода:
- Устойчивость в полярных областях, где старые методы дают сбои.
- Вычислительная эффективность за счёт предварительных вычислений.
- Простая настройка разрешения путём изменения числа многочленов.
Получается, что данный метод позволяет лучше кодировать геоданные для использования в нейросетях!
📚Статья
🖥 Код
🖥 Туториал на колабе
Исследователи предложили улучшенный способ кодирования географических координат (широты и долготы) для использования в нейронных сетях.
Обычно координаты преобразуют в векторы признаков при помощи тригонометрических функций. Но эти методы не оптимальны для данных на сферической поверхности Земли.
Ученые предлагают использовать сферические гармоники - специальные ортогональные функции на сфере. Они лучше подходят для геоданных.
Сферические гармоники можно представить как набор математических функций, которые вместе образуют своего рода "карту" поверхности сферы. Каждая функция отвечает за свою "зону" на сфере. Их комбинацией можно точно описать любую точку на сфере, в нашем случае - на Земле. Таким образом, сферические гармоники - это как бы географическая сетка, накладываемая на планету.
Кроме того, в качестве нейросети предлагается архитектура Siren. Она эффективно обрабатывает плавные сигналы от сферических гармоник.
Архитектура нейросетей Siren в свою очередь похожа на радар, который умеет улавливать плавные сигналы. В отличие от обычных нейросетей, построенных из прямоугольных импульсов, Siren использует плавные синусоидальные сигналы. Это позволяет ей лучше понимать данные от сферических гармоник.
Таким образом, сферические гармоники задают удобную "сетку" для геоданных, а Siren как радар умеет извлекать из неё нужную информацию. Вместе они обеспечивают эффективное кодирование местоположений.
Преимущества нового подхода:
- Устойчивость в полярных областях, где старые методы дают сбои.
- Вычислительная эффективность за счёт предварительных вычислений.
- Простая настройка разрешения путём изменения числа многочленов.
Получается, что данный метод позволяет лучше кодировать геоданные для использования в нейросетях!
📚Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
👍46🔥8❤5🤯1
Обучение влияет на мораль искусственного интеллекта
Исследователи выяснили: то, на каких диалогах обучают ИИ, влияет на его представления о добре и зле.
Например, если показывать боту диалоги про заботу и справедливость - он станет "добрее". А если про традиции и авторитеты - "строже".
Это важно, ведь мораль влияет на реальные решения ИИ. "Добрый" бот может предлагать мягкие наказания, "строгий" - суровые.
Значит, выбор обучающих диалогов - мощный инструмент.
🔖 Статья
Исследователи выяснили: то, на каких диалогах обучают ИИ, влияет на его представления о добре и зле.
Например, если показывать боту диалоги про заботу и справедливость - он станет "добрее". А если про традиции и авторитеты - "строже".
Это важно, ведь мораль влияет на реальные решения ИИ. "Добрый" бот может предлагать мягкие наказания, "строгий" - суровые.
Значит, выбор обучающих диалогов - мощный инструмент.
🔖 Статья
👍18🔥4😁1
Новый курс: создание диалоговых агентов на основе LangChain
Компания LangChain (совершенно пропустил момент когда они стали компанией) выпустила бесплатный курс о последних достижениях в области языковых моделей и как их можно использовать для создания диалоговых агентов.
В курсе рассматриваются новые возможности, такие как вызов функций в ChatGPT. Также вводится новый синтаксис LangChain Expression Language для настройки поведения агентов.
Слушатели научатся:
- Генерировать структурированный вывод с помощью вызова функций
- Использовать LCEL для настройки цепочек обработки запросов
- Применять вызовы функций для задач вроде тегирования данных
- Понимать маршрутизацию запросов с помощью инструментов LangChain
Курс рассчитан на 1 час и доступен бесплатно в течение ограниченного времени. Рекомендуется базовое знание Python и опыт написания промптов для языковых моделей.
Это отличная возможность изучить новейшие инструменты для создания приложений на основе ИИ и улучшить свои навыки в этой области!
🦜🔗 Курс
Компания LangChain (совершенно пропустил момент когда они стали компанией) выпустила бесплатный курс о последних достижениях в области языковых моделей и как их можно использовать для создания диалоговых агентов.
В курсе рассматриваются новые возможности, такие как вызов функций в ChatGPT. Также вводится новый синтаксис LangChain Expression Language для настройки поведения агентов.
Слушатели научатся:
- Генерировать структурированный вывод с помощью вызова функций
- Использовать LCEL для настройки цепочек обработки запросов
- Применять вызовы функций для задач вроде тегирования данных
- Понимать маршрутизацию запросов с помощью инструментов LangChain
Курс рассчитан на 1 час и доступен бесплатно в течение ограниченного времени. Рекомендуется базовое знание Python и опыт написания промптов для языковых моделей.
Это отличная возможность изучить новейшие инструменты для создания приложений на основе ИИ и улучшить свои навыки в этой области!
🦜🔗 Курс
👍19❤6🔥2
GitHub Copilot Chat и его влияние на качество кода
GitHub провел исследование, в котором попросил 36 опытных разработчиков, которые никогда не использовали Copilot Chat, оценить его полезность при решении задачи.
Некоторым из участников случайным образом было поручено использовать Copilot Chat и оценить написанный код по следующим критериям: читаемость, универсальность, краткость, удобность в обслуживании и отказоустойчивость.
Затем разработчики получили два пул запроса без информации, был ли исходный код написан с помощью Copilot. Ревью выполнялось с Copilot Chat и без него по вышеописанным критериям.
После получения ревью, авторы решали какие из комментариев были более полезны. И, конечно же, авторы не знали какой из комментариев был написан с помощью Copilot.
Какие результаты? 👀
- 85% разработчиков отметили большую уверенность в качестве кода
- Участники отметили улучшение скорости проверки кода на 15%
- 88% разработчиков сообщили о сохранении фокуса (flow state)
🤓 Блог
GitHub провел исследование, в котором попросил 36 опытных разработчиков, которые никогда не использовали Copilot Chat, оценить его полезность при решении задачи.
Некоторым из участников случайным образом было поручено использовать Copilot Chat и оценить написанный код по следующим критериям: читаемость, универсальность, краткость, удобность в обслуживании и отказоустойчивость.
Затем разработчики получили два пул запроса без информации, был ли исходный код написан с помощью Copilot. Ревью выполнялось с Copilot Chat и без него по вышеописанным критериям.
После получения ревью, авторы решали какие из комментариев были более полезны. И, конечно же, авторы не знали какой из комментариев был написан с помощью Copilot.
Какие результаты? 👀
- 85% разработчиков отметили большую уверенность в качестве кода
- Участники отметили улучшение скорости проверки кода на 15%
- 88% разработчиков сообщили о сохранении фокуса (flow state)
🤓 Блог
🔥18👍6🤯2
Сверточные нейросети догнали трансформеры на больших данных
Долгое время бытовало мнение, что трансформеры лучше масштабируются и превосходят сверточные сети при обучении на огромных наборах данных из интернета. Однако недавнее исследование опровергает это убеждение.
Ученые обучали мощные сверточные модели семейства NFNet на наборе данных JFT-4B, содержащем 4 миллиарда изображений. Бюджет обучения варьировался от 400 до 110 000 часов на TPU v4. Чем больше вычислительных ресурсов тратилось, тем лучше работали модели. После дополнительного обучения на ImageNet лучшая модель достигла точности 90.4%, что сопоставимо с результатами трансформеров при аналогичных вычислительных затратах.
Ключевыми факторами остаются объем данных и вычислительная мощность. Результаты ставят под сомнение распространенное мнение о превосходстве трансформеров. В будущем важно проводить честное сравнение архитектур с учетом одинаковых вычислительных затрат на обучение.
🖥 Статья
Долгое время бытовало мнение, что трансформеры лучше масштабируются и превосходят сверточные сети при обучении на огромных наборах данных из интернета. Однако недавнее исследование опровергает это убеждение.
Ученые обучали мощные сверточные модели семейства NFNet на наборе данных JFT-4B, содержащем 4 миллиарда изображений. Бюджет обучения варьировался от 400 до 110 000 часов на TPU v4. Чем больше вычислительных ресурсов тратилось, тем лучше работали модели. После дополнительного обучения на ImageNet лучшая модель достигла точности 90.4%, что сопоставимо с результатами трансформеров при аналогичных вычислительных затратах.
Ключевыми факторами остаются объем данных и вычислительная мощность. Результаты ставят под сомнение распространенное мнение о превосходстве трансформеров. В будущем важно проводить честное сравнение архитектур с учетом одинаковых вычислительных затрат на обучение.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯38👍27🔥7❤5😁2🤩1
LLEMMA - языковая модель для математики
Недавно исследователи из Princeton и компании EleutherAI представили LLEMMA - большую языковую модель, специализированную для математических задач.
Модель была обучена на огромном массиве научных текстов и кода, связанных с математикой - всего 55 миллиардов слов!
В результате LLEMMA научилась решать математические задачи, доказывать теоремы и даже использовать специальные компьютерные программы для математических вычислений.
По сравнению с общими языковыми моделями, LLEMMA показала гораздо лучшие результаты на тестах по математическому выводу. Например, в формате 4-shot она решила 43% задач из набора MATH.
Вся модель, данные и код для её обучения выложены в открытый доступ. Это позволит ученым улучшать модели для математики и смежных областей.
В будущем подобные модели смогут автоматизировать рутинные задачи, помогать с доказательствами теорем и делать открытия!
👍 Статья
🎉 Код
Недавно исследователи из Princeton и компании EleutherAI представили LLEMMA - большую языковую модель, специализированную для математических задач.
Модель была обучена на огромном массиве научных текстов и кода, связанных с математикой - всего 55 миллиардов слов!
В результате LLEMMA научилась решать математические задачи, доказывать теоремы и даже использовать специальные компьютерные программы для математических вычислений.
По сравнению с общими языковыми моделями, LLEMMA показала гораздо лучшие результаты на тестах по математическому выводу. Например, в формате 4-shot она решила 43% задач из набора MATH.
Вся модель, данные и код для её обучения выложены в открытый доступ. Это позволит ученым улучшать модели для математики и смежных областей.
В будущем подобные модели смогут автоматизировать рутинные задачи, помогать с доказательствами теорем и делать открытия!
👍 Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥51👍8🎉2
Большая языковая модель для наук о Земле K2
Ученые создали первую в мире большую языковую модель, специализированную в области геологии, географии и других наук о Земле. Её назвали K2 - в честь второй по высоте горы на планете.
Модель K2 научили отвечать на вопросы и решать задачки по географии и геологии. Для этого ей "дали прочитать" 5.5 миллиарда слов из научных статей и Википедии про науки о Земле.
Кроме того, K2 может сама искать нужную информацию в поисковиках и базах данных. Таким образом она становится помощником для геологов и географов в их исследованиях.
По сравнению с обычными языковыми моделями, K2 лучше отвечала на вопросы из экзаменов для поступающих в аспирантуру по геологии и географии. Это показывает, что она действительно хорошо "разбирается" в геонауках.
Разработчики K2 выложили в открытый доступ все данные и код, которые использовали для её обучения. Это позволит улучшать такие "модели-геологи" и создавать похожие модели для других областей науки.
🔖 Статья
🐙 Код
🗻 Поговорить с K2
Ученые создали первую в мире большую языковую модель, специализированную в области геологии, географии и других наук о Земле. Её назвали K2 - в честь второй по высоте горы на планете.
Модель K2 научили отвечать на вопросы и решать задачки по географии и геологии. Для этого ей "дали прочитать" 5.5 миллиарда слов из научных статей и Википедии про науки о Земле.
Кроме того, K2 может сама искать нужную информацию в поисковиках и базах данных. Таким образом она становится помощником для геологов и географов в их исследованиях.
По сравнению с обычными языковыми моделями, K2 лучше отвечала на вопросы из экзаменов для поступающих в аспирантуру по геологии и географии. Это показывает, что она действительно хорошо "разбирается" в геонауках.
Разработчики K2 выложили в открытый доступ все данные и код, которые использовали для её обучения. Это позволит улучшать такие "модели-геологи" и создавать похожие модели для других областей науки.
🔖 Статья
🗻 Поговорить с K2
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥28❤3👍3