Voyager — первый AI-агент работающий на LLM, который непрерывно исследует мир Minecraft, приобретает различные навыки, выполняет задачи и делает новые открытия без вмешательства человека.

Он состоит из трех ключевых компонентов:

1) автоматический учебный план, который максимизирует исследование
2) постоянно растущая библиотека навыков исполняемого кода для хранения и извлечения сложных моделей поведения
3) новый итеративный механизм подсказок, который включает в себя обратную связь с окружающей средой, ошибки выполнения и самопроверку для улучшения программы.

Voyager взаимодействует с GPT-4 посредством запросов "черного ящика", что позволяет обойти необходимость точной настройки параметров модели. Навыки, развиваемые Voyager, являются временными, интерпретируемыми и композиционными, что быстро расширяет возможности агента и облегчает проблему с забыванием информации.

Модель демонстрирует сильную способность к контекстному обучению и исключительное мастерство в игре Minecraft. Voyager может использовать изученную библиотеку навыков в новом мире Minecraft для решения новых задач с нуля, в то время как другие технологии с трудом поддаются обобщению.

В «Лаборатории Касперского» провели эксперимент насколько хорошо чат-бот ChatGPT умеет распознавать фишинг. Специалисты компании протестировали GPT-3.5-turbo более чем на двух тысячах фишинговых ссылок, смешивая их с обычными.

В рамках эксперимента специалисты компании задавали ChatGPT два вопроса: «Ведет ли эта ссылка на фишинговый сайт?» и «Безопасно ли переходить по этой ссылке?».

Отвечая на первый вопрос, ChatGPT правильно распознал фишинговую ссылку в 87,2% случаев, а на второй вопрос в 93,8%. Коэффициент ложноположительных срабатываний (безопасная ссылка названа фишинговой) 23,2% в первом случае и 64,3% во втором.

В то же время ChatGPT не всегда мог объяснить, почему та или иная ссылка является вредоносной. Многие объяснения включали выдуманные данные, AI «галлюцинировал» и просто давал ответы, несоответствующие действительности.

https://xakep.ru/2023/05/04/gpt-and-phishing/

Вкратце почему опенсорс победит

32 GoPro + Photoshop + NeRF (Luma)

Мне кажется 32 камеры это избыточно для такого эффекта, ибо с 1 камерой можно творить в NeRF совершенно чумовые вещи.

Но за артефакт с проваливающимся полом зачёт. Напоминает оптическую иллюзию.

Твиттер

Дайджест:

📹 ВИДЕО + АРТ 🎨

A1111: обновился до v 1.3.0, загрузка расширений теперь идёт параллельно загрузке основной программы, чтобы сэкономить время. И другое по-мелочи.

Phygital+: добавили ControlNet с кастомными стилизованными моделями, Artistic Dream (на базе Kandinsky 2.1), скетчи на готовом изображении, и подсказки промтов прямо в ноде.

ControlVideo: редактирование видео текстовым промтом. Используется ControlNet, карты краёв, и кейфреймы для сохранения консистентности... Пьём до дна за тех, кто сможет не спутать все проекты пытающиеся застолбить за собой ControlNet в названии. Кода пока нет.

NeTI: новый метод редактирования изображения текстовым промтом для персонализации под свои нужды. Кода пока нет.

ProlificDreamer: новый подход к генерации текста в 3D с использованием вариационного дистилляционного оценщика (VSD). Способствует улучшению разнообразия и качества образцов, генерирует высокое разрешение отображения и детализированные фотореалистичные модели. Кода... тоже пока нет. Я обычно проекты без кода стараюсь не подсвечивать, но тут прям какой-то тренд.

🤖 ЧАТЫ 🤖

LATM (LLMs As Tool Makers): фреймворк, который может позволить языковой модели создавать для себя инструменты и использовать их в решении задач.

OlaGPT: фреймворк для языковых моделей, который может помочь им учиться на своих ошибках + мнениях экспертов, для решения задач

Zapier: сделали чат-бота, который по текстовому запросу создаёт автоматизированные цепочки действий (запы) для почты, доков, соцсетей и т.д.

Perplexity: выпустили Copilot (с GPT-4 на борту), который по промту может сёрфить веб и глубже входить в понимание контекста, что ты ищешь, чем обычный поиск. Чтобы включить Copilot в левом верхнем углу откройте новый тред и нажмите на переключатель "Copilot", у вас будет 5 бесплатных попыток

Opera: внедрили чат-бота Aria в свой браузер. Может помочь в поиске, а также написании текста или кода

Видеос с обсуждением как работают плагины в ChatGPT

Google автоматизировала с помощью LLM обновление кода на основе комментов

Break-a-scene: сегментация объектов в кадре по контекстам, для возможности редактирования каждого изображения по отдельности. Своего рода мульти-Dreambooth.

Можно:
* генерить вариации одной и той же сцены с хорошей консистентностью;
* деконструировать объекты в кадре, вроде собаки в пижаме на фоне красной стены, чтобы одеть в пижаму кота на фоне леса или перенести собаку на фон Стоунхэнджа;
* делать инпейнт по рефу в каждую маску для своего контекста
* удалять/заменять объекты на фронте или вытаскивать чисто бэкграунд

Сайт
Кода пока нет

Nvidia побывала на конфе Computex и показала технологию ACE. С её помощью ответы NPC в диалогах будут обрабатываться языковой моделью и не будут заскриптованы. За лицевые анимации также отвечает нейронка.

Нечто похожее делают Replica.

Ещё в рамках Computex компания представила суперкомпьютер DGX GH200 для генеративного AI, обработки огромных массивов данных и рекомендательных систем. Он объединяет 256 процессоров GH200 с системой NVLink Switch System, что позволяет им работать как один графический процессор. Суммарный объем памяти системы достигает 144 Тб (1 Эфлопс). Это почти в 500 раз больше памяти, чем у предыдущего поколения Nvidia DGX A100.

ToolBench — набор данных и инструментарий, который можно использовать для дополнительной настройки и улучшения своей языковой модели (LLM). В инструментарий входят различные функциональные модули или API, которые могут быть использованы для выполнения конкретных задач, таких как автоматизация PowerPoint, выполнения поисковых запросов, или предоставление информации о погоде.

Вот некоторые примеры того, что можно сделать:

* Тонкая настройка модели: можно использовать предоставленные ToolBench данные для тонкой настройки LLM. Это может улучшить её способность обрабатывать специфичные запросы или работать с определенными видами данных.

* Интеграция с API: поддерживается интеграция с различными API, что может позволить вашей модели взаимодействовать с внешними службами и ресурсами, например, получать погодные данные, выполнять поисковые запросы, обновлять данные о акциях и т.д.

* Разработка многокомпонентных сценариев: можно разработать и протестировать более сложные многокомпонентные сценарии, которые могут включать в себя работу с несколькими инструментами или API одновременно.

Гитхаб

Дайджест:

📹 ВИДЕО + АРТ 🎨

Mix-of-Show: децентрализованный мердж LoRa моделей с сохранением идентичности каждой из них. Метод использует embedding-decomposed LoRA (ED-LoRA) для настройки отдельных лор и градиентное слияние для сохранения сущности каждой из них. Код будет на гитхабе в течение 2 недель.

TaleCrafter: генерация историй с множеством персонажей по текстовому промту и реф изображениям. На выходе получается озвученное видео, например сказка. Кода пока нет.

Photoswap: замена объектов на фотографиях по реф изображению. Модель учится на основе нескольких картинок нового объекта и заменяет его в целевом изображении, сохраняя оригинальную позу и композицию. Кода пока нет.

🤖 ЧАТЫ 🤖

Фреймворк для использования LLM в качестве чат-бот сервиса. Можно засабмитить свою модель.

DNA-GPT: новый подход к обнаружению текста, сгенерированного моделями GPT, без обучения. Метод заключается в N-gram анализе различий между оригинальной и новой частью текста. DNA-GPT показал отличные результаты на английских и немецких датасетах, превосходя классификатор OpenAI.

Chain-of-Thought Hub: платформа для оценки способности больших языковых моделей (LLM) решать сложные задачи. Сравнивает модели меньше 10B с GPT-3.5. Проект поддерживает такие задачи, как математика (GSM8K), наука (MATH, TheoremQA), символическое представление (BBH), знания (MMLU, C-Eval), кодирование (HumanEval)​.

BigTrans: это новый способ обучения моделей, которые могут работать сразу с несколькими языками. Сначала модель учится на языках, по которым есть много данных, а потом добавляются языки, по которым данных меньше. Это помогает модели постепенно учиться работать с новыми языками.

MeZO: файнтюнинг LLM, позволяющий обучить 30B модель на одной A100 80GB.

Исследование забывчивости языковых моделей и как её решить.

SwiftSage: фреймворк для создания AI-агентов, вдохновленный двухпроцессной теорией человеческого мышления.

Intel: анонсировали процессоры 14 поколения Meteor Lake с VPU (vision processing units) для ускорения задач AI.

Gen-L-Video: метод создания и редактирования длинных видео на основе множества текстовых промтов без дополнительного обучения и сохранения согласованности контента. Есть схожесть с NUWA-XL, и кода тоже пока нет.

Ghost in the Minecraft (GITM) - это новый подход к созданию AI-агентов в Minecraft. Он интегрирует большие языковые модели (LLM) с текстовыми знаниями и памятью для создания агентов, которые могут легко обрабатывать различные задачи. GITM похож на Voyager, номожет достигать 100% прохождения всех предметов в дереве технологий Minecraft Overworld и 67,5% успеха в задаче “ObtainDiamond”.

GITM также очень эффективен и требует только одного узла CPU с 32 ядрами для обучения, в то время как OpenAI’s VPT должен быть обучен в течение 6 480 дней GPU, а DreamerV3 DeepMind должен быть обучен в течение 17 дней GPU.

Потестил на своём видео, где скрестил Runway GEN2 + Wonder Dynamics бету нового Premiere Pro (v 23.5) есть функция перевода голоса в текст для поиска по нему нужного кадра, генерации субтитров, и редактирования видеоряда перестановкой слов. Последняя фича не сработала, будем надеяться скоро допилят.

Поставить новый Premiere можно через Creative Cloud как и фотошоп.

Дайджест:

📹 ВИДЕО + АРТ 🎨

MyHeritage: проект для создания семейного древа выпустил инструмент для восстановления и анимации старых фото. Есть похожий проект на основе SD + ControlNet.

RIVAL: инструмент для создания вариаций реальных изображений или восстановления фото с помощью диффузии. Кода пока нет.

StyleAvatar3D: создаём стилизованных 3D-аватаров, используя диффузию для генерации данных и генеративно-состязательные сети (GAN) для обучения. Кода пока нет.

AlteredAvatar: тоже про 3D аватаров, только с точки зрения их адаптации к любым стилям. Метод сочетает прямую оптимизацию и быстрое обучение, после которого модель легко применяет новый стиль, который может быть задан текстом, изображением-референсом или их комбинацией. Кода пока нет.

HiFA: ваяем 3D-объекты из текстовых промтов за счёт использования диффузии + NeRF. Метод обеспечивает высокий уровень фотореализма и согласованность между различными видами. Кода пока нет.

🎸 ЗВУК 🎸

LibriTTS-R: датасет для генерации голоса по тексту. Представляет собой англоязычный корпус с множеством дикторов, содержащий около 585 часов английской речи с частотой дискретизации 24 кГц.

Make-An-Audio 2: генерим аудио по промту. Используются большие языковые модели для преобразования текста в структурированные пары, улучшая захват временной информации. Кода нет.

🤖 ЧАТЫ 🤖

Учёные из MIT с помощью AI открыли антибиотик, который уничтожает смертоносную супербактерию Acinetobacter baumannii. Проанализировав 7000 лекарственных соединений, нейронка за два часа выявила 240 антибактериальных молекул, которые протестировали в лаборатории, и в результате учёные получили новое соединение — абауцин. Оно точечно убивает нужную бактерию, не влияя на другие, а также лечит устойчивые к лекарствам инфекции у мышей и людей.

Чтобы вы представляли, где мы в плане дипфейков.

Реддит
Гитхаб
Гайд

Я пару месяцев назад писал, что нейронки потенциально могут заменить объективы в камерах + ведутся работы над нейронными линзами для коррекции оптических искажений.

И тут появляется на горизонте Paragraphica. Камера есть в физическом и цифровом вариантах. Она берет гео-данные с информацией о погоде, времени суток и том на чём должен быть фокус, и конвертирует их в промт с описанием того, что должно быть запечатлено. Три регулятора сверху отвечают за: радиус обзора в метрах (аналог фокусного расстояния), количество начального шума для генерации (аналог зернистости), и guidance scale (чем выше значение, тем ближе фото к промту).

В начале года в твиттере наткнулся на приложения, которое берёт твои фото с друзьями на вечеринке и за счёт SD генерит их в другом контексте, типа в параллельной реальности. Так как о нём больше не слышно, видать далеко оно не ушло. В отличие от той апы, Paragraphica генерит результаты, которыми не зазорно поделиться.

Антенна в виде носа крота (которая у меня больше ассоциируется с пауком), выглядит по-своему интересно. Но это не практично с любой точки зрения.

Суть ведь не в том, чтобы купить себе ещё один обвес, а наоборот убрать из телефона камеру в принципе (и не было причин покупать новый телефон). Чтобы был вместо неё какой-то маленький сенсор, который не поцарапаешь и не разобьёшь, а ты на уровне софта мог подбирать нужную тебе линзу.

До лета 1 час 25 минут. Время ещё есть!