Let's build GPT: from scratch, in code, spelled out.

Андрей Карпатный доступно объясняет, как с нуля построить языковую модель GPT.

Обучение на Tiny Shakespeare: Используется для демонстрации обучения Transformer-модели на большом тексте.
NanoGPT: Реализация Transformer в GitHub, состоящая из двух файлов кода для обучения и моделирования.
Токенизация: Обсуждение подходов к токенизации, включая символьный уровень для упрощенной модели и подсловный уровень для более крупных моделей, например, GPT.
Размер пакета и блока: обеспечение вычислительной эффективности и адаптации к контекстам различных длин.
Генерация текста и оценка потерь: Использование перекрестной энтропии для оценки производительности модели.
Практическая реализация в PyTorch: Детали реализации, включая обработку тензоров для обучения и генерации.

На протяжении видео демонстрируется, как модель итеративно улучшается, учась на основе имеющегося текстового набора.

Полезно посмотреть на праздниках.

#Learning #Karpathy #NaturalLanguageProcessing

Интересный топик в прогнозах на 2024й
2024: LLM -> LMM

в LLM появится открытая модель мощнее чем GPT4 сейчас, вместе с тем поезд уже перейдёт на LMM (Large Multimodal Models) рельсы

#LMM #LLM #2024

Вот какая мысль еще.
есть такой сервис https://app.suno.ai/
из 1 запроса уже делает музыку, текст песни, озвучку ну и в целом композицию.
прикрутить картинки - дело 5 минут.

и есть еще сервис https://learningstudioai.com/
Тоже про него писал раньше - делает образовательный курс по 1 запросу с проверочными вопросами.

Так вот было бы классно, и наверное мы увидим скоро сервис, который будет сам пилить обучающие сериалы с сюжетами из бизнес-книг.

Часто на тренингах же приводят выдержки из фильмов или опять же сериалов - разбирают сцены, кто как и зачем поступил так или иначе и к чему это привело.

А тут обратная задача - отдаёшь в ИИ книжку и говоришь - покажи в виде сериала. Главные герои - такие вот.
и через пол часа рендера получаешь сезон с обучающим контентом.

#futurology #education

(текст песни и музыка Suno.ai, картинки Dalle3, монтаж- Adobe premier)

ИИ-осознанность

Есть такой вид хакинга - социальная инженерия. Это такое умное слово для ситуации, когда один кожаный просто уговаривает другого (или других) сделать то, что ему нужно.
Методом изречения слов из головы.

С появление LLM социальную инженерию ждет нереальное ускорение. Мы все тут уже наслушались про методы заставить chatGPT работать лучше: шантаж через смерть родственников, жалость к отрубленным пальцам, банальные взятки или просто ложь (записка от Альтмана).

Все это народный фольклор, нащупанный в процессе общения.

А вот когда за это дело возьмутся британские ученые, то искусство манипуляций может выйти на новый уровень. Ничто не мешает потренироваться на LLM с целью отработки оптимальных стратегий манипулирования, которые можно будет с успехом перенести на кожаных. И, вероятно, будут найдены довольно сильные и контринтуитивные методы, которым довольно сложно будет противостоять. В пределе - психоакустика.

Вот вам первые примеры.
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
Обучение чат-ботов, которые джейлбрейкают другие чат боты (и в целом ллм-ки).

Сингапурцы использовали двойной метод "взлома" LLM, который они назвали "Masterkey". Во-первых, они реверснули схему того, как большие языковые модели (LLM) обнаруживают и защищаются от вредоносных запросов. Получив эту информацию, они натренили LLM автоматически обучаться и выдавать подсказки, которые обходят защиту других LLM. Этот процесс можно автоматизировать, создав LLM для взлома, который сможет адаптироваться и создавать новые подсказки для взлома даже после того, как разработчики внесут исправления в свои LLM.

И если раньше дедушка Дейл Карнеги в одно лицо (годами) писал все эти книжки типа "Как заставить людей делать что вам надо и чувствовать себя счастливыми", то теперь это уже будут полчища ботов, которые в реальном времени постоянно приподвзламывают вашу защиту от манипуляций.

Пора доставать с полки Осознанность Ошо Раджнижа, как еще противостоять манипуляциям?
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
P.S. Хмм. Задумался о тренировке осознанности у больших языковых моделей. Ничего не мешает вроде.

С Новым 2024м годом!

В новом отчете Writerbuddy представлены данные о 50 самых посещаемых инструментах искусственного интеллекта за период с сентября 2022 года по август 2023 года.

Данные из каталогов ИИ и SEMrush, показывают рост использования инструментов ИИ в 10,7 раз.
Среднемесячный прирост 236,3 миллиона посещений.
Всего более 24 миллиардов посещений.

ChatGPT лидирует с 14 миллиардами посещений, - 60% трафика.
За последний год в среднем 2 млрд посещений в месяц, а за последние 6 месяцев - 3,3 миллиарда.

Чистый трафик ChatGPT, Character AI и Google Bard увеличился на 1,8 миллиарда, 463,4 миллиона и 68 миллионов посещений соответственно.

Наибольшее снижение трафика у Craiyon, MidJourney и Quillbot.

США - 5,5 миллиарда посещений, или 22,62% от общего трафика, тогда как на европейские страны вместе пришлось 3,9 миллиарда посещений.

Инструменты чат-ботов с искусственным интеллектом были самыми популярными: их посетили 19,1 миллиарда человек.

Более 63% пользователей заходят с мобильных устройств.

70% пользователей-мужчины и 30% пользователей-женщины.

Улучшение LLM через создание RAG

RAG расширяет возможности LLM, предоставляя доступ к внешним данным.
Mistral-7B и FAISS используются для создания кастомных помощников с улучшенной точностью.
RAG соединяет LLM с векторной базой данных для поиска контекста и точных ответов.
Статья детализирует процесс создания RAG, включая построение векторной базы и настройку retriever.
Применение RAG может существенно повысить эффективность систем на основе LLM в решении специализированных задач.
Обещана вторая часть статьи с акцентом на интерактивность и дальнейшие исследования RAG.

Еще один детальный гайд по RAG

#RAG #LLM #FAISS

Samsung выпускает робота с ИИ - Jet Bot Combo

Samsung представляет Bespoke Jet Bot Combo, робот-пылесос с ИИ, который также умеет мыть полы. :)

Робот распознает объекты и загрязнения.

Самообучающаяся система позволяет избегать препятствий и классифицировать карты помещений.

Различает типы напольных покрытий и адаптируется к ним для оптимальной уборки.

CES 2024 станет площадкой для демонстрации новинок в сфере ИИ от ведущих компаний мира.

#Samsung #CES24 #RobotVacuum

Самообучение языковых ИИ

Метод Self-Play Fine-Tuning (SPIN) улучшает языковые модели, не требуя новых данных от людей.

Модели применяют SPIN для соревнований с предыдущими версиями, полностью используя существующие данные.

Применение SPIN заметно повышает производительность моделей на различных наборах данных.

Эффективность SPIN доказана математически, включая леммы и теоремы в статье.

Возможно это тот самый нелинейный прорыв, которого мы ждём от 2024го - Саморазвитие.

#SPIN #LanguageModel #SelfPlay

Будущее искусственного интеллекта и его вызовы

Темпы роста технологий ИИ нарастают.
Языковые модели должны быть доступны на всех языках мира.
Прозрачность ИИ решений - должна стать приоритетом для защиты прав конечных пользователей.
Трудозатраты на создание AI моделей должны компенсироваться и признаваться.
Необходимо налаживать механизмы учета авторских прав при обучении моделей ИИ.
Отдельная задача - сбор согласий пользователей на использование данных в ИИ.
ИИ должен быть инклюзивным и доступным для любых языков и культур.
Разнообразие в исследовательских группах способствует инновациям в сфере ИИ.
Справедливость доступа к вычислительным мощностям - основа равенства в разработке ИИ.
Развитие ИИ должно быть открытым и основано на ценностях различных пользовательских групп.

Интересный обзор.
Я бы еще добавил необходимость создавать модели или слои Эмоционального Интеллекта.
Нужно что то вроде Большой Эмоциональной Модели.

#искусственный_интеллект #доступность #транспарентность

Ну это прекрасно, конечно :)

Mobile ALOHA - opensource проект по имитационному обучению роботов

Система позволяет роботам выполнять задачи как автономно, так и под управлением оператора.
Недорогое решение для сбора данных поддерживает телеприсутствие с мобильной базой.
Mobile ALOHA оптимизирует выполнение сложных задач, объединяя обучение с наборами данных ALOHA.

Автономные функции: от жарки креветок до мытья посуды и использования лифта.

Основано на наработках проектов Nerfies и Robot-Parkour.

Пока выглядит кривовато, как MJ V1 в своё время, но через пару лет робот на кухне может стать нормой.

#MobileALOHA #Robotics #ImitationLearning

OpenVoice клонирует голос по короткому отрывку на любом языке

Создает речь на разных языках, управляет эмоциями, акцентом и интонацией.

Достигнута возможность кросс-языкового клонирования голоса без предварительного обучения на языке.

Исходный код и техническое описание.

Подделывать голос стало еще проще.

#OpenVoice #клонированиеголоса