This media is not supported in your browser
VIEW IN TELEGRAM
EA показали новую концепцию по генерации миров в реальном времени с помощью ИИ.
В примере, на ходу, по запросам в чате, создается и интерактивно меняется игровой мир и его механики.
Тип дуэли, оружия, урон и масштаб мира ИИ генерит на лету.
Добавить еще слой нейрорендера поверх процедурных моделей и Матрицу можно выпускать в релиз, в принципе.
#games #worldgeneration
———
@tsingular
В примере, на ходу, по запросам в чате, создается и интерактивно меняется игровой мир и его механики.
Тип дуэли, оружия, урон и масштаб мира ИИ генерит на лету.
Добавить еще слой нейрорендера поверх процедурных моделей и Матрицу можно выпускать в релиз, в принципе.
#games #worldgeneration
———
@tsingular
👍11
Media is too big
VIEW IN TELEGRAM
OpenAI запускает Realtime API: революция в мультимодальных приложениях
OpenAI представила публичную бета-версию Realtime API, обеспечивающего создание мультимодальных приложений с низкой задержкой.
Ключевые особенности включают WebSocket-соединения, потоковую передачу аудио, обработку прерываний и вызов функций.
API работает на модели GPT-4o, позволяя распознавать речь, обрабатывать текст и синтезировать речь в едином интерфейсе.
Тарифы:
текст - $5/1М входных и $20/1М выходных токенов;
аудио - $100/1М входных и $200/1М выходных токенов. ($0.06 за минуту входа и $0.24 за минуту генерации)
Доступен в OpenAI Playground.
Планируется добавление поддержки изображений, видео и дальнейшее расширение возможностей SDK.
Готовимся переписывать агентов - с async на websocket.
Интерактивное общение - новый стандарт.
#OpenAI #RealtimeAPI #GPT4o
———
@tsingular
OpenAI представила публичную бета-версию Realtime API, обеспечивающего создание мультимодальных приложений с низкой задержкой.
Ключевые особенности включают WebSocket-соединения, потоковую передачу аудио, обработку прерываний и вызов функций.
API работает на модели GPT-4o, позволяя распознавать речь, обрабатывать текст и синтезировать речь в едином интерфейсе.
Тарифы:
текст - $5/1М входных и $20/1М выходных токенов;
аудио - $100/1М входных и $200/1М выходных токенов. ($0.06 за минуту входа и $0.24 за минуту генерации)
Доступен в OpenAI Playground.
Планируется добавление поддержки изображений, видео и дальнейшее расширение возможностей SDK.
Готовимся переписывать агентов - с async на websocket.
Интерактивное общение - новый стандарт.
#OpenAI #RealtimeAPI #GPT4o
———
@tsingular
👍5
Altera: создание цифровых людей
Компания Altera разрабатывает цифровых людей с человеческими качествами:
• Автономия, связность, эмоции, эпизодическая память
• Быстрые рекации и взаимодействие с реальностью
Ключевые аспекты:
• Фокус на целостном интеллекте, а не только на выполнении задач
• Создание эмпатичных агентов для осмысленного взаимодействия
• Тестирование технологии начнется с игр
• Долгосрочное применение в различных секторах
Цель: улучшить понимание человечности и расширить возможности людей
https://altera.al/
ИИ агенты от Альтеры для Майнкрафта:
https://playlabs.altera.al/discover
#Altera #DigitalHumans #Gaming
-------
@tsingular
Компания Altera разрабатывает цифровых людей с человеческими качествами:
• Автономия, связность, эмоции, эпизодическая память
• Быстрые рекации и взаимодействие с реальностью
Ключевые аспекты:
• Фокус на целостном интеллекте, а не только на выполнении задач
• Создание эмпатичных агентов для осмысленного взаимодействия
• Тестирование технологии начнется с игр
• Долгосрочное применение в различных секторах
Цель: улучшить понимание человечности и расширить возможности людей
https://altera.al/
ИИ агенты от Альтеры для Майнкрафта:
https://playlabs.altera.al/discover
#Altera #DigitalHumans #Gaming
-------
@tsingular
❤🔥3
Forwarded from Фабрика контента
🚀 OpenAI Dev Day: что нового? 🚀
Вчера на конференции OpenAI представили революционные фичи, и вот что нас особенно впечатлило:
1️⃣ o1 — полная версия: ИИ, который *с нуля* написал код для управления дроном! На сцене ведущий запустил дрон в полет прямо по этому коду. Все заработало с первой попытки. Ощущение, что будущее уже здесь.
2️⃣ Голосовой режим: представьте, ИИ позвонил в магазин и заказал 400 клубник в шоколаде! Пусть видео и постановочное, но возможность впечатляет. Знакомый, но крутой уровень взаимодействия, который когда-то показывал Google, теперь доступен и здесь.
3️⃣ Voice Mod через Realtime API: теперь любое приложение может заговорить с вами *человеческим* голосом. Голосовые интерфейсы выходят на новый уровень — готовьтесь к более естественному взаимодействию с технологиями.
4️⃣ Разработчики о полной версии o1: обещают, что итоговая версия будет еще лучше, чем превью! Интеграции с инструментами для кодинга уже начались — ждем релиза в ближайшие недели. Эта модель станет новым стандартом для разработчиков.
5️⃣ Sora, новая версия: на экранах в холле крутили видео с обновленной версией. Выглядит впечатляюще — с нетерпением ждем, что нас ждет дальше.
OpenAI в очередной раз демонстрируют, как технологии могут выйти на новый уровень взаимодействия. Мы начинаем испытания уже сегодня!
Какие из этих возможностей вам интереснее всего?
😎 Фабрика контента.
Вчера на конференции OpenAI представили революционные фичи, и вот что нас особенно впечатлило:
1️⃣ o1 — полная версия: ИИ, который *с нуля* написал код для управления дроном! На сцене ведущий запустил дрон в полет прямо по этому коду. Все заработало с первой попытки. Ощущение, что будущее уже здесь.
2️⃣ Голосовой режим: представьте, ИИ позвонил в магазин и заказал 400 клубник в шоколаде! Пусть видео и постановочное, но возможность впечатляет. Знакомый, но крутой уровень взаимодействия, который когда-то показывал Google, теперь доступен и здесь.
3️⃣ Voice Mod через Realtime API: теперь любое приложение может заговорить с вами *человеческим* голосом. Голосовые интерфейсы выходят на новый уровень — готовьтесь к более естественному взаимодействию с технологиями.
4️⃣ Разработчики о полной версии o1: обещают, что итоговая версия будет еще лучше, чем превью! Интеграции с инструментами для кодинга уже начались — ждем релиза в ближайшие недели. Эта модель станет новым стандартом для разработчиков.
5️⃣ Sora, новая версия: на экранах в холле крутили видео с обновленной версией. Выглядит впечатляюще — с нетерпением ждем, что нас ждет дальше.
OpenAI в очередной раз демонстрируют, как технологии могут выйти на новый уровень взаимодействия. Мы начинаем испытания уже сегодня!
Какие из этих возможностей вам интереснее всего?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8⚡4
Forwarded from Tensor Banana
Подключаем кучу видеокарт к мини-пк или ноутбуку
В наличии имею мини-пк GenMachine на Ryzen 7 7730u (брал за 27к) https://aliexpress.ru/item/1005005560402861.html?sku_id=12000036067533846
Есть 2 варианта подключения внешней видеокарты к ноуту или мини-пк: по Thunderbolt или через переходник m2->pcie. Thunderbolt есть только в дорогих моделях, и он обычно только один + к нему нужен будет корпус ценой еще в полвидюхи. У меня Thunderbolt нет, поэтому будем юзать m2-nvme.
У моего мини-пк есть целых три слота m2 (x4 SSD, x4 SSD, x1 m2-e-key-wifi), это довольно много. Чаще всего, в дешёвых мини-пк идёт ровно 1 слот для SSD и всё. Например, в beelink s12 pro (17к на озоне) всего 1 x1 слот, но и там есть варианты.
Следует отметить, что не все слоты m2 являются PCIE. В старых ноутах/мини-пк будет стоять m2-SATA, а не m2-nvme, нам такие не подходят.
Для подключения видеокарт нам понадобится переходник с m2 на PCIE x16. Он позволит подключить одну видеокарту. Я купил 2 штуки на PCIE 3.0 x4, они довольно быстрые.
Но одной видеокарты нам мало, нам надо 4, поэтому нужен ещё сплиттер с x1 на 4 x1. Такой обычно используют майнеры, он не супер быстрый, но зато позволяет подключить до 4 карт на один слот в режиме PCIE 2.0 x1 (полоса будет по умному делиться между всеми устройствами). Предположу, что для этого сплиттера не нужна поддержка бифуркации в матери, но это неточно (в моем биосе никакой бифуркации я не нашел). Карту с разъемом x1 можно воткнуть в разъем x16.
## Железки
Порядковый номер соответствует номеру на фотке. Часть моих ссылок на Али устарела, заменил на аналогичные найденные.
1. Переходник m2 e key (wifi) to m2 m key (ssd) PCIE 3.0 x1 https://aliexpress.ru/item/1005004711422885.html?sku_id=12000030192041528
2. Переходник m2 to PCIE 3.0 x16 (использует от x1 до x4 линий, взял 2) https://aliexpress.ru/item/1005004727347382.html?sku_id=12000030249734865
3. Сплиттер (райзер) x1 to 4 x1 with PCIEUSB cables, PCIE 2.0 x1 https://aliexpress.ru/item/1005003519054789.html
4. Переходник (райзер) PCIEUSB to PCIE 3.0 x16 https://aliexpress.ru/item/1005004134020455.html?sku_id=12000028145182159
5. Переходник m2 to 4 x1 with PCIEUSB cables (работает, но нестабильно, иногда BSODит. Возможно, брак, отзывы были отличные) https://aliexpress.ru/item/1005004402356641.html?sku_id=12000029049805779
6. Переходник m2 to 1 x1 with PCIEUSB cables https://www.ozon.ru/product/m-2-ngff-v-pci-e-x16-usb3-0-adapter-riser-card-card-adapter-342305387/
7. Переходник PCIE x16 to PCIE x16 + 2 m2 (у меня m2 слоты не заработали) https://aliexpress.ru/item/1005005277952427.html
Блок питания взял свой старый на 750W. Чтобы он автоматом включался, я замкнул нужный контакт на землю. Сперва включаю БП, потом мини-пк, иначе видюхи не определятся.
## Скорость загрузки
Слот x1 и 2 видюхи на сплиттере pcie 2.0 x1
- Скорость загрузки T-lite-instruct-0.1.Q8_0 (файнтюн llama-3-8b, 7.95 GB) из ram в vram - 22s (0.35 GB/s)
Полное время загрузки llama.cpp server от дабл клика до готовности:
- в одну видюху --tensor-split 1.0,0.0 - 34s
- в две видюхи --tensor-split 0.5,0.5 - 35s
- два экземпляра llama.cpp параллельно, каждый в свою видюху - 48s
- в comfyui flux почему-то загружается со скоростью 0.08 GB/s (возможно, налету еще пересчитывает fp16 в fp8)
Скорость загрузки в режиме pcie 3.0 x4 (без сплиттера) в llama.cpp примерно 1.20 GB/s. В comfyui тоже быстрее, затестю цифры чуть позже.
Скорость чтения SSD в зависимости от слота. В родном PCIE 3.0 x4 - 3.65 GB/s, в x1 - 0.91 GB/s. На практике в винде почти не замечаю разницы, ощущую ее только, когда делаю полнотекстовой поиск по куче файлов. Я хз почему скорость чтения/записи с SSD в 2-3 раз выше чем при работе с видеокартой при аналогичном режиме.
## Скорость инференса
не влезла, вынесу в комменты.
В теории в эти 3 слота я смогу подключить через сплиттер до 12 видюх. Сколько получится на практике - пока неизвестно. В данный момент работают 2. Интернет говорит, что в этом проце 16 PCIE 3.0 линий. Но каждому сплиттеру нужна всего одна линия. Пока подключил 2 видюхи каждую на x4, а ssd на x1.
В наличии имею мини-пк GenMachine на Ryzen 7 7730u (брал за 27к) https://aliexpress.ru/item/1005005560402861.html?sku_id=12000036067533846
Есть 2 варианта подключения внешней видеокарты к ноуту или мини-пк: по Thunderbolt или через переходник m2->pcie. Thunderbolt есть только в дорогих моделях, и он обычно только один + к нему нужен будет корпус ценой еще в полвидюхи. У меня Thunderbolt нет, поэтому будем юзать m2-nvme.
У моего мини-пк есть целых три слота m2 (x4 SSD, x4 SSD, x1 m2-e-key-wifi), это довольно много. Чаще всего, в дешёвых мини-пк идёт ровно 1 слот для SSD и всё. Например, в beelink s12 pro (17к на озоне) всего 1 x1 слот, но и там есть варианты.
Следует отметить, что не все слоты m2 являются PCIE. В старых ноутах/мини-пк будет стоять m2-SATA, а не m2-nvme, нам такие не подходят.
Для подключения видеокарт нам понадобится переходник с m2 на PCIE x16. Он позволит подключить одну видеокарту. Я купил 2 штуки на PCIE 3.0 x4, они довольно быстрые.
Но одной видеокарты нам мало, нам надо 4, поэтому нужен ещё сплиттер с x1 на 4 x1. Такой обычно используют майнеры, он не супер быстрый, но зато позволяет подключить до 4 карт на один слот в режиме PCIE 2.0 x1 (полоса будет по умному делиться между всеми устройствами). Предположу, что для этого сплиттера не нужна поддержка бифуркации в матери, но это неточно (в моем биосе никакой бифуркации я не нашел). Карту с разъемом x1 можно воткнуть в разъем x16.
## Железки
Порядковый номер соответствует номеру на фотке. Часть моих ссылок на Али устарела, заменил на аналогичные найденные.
1. Переходник m2 e key (wifi) to m2 m key (ssd) PCIE 3.0 x1 https://aliexpress.ru/item/1005004711422885.html?sku_id=12000030192041528
2. Переходник m2 to PCIE 3.0 x16 (использует от x1 до x4 линий, взял 2) https://aliexpress.ru/item/1005004727347382.html?sku_id=12000030249734865
3. Сплиттер (райзер) x1 to 4 x1 with PCIEUSB cables, PCIE 2.0 x1 https://aliexpress.ru/item/1005003519054789.html
4. Переходник (райзер) PCIEUSB to PCIE 3.0 x16 https://aliexpress.ru/item/1005004134020455.html?sku_id=12000028145182159
5. Переходник m2 to 4 x1 with PCIEUSB cables (работает, но нестабильно, иногда BSODит. Возможно, брак, отзывы были отличные) https://aliexpress.ru/item/1005004402356641.html?sku_id=12000029049805779
6. Переходник m2 to 1 x1 with PCIEUSB cables https://www.ozon.ru/product/m-2-ngff-v-pci-e-x16-usb3-0-adapter-riser-card-card-adapter-342305387/
7. Переходник PCIE x16 to PCIE x16 + 2 m2 (у меня m2 слоты не заработали) https://aliexpress.ru/item/1005005277952427.html
Блок питания взял свой старый на 750W. Чтобы он автоматом включался, я замкнул нужный контакт на землю. Сперва включаю БП, потом мини-пк, иначе видюхи не определятся.
## Скорость загрузки
Слот x1 и 2 видюхи на сплиттере pcie 2.0 x1
- Скорость загрузки T-lite-instruct-0.1.Q8_0 (файнтюн llama-3-8b, 7.95 GB) из ram в vram - 22s (0.35 GB/s)
Полное время загрузки llama.cpp server от дабл клика до готовности:
- в одну видюху --tensor-split 1.0,0.0 - 34s
- в две видюхи --tensor-split 0.5,0.5 - 35s
- два экземпляра llama.cpp параллельно, каждый в свою видюху - 48s
- в comfyui flux почему-то загружается со скоростью 0.08 GB/s (возможно, налету еще пересчитывает fp16 в fp8)
Скорость загрузки в режиме pcie 3.0 x4 (без сплиттера) в llama.cpp примерно 1.20 GB/s. В comfyui тоже быстрее, затестю цифры чуть позже.
Скорость чтения SSD в зависимости от слота. В родном PCIE 3.0 x4 - 3.65 GB/s, в x1 - 0.91 GB/s. На практике в винде почти не замечаю разницы, ощущую ее только, когда делаю полнотекстовой поиск по куче файлов. Я хз почему скорость чтения/записи с SSD в 2-3 раз выше чем при работе с видеокартой при аналогичном режиме.
## Скорость инференса
не влезла, вынесу в комменты.
В теории в эти 3 слота я смогу подключить через сплиттер до 12 видюх. Сколько получится на практике - пока неизвестно. В данный момент работают 2. Интернет говорит, что в этом проце 16 PCIE 3.0 линий. Но каждому сплиттеру нужна всего одна линия. Пока подключил 2 видюхи каждую на x4, а ssd на x1.
🔥6👍1🐳1
Forwarded from LLM под капотом
Самый частый комментарий про исходники решения - победителя Enterprise RAG Challenge звучит примерно так:
Я и сам удивился. Не ожидал, что checklists в сочетании со structured outputs - это настолько мощная связка, что может вытягивать сразу десятки-сотни сущностей из документа за раз.
Удивление было уже давно, целый месяц назад (это вечность по современным меркам 😂). А сейчас уже в ряде проектов у нас сложные пайплайны переделаны под эту связку. Сложными они были раньше, теперь скучные, и это хорошо.
Основная сложность теперь не в написании кода, а в написании такого дерева Structured Output объектов, чтобы оно работало как Checklist, заполняя который последовательно, мы приходим к правильным выводам.
Получается прямо захардкоженный Chain-of-thought, который выполняется одним запросом! Причем в нем можно сразу закладывать ветвления и выделять места для дополнительных рассуждений (см ниже).
Поэтому я сейчас всех консультируемых клиентов с подходящими кейсами тороплю - пробуйте эту связку. Времени она тратит немного, а вот разработку может сократить заметно. Ну и код становится скучным и эффективным. Все, как мы любим.
Пара подсказок сразу:
(1) Не используем function calling syntax для передачи structured output, а передаем response_format
(2) gpt-4o-2024-08-06 работает хорошо. Вроде даже на Azure она уже есть со structured output.
(3) порядок полей очень важен! Они заполняются последовательно. Сначала можно ставить наводящие вопросы или даже давать место для размышлений (например, List[ThinkStep]).
(4) Там, где нужно делать классификацию, используем Literal. Опциональные поля помечаем как Optional, используем смело Dict/List. Ну и вообще знакомимся с фишками из Typing, которые поддерживает OpenAI API.
(5) Optional + вложенный класс - это возможность для GPT в рамках для Chain-of-thought пройтись по опциональной ветке размышлений. Еще есть anyOf, но так далеко с программированием на constrained decoding автомате я пока не заходил 😁
(6) Там, где важен формат ответа, ставим описание и примеры в Field. Это GPT тоже увидит. Можно повторить в названии и в описании. Например:
Понятно, что подход не универсальный. Но в продуктовых задачах для бизнеса такие самодельные ChainOfThought могут решать очень много задач одним запросом.
Тогда получится мой любимый вид продукта с LLM под капотом - когда снаружи он работает на одном уровне с передовыми решениями своего сектора, а то и лучше. Но у него есть маленький секрет - вместо монструозно сложной конструкции из кучи разных технологий (RAG/LangChain/Hybrid search/Agents итп) там просто пара простых и эффективных использований LLM. В итоге AI кода в решении - 5%, а все остальные 95% - это обычные интеграции, интерфейсы.
И такие типы продуктов очень важны для маленьких компаний и стартапов. При необходимости роста не нужно искать и нанимать редких ML специалистов. Код же простой и он на 95% обычен. Тут нужно искать обычных Front-End, Back-End и Full-stack итп. И нанять их можно будет сильно проще, т.к. зовут их не в обычный продукт, а в модный LLM-driven. Выигрывают от этого все.
Только вчера фаундер одного MedTech стартапа сказал, что после такого описания (с приоритизацией кейсов под этот паттерн) у него стратегия развития поменялась кардинально. И теперь pre-seed раунд на пару миллионов евро не выглядит недостижимым.
В общем, паттерн простой и мощный. Особенно, если приоритизировать кейсы, где он сработает хорошо (такие есть в каждой отрасли), а конкурентам оставлять более сложные.
Ваш, @llm_under_hood 🤗
PS: Я писал раньше про кейс с новой AI Platform для клиента. И он тоже теперь сильно использует этот паттерн на "одну кружку чая".
Заварил чайник, чтобы сесть разобраться в исходниках. К концу первой кружки удивился, что так мало кода.
Я и сам удивился. Не ожидал, что checklists в сочетании со structured outputs - это настолько мощная связка, что может вытягивать сразу десятки-сотни сущностей из документа за раз.
Удивление было уже давно, целый месяц назад (это вечность по современным меркам 😂). А сейчас уже в ряде проектов у нас сложные пайплайны переделаны под эту связку. Сложными они были раньше, теперь скучные, и это хорошо.
Основная сложность теперь не в написании кода, а в написании такого дерева Structured Output объектов, чтобы оно работало как Checklist, заполняя который последовательно, мы приходим к правильным выводам.
Получается прямо захардкоженный Chain-of-thought, который выполняется одним запросом! Причем в нем можно сразу закладывать ветвления и выделять места для дополнительных рассуждений (см ниже).
Поэтому я сейчас всех консультируемых клиентов с подходящими кейсами тороплю - пробуйте эту связку. Времени она тратит немного, а вот разработку может сократить заметно. Ну и код становится скучным и эффективным. Все, как мы любим.
Пара подсказок сразу:
response = client.beta.chat.completions.parse(
model="gpt-4o-2024-08-06",
messages=messages,
response_format=ChainOfThoughtPydanticClass
)
(1) Не используем function calling syntax для передачи structured output, а передаем response_format
(2) gpt-4o-2024-08-06 работает хорошо. Вроде даже на Azure она уже есть со structured output.
(3) порядок полей очень важен! Они заполняются последовательно. Сначала можно ставить наводящие вопросы или даже давать место для размышлений (например, List[ThinkStep]).
(4) Там, где нужно делать классификацию, используем Literal. Опциональные поля помечаем как Optional, используем смело Dict/List. Ну и вообще знакомимся с фишками из Typing, которые поддерживает OpenAI API.
(5) Optional + вложенный класс - это возможность для GPT в рамках для Chain-of-thought пройтись по опциональной ветке размышлений. Еще есть anyOf, но так далеко с программированием на constrained decoding автомате я пока не заходил 😁
(6) Там, где важен формат ответа, ставим описание и примеры в Field. Это GPT тоже увидит. Можно повторить в названии и в описании. Например:
class Size(BaseModel):
width: float
height: float
size_inches: Optional[Size] = Field(None, description="Dimensions in inches (width, length)")
Понятно, что подход не универсальный. Но в продуктовых задачах для бизнеса такие самодельные ChainOfThought могут решать очень много задач одним запросом.
Тогда получится мой любимый вид продукта с LLM под капотом - когда снаружи он работает на одном уровне с передовыми решениями своего сектора, а то и лучше. Но у него есть маленький секрет - вместо монструозно сложной конструкции из кучи разных технологий (RAG/LangChain/Hybrid search/Agents итп) там просто пара простых и эффективных использований LLM. В итоге AI кода в решении - 5%, а все остальные 95% - это обычные интеграции, интерфейсы.
И такие типы продуктов очень важны для маленьких компаний и стартапов. При необходимости роста не нужно искать и нанимать редких ML специалистов. Код же простой и он на 95% обычен. Тут нужно искать обычных Front-End, Back-End и Full-stack итп. И нанять их можно будет сильно проще, т.к. зовут их не в обычный продукт, а в модный LLM-driven. Выигрывают от этого все.
Только вчера фаундер одного MedTech стартапа сказал, что после такого описания (с приоритизацией кейсов под этот паттерн) у него стратегия развития поменялась кардинально. И теперь pre-seed раунд на пару миллионов евро не выглядит недостижимым.
В общем, паттерн простой и мощный. Особенно, если приоритизировать кейсы, где он сработает хорошо (такие есть в каждой отрасли), а конкурентам оставлять более сложные.
Ваш, @llm_under_hood 🤗
PS: Я писал раньше про кейс с новой AI Platform для клиента. И он тоже теперь сильно использует этот паттерн на "одну кружку чая".
👍7❤1🔥1
Media is too big
VIEW IN TELEGRAM
Anaconda запускает AI Navigator: работа с ИИ-моделями локально на вашем компьютере
Позволяет локально запускать свыше 200 предобученных и проверенных командой Анаконды моделей без отправки данных в облако.
Пока только на Mac & Windows. Ждем Ubuntu.
Есть так же локальный API-сервер и встроенный чат.
Планы: расширение возможностей создания и обмена ИИ-агентами к 2025 году.
Фактически клон LM Studio, но с интеграцией в среды разработки.
Удобно.
Качаем тут
#Anaconda #AINavigator #GenerativeAI
———
@tsingular
Позволяет локально запускать свыше 200 предобученных и проверенных командой Анаконды моделей без отправки данных в облако.
Пока только на Mac & Windows. Ждем Ubuntu.
Есть так же локальный API-сервер и встроенный чат.
Планы: расширение возможностей создания и обмена ИИ-агентами к 2025 году.
Фактически клон LM Studio, но с интеграцией в среды разработки.
Удобно.
Качаем тут
#Anaconda #AINavigator #GenerativeAI
———
@tsingular
🔥7
Media is too big
VIEW IN TELEGRAM
Ещё одна наглядная демонстрация, как работает трансформер.
https://poloclub.github.io/transformer-explainer/
В коллекцию демок.
#demo #обучение #LLM
———
@tsingular
https://poloclub.github.io/transformer-explainer/
В коллекцию демок.
#demo #обучение #LLM
———
@tsingular
Forwarded from NN
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI добавила в ChatGPT мощный инструмент для работы над проектами — Canvas. Специальный интерфейс октрывается в отдельном окне и предлагает новые возможности при работе с кодом и текстами.
Главные фишки для кодинга:
– Редактирование полученного кода прямо в окне ответа;
– Код-ревью от алгоритма, исправление ошибок и комментирование;
– Моментальный перенос кода на другой язык программирования.
Возможности для написания текстов:
– Редактирование длины без нового промта;
– Регулирование стилей — сложность текста можно менять на ходу;
– Проверка текста на ошибки, понятность и логическую последовательность.
Canvas постепенно появляются у подписчиков ChatGPT Plus и Team. Владельцы бесплатных аккаунтов смогут попробовать «холсты» когда закончится бета-тестирование.
Главные фишки для кодинга:
– Редактирование полученного кода прямо в окне ответа;
– Код-ревью от алгоритма, исправление ошибок и комментирование;
– Моментальный перенос кода на другой язык программирования.
Возможности для написания текстов:
– Редактирование длины без нового промта;
– Регулирование стилей — сложность текста можно менять на ходу;
– Проверка текста на ошибки, понятность и логическую последовательность.
Canvas постепенно появляются у подписчиков ChatGPT Plus и Team. Владельцы бесплатных аккаунтов смогут попробовать «холсты» когда закончится бета-тестирование.
⚡7
Рубрика - управление железом.
Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.
И тут прям флэшбэк:
В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.
Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)
Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.
Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.
Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.
#RAMdrive #devops #linux
———
#tsingular
Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.
И тут прям флэшбэк:
В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.
Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)
Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.
Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.
Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.
#RAMdrive #devops #linux
———
#tsingular
👏11👍1🔥1