OpenAI повышает стоимость подписки вдвое
По отчётам OpenAI, на сегодняшний день около 10 миллионов пользователей ChatGPT платят ежемесячную подписку в $20.
OpenAI намерена повысить стоимость на $2 до конца года, а в течение следующих пяти лет постепенно увеличить её до $44.
Более миллиона сторонних разработчиков уже используют технологии OpenAI для создания собственных сервисов и потребление по API для среднего стартапа ближе по расходам как раз к $50-$100 в месяц, так что $20, - это, конечно, аттракцион невиданной щедрости был.
Компания вышла на уверенный рост и монетизацию, хотя все еще и в убытке (правильнее наверное сказать, - период агрессивных инвестиций в развитие).
#OpenAI #ChatGPT #subscription #price
———
@tsingular
По отчётам OpenAI, на сегодняшний день около 10 миллионов пользователей ChatGPT платят ежемесячную подписку в $20.
OpenAI намерена повысить стоимость на $2 до конца года, а в течение следующих пяти лет постепенно увеличить её до $44.
Более миллиона сторонних разработчиков уже используют технологии OpenAI для создания собственных сервисов и потребление по API для среднего стартапа ближе по расходам как раз к $50-$100 в месяц, так что $20, - это, конечно, аттракцион невиданной щедрости был.
Компания вышла на уверенный рост и монетизацию, хотя все еще и в убытке (правильнее наверное сказать, - период агрессивных инвестиций в развитие).
#OpenAI #ChatGPT #subscription #price
———
@tsingular
Forwarded from GPT/ChatGPT/AI Central Александра Горного
Google потратил 2.7 миллиарда чтобы вернуть одного AI-разработчика
Недавно Google заплатил стартапу CharacterAI 2.7 миллиарда долларов, за лицензирование технологий. WSJ выяснил, что цель сделки была не в получении доступа к технологиям, а в том, чтобы вернуть в компанию основателя CharacterAI Ноама Шазира.
Шазир работал в Google c 2000 года и покинул компанию в 2021, из-за того что технологический гигант отказался запускать генеративную нейросеть, созданную им. После этого, Шазир основал стартап CharacterAI, который в 2023 году оценили в 1 миллиард долларов.
Теперь Ноам Шазир вернулся в Google на позицию вице-президента и главы разработки Gemini AI. С собой он привел часть команды из CharacterAI.
https://www.wsj.com/tech/ai/noam-shazeer-google-ai-deal-d3605697
—
GPT o1-preview и o1-mini уже доступны в c.aiacademy.me
Недавно Google заплатил стартапу CharacterAI 2.7 миллиарда долларов, за лицензирование технологий. WSJ выяснил, что цель сделки была не в получении доступа к технологиям, а в том, чтобы вернуть в компанию основателя CharacterAI Ноама Шазира.
Шазир работал в Google c 2000 года и покинул компанию в 2021, из-за того что технологический гигант отказался запускать генеративную нейросеть, созданную им. После этого, Шазир основал стартап CharacterAI, который в 2023 году оценили в 1 миллиард долларов.
Теперь Ноам Шазир вернулся в Google на позицию вице-президента и главы разработки Gemini AI. С собой он привел часть команды из CharacterAI.
https://www.wsj.com/tech/ai/noam-shazeer-google-ai-deal-d3605697
—
GPT o1-preview и o1-mini уже доступны в c.aiacademy.me
This media is not supported in your browser
VIEW IN TELEGRAM
Робопёс покоряет вертикальные лестницы
Создан метод обучения четвероногого робота лазанию по лестницам.
Комбинация крючковых захватов и RL-алгоритмов позволила достичь 90% успеха на уклонах 70-90°.
Скорость подъема увеличена в 232 раза по сравнению с предыдущими разработками.
Робот адаптируется к разным параметрам лестниц и устойчив к внешним воздействиям.
Система не требует дополнительной настройки при переносе из симуляции на реального робота.
Походка при лазании схожа с человеческой, задние конечности генерируют подъемную силу, передние обеспечивают стабильность.
Плюсы,- не надо выгуливать.
Минусы,- не спрятаться, не скрыться.
#robotics #climbingrobots
------
@tsingular
Создан метод обучения четвероногого робота лазанию по лестницам.
Комбинация крючковых захватов и RL-алгоритмов позволила достичь 90% успеха на уклонах 70-90°.
Скорость подъема увеличена в 232 раза по сравнению с предыдущими разработками.
Робот адаптируется к разным параметрам лестниц и устойчив к внешним воздействиям.
Система не требует дополнительной настройки при переносе из симуляции на реального робота.
Походка при лазании схожа с человеческой, задние конечности генерируют подъемную силу, передние обеспечивают стабильность.
Плюсы,- не надо выгуливать.
Минусы,- не спрятаться, не скрыться.
#robotics #climbingrobots
------
@tsingular
🤔23👍15🤯14👀1
из рубрики "знаете ли вы".
Оказывается использование OpenAI для модерации - БЕСПЛАТНО
А там, между прочим, Омни модель [ omni-moderation-latest ]- т.е. и картинки тоже.
https://platform.openai.com/docs/guides/moderation/moderation
#OpenAI #freeware #tools
———
@tsingular
Оказывается использование OpenAI для модерации - БЕСПЛАТНО
А там, между прочим, Омни модель [ omni-moderation-latest ]- т.е. и картинки тоже.
https://platform.openai.com/docs/guides/moderation/moderation
#OpenAI #freeware #tools
———
@tsingular
👍6
Популярность ChatGPT снижает обмен знаниями на форумах между людьми
Активность на Stack Overflow упала на 25% за полгода после дебюта ChatGPT.
Для получения ответов пользователи предпочитают ИИ-ассистентов публичным форумам.
Это сокращает базу данных для обучения будущих ИИ-моделей!!!
Наблюдается миграция знаний из публичного домена в частный.
Спад затронул контент всех уровней качества и пользователей разного опыта.
Особенно сократилась активность по Python и Javascript.
Какая-то саморегуляция всемирного знания.
Чем больше знает ИИ, - тем меньше базы, чтобы обучать его в будущем.
Тем больше частных островков знаний в специализациях, куда ИИ не дотянется 🤔
#StackOverflow #KnowledgeSharing #LLM
-------
@tsingular
Активность на Stack Overflow упала на 25% за полгода после дебюта ChatGPT.
Для получения ответов пользователи предпочитают ИИ-ассистентов публичным форумам.
Это сокращает базу данных для обучения будущих ИИ-моделей!!!
Наблюдается миграция знаний из публичного домена в частный.
Спад затронул контент всех уровней качества и пользователей разного опыта.
Особенно сократилась активность по Python и Javascript.
Какая-то саморегуляция всемирного знания.
Чем больше знает ИИ, - тем меньше базы, чтобы обучать его в будущем.
Тем больше частных островков знаний в специализациях, куда ИИ не дотянется 🤔
#StackOverflow #KnowledgeSharing #LLM
-------
@tsingular
👍8🤔6
This media is not supported in your browser
VIEW IN TELEGRAM
GR-2: новый прямоходящий робот
Fourier Intelligence представила усовершенствованного робота GR-2.
Высотой 175 см и весом 63 кг, он обладает 53 степенями свободы.
Ключевые особенности:
• Ловкие руки с 12 степенями свободы и 6 тактильными сенсорами
• Приводы FSA 2.0 с крутящим моментом более 380 Н·м
• Грузоподъемность одной руки - 3 кг
• Двойная система энкодеров для точного управления
Обновленный SDK поддерживает фреймворки NVIDIA Isaac Lab, ROS и Mujoco.
Открытый opensource! Любой школьник может перепрошить делать домашку и выгуливать робо-собаку.
Конечно это все не для военных целей. 🤖👋
#FourierIntelligence #GR2 #Robotics
-------
@tsingular
Fourier Intelligence представила усовершенствованного робота GR-2.
Высотой 175 см и весом 63 кг, он обладает 53 степенями свободы.
Ключевые особенности:
• Ловкие руки с 12 степенями свободы и 6 тактильными сенсорами
• Приводы FSA 2.0 с крутящим моментом более 380 Н·м
• Грузоподъемность одной руки - 3 кг
• Двойная система энкодеров для точного управления
Обновленный SDK поддерживает фреймворки NVIDIA Isaac Lab, ROS и Mujoco.
Открытый opensource! Любой школьник может перепрошить делать домашку и выгуливать робо-собаку.
Конечно это все не для военных целей. 🤖👋
#FourierIntelligence #GR2 #Robotics
-------
@tsingular
👍4🤣2⚡1
Forwarded from Data Secrets
Они разработали систему под названием SCoRe (Self-Correction via Reinforcement Learning). SCoRe работает как бы в два этапа:
1. Учится генерировать first try, исправления и second try. При этом используется специальный лосс, учитывающий и качество самих ответов, и качество критики. Получается своеобразный претрейн.
2. На втором этапе подключается multi-stage reinforcement learning. Тут лосс (с помощью регуляризации) больше поощряет существенные улучшения между first try и second try.
При этом учится SCoRe только на сгенерированных данных: это сделано специально, чтобы избежать проблемы разницы распределений в генерациях и трейне. Это, кстати, одна из причин того, что обычный файнтюнинг перформит не так хорошо, как хотелось бы.
Итог: SCoRe существенно улучшил self-correction гугловских моделей на бенчмарках. Например, на HumanEval случился скачок на 9,1 пп, а на MATH – на целых 16.
Статья полностью лежит тут.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2
This media is not supported in your browser
VIEW IN TELEGRAM
EA показали новую концепцию по генерации миров в реальном времени с помощью ИИ.
В примере, на ходу, по запросам в чате, создается и интерактивно меняется игровой мир и его механики.
Тип дуэли, оружия, урон и масштаб мира ИИ генерит на лету.
Добавить еще слой нейрорендера поверх процедурных моделей и Матрицу можно выпускать в релиз, в принципе.
#games #worldgeneration
———
@tsingular
В примере, на ходу, по запросам в чате, создается и интерактивно меняется игровой мир и его механики.
Тип дуэли, оружия, урон и масштаб мира ИИ генерит на лету.
Добавить еще слой нейрорендера поверх процедурных моделей и Матрицу можно выпускать в релиз, в принципе.
#games #worldgeneration
———
@tsingular
👍11
Media is too big
VIEW IN TELEGRAM
OpenAI запускает Realtime API: революция в мультимодальных приложениях
OpenAI представила публичную бета-версию Realtime API, обеспечивающего создание мультимодальных приложений с низкой задержкой.
Ключевые особенности включают WebSocket-соединения, потоковую передачу аудио, обработку прерываний и вызов функций.
API работает на модели GPT-4o, позволяя распознавать речь, обрабатывать текст и синтезировать речь в едином интерфейсе.
Тарифы:
текст - $5/1М входных и $20/1М выходных токенов;
аудио - $100/1М входных и $200/1М выходных токенов. ($0.06 за минуту входа и $0.24 за минуту генерации)
Доступен в OpenAI Playground.
Планируется добавление поддержки изображений, видео и дальнейшее расширение возможностей SDK.
Готовимся переписывать агентов - с async на websocket.
Интерактивное общение - новый стандарт.
#OpenAI #RealtimeAPI #GPT4o
———
@tsingular
OpenAI представила публичную бета-версию Realtime API, обеспечивающего создание мультимодальных приложений с низкой задержкой.
Ключевые особенности включают WebSocket-соединения, потоковую передачу аудио, обработку прерываний и вызов функций.
API работает на модели GPT-4o, позволяя распознавать речь, обрабатывать текст и синтезировать речь в едином интерфейсе.
Тарифы:
текст - $5/1М входных и $20/1М выходных токенов;
аудио - $100/1М входных и $200/1М выходных токенов. ($0.06 за минуту входа и $0.24 за минуту генерации)
Доступен в OpenAI Playground.
Планируется добавление поддержки изображений, видео и дальнейшее расширение возможностей SDK.
Готовимся переписывать агентов - с async на websocket.
Интерактивное общение - новый стандарт.
#OpenAI #RealtimeAPI #GPT4o
———
@tsingular
👍5
Altera: создание цифровых людей
Компания Altera разрабатывает цифровых людей с человеческими качествами:
• Автономия, связность, эмоции, эпизодическая память
• Быстрые рекации и взаимодействие с реальностью
Ключевые аспекты:
• Фокус на целостном интеллекте, а не только на выполнении задач
• Создание эмпатичных агентов для осмысленного взаимодействия
• Тестирование технологии начнется с игр
• Долгосрочное применение в различных секторах
Цель: улучшить понимание человечности и расширить возможности людей
https://altera.al/
ИИ агенты от Альтеры для Майнкрафта:
https://playlabs.altera.al/discover
#Altera #DigitalHumans #Gaming
-------
@tsingular
Компания Altera разрабатывает цифровых людей с человеческими качествами:
• Автономия, связность, эмоции, эпизодическая память
• Быстрые рекации и взаимодействие с реальностью
Ключевые аспекты:
• Фокус на целостном интеллекте, а не только на выполнении задач
• Создание эмпатичных агентов для осмысленного взаимодействия
• Тестирование технологии начнется с игр
• Долгосрочное применение в различных секторах
Цель: улучшить понимание человечности и расширить возможности людей
https://altera.al/
ИИ агенты от Альтеры для Майнкрафта:
https://playlabs.altera.al/discover
#Altera #DigitalHumans #Gaming
-------
@tsingular
❤🔥3
Forwarded from Фабрика контента
🚀 OpenAI Dev Day: что нового? 🚀
Вчера на конференции OpenAI представили революционные фичи, и вот что нас особенно впечатлило:
1️⃣ o1 — полная версия: ИИ, который *с нуля* написал код для управления дроном! На сцене ведущий запустил дрон в полет прямо по этому коду. Все заработало с первой попытки. Ощущение, что будущее уже здесь.
2️⃣ Голосовой режим: представьте, ИИ позвонил в магазин и заказал 400 клубник в шоколаде! Пусть видео и постановочное, но возможность впечатляет. Знакомый, но крутой уровень взаимодействия, который когда-то показывал Google, теперь доступен и здесь.
3️⃣ Voice Mod через Realtime API: теперь любое приложение может заговорить с вами *человеческим* голосом. Голосовые интерфейсы выходят на новый уровень — готовьтесь к более естественному взаимодействию с технологиями.
4️⃣ Разработчики о полной версии o1: обещают, что итоговая версия будет еще лучше, чем превью! Интеграции с инструментами для кодинга уже начались — ждем релиза в ближайшие недели. Эта модель станет новым стандартом для разработчиков.
5️⃣ Sora, новая версия: на экранах в холле крутили видео с обновленной версией. Выглядит впечатляюще — с нетерпением ждем, что нас ждет дальше.
OpenAI в очередной раз демонстрируют, как технологии могут выйти на новый уровень взаимодействия. Мы начинаем испытания уже сегодня!
Какие из этих возможностей вам интереснее всего?
😎 Фабрика контента.
Вчера на конференции OpenAI представили революционные фичи, и вот что нас особенно впечатлило:
1️⃣ o1 — полная версия: ИИ, который *с нуля* написал код для управления дроном! На сцене ведущий запустил дрон в полет прямо по этому коду. Все заработало с первой попытки. Ощущение, что будущее уже здесь.
2️⃣ Голосовой режим: представьте, ИИ позвонил в магазин и заказал 400 клубник в шоколаде! Пусть видео и постановочное, но возможность впечатляет. Знакомый, но крутой уровень взаимодействия, который когда-то показывал Google, теперь доступен и здесь.
3️⃣ Voice Mod через Realtime API: теперь любое приложение может заговорить с вами *человеческим* голосом. Голосовые интерфейсы выходят на новый уровень — готовьтесь к более естественному взаимодействию с технологиями.
4️⃣ Разработчики о полной версии o1: обещают, что итоговая версия будет еще лучше, чем превью! Интеграции с инструментами для кодинга уже начались — ждем релиза в ближайшие недели. Эта модель станет новым стандартом для разработчиков.
5️⃣ Sora, новая версия: на экранах в холле крутили видео с обновленной версией. Выглядит впечатляюще — с нетерпением ждем, что нас ждет дальше.
OpenAI в очередной раз демонстрируют, как технологии могут выйти на новый уровень взаимодействия. Мы начинаем испытания уже сегодня!
Какие из этих возможностей вам интереснее всего?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8⚡4
Forwarded from Tensor Banana
Подключаем кучу видеокарт к мини-пк или ноутбуку
В наличии имею мини-пк GenMachine на Ryzen 7 7730u (брал за 27к) https://aliexpress.ru/item/1005005560402861.html?sku_id=12000036067533846
Есть 2 варианта подключения внешней видеокарты к ноуту или мини-пк: по Thunderbolt или через переходник m2->pcie. Thunderbolt есть только в дорогих моделях, и он обычно только один + к нему нужен будет корпус ценой еще в полвидюхи. У меня Thunderbolt нет, поэтому будем юзать m2-nvme.
У моего мини-пк есть целых три слота m2 (x4 SSD, x4 SSD, x1 m2-e-key-wifi), это довольно много. Чаще всего, в дешёвых мини-пк идёт ровно 1 слот для SSD и всё. Например, в beelink s12 pro (17к на озоне) всего 1 x1 слот, но и там есть варианты.
Следует отметить, что не все слоты m2 являются PCIE. В старых ноутах/мини-пк будет стоять m2-SATA, а не m2-nvme, нам такие не подходят.
Для подключения видеокарт нам понадобится переходник с m2 на PCIE x16. Он позволит подключить одну видеокарту. Я купил 2 штуки на PCIE 3.0 x4, они довольно быстрые.
Но одной видеокарты нам мало, нам надо 4, поэтому нужен ещё сплиттер с x1 на 4 x1. Такой обычно используют майнеры, он не супер быстрый, но зато позволяет подключить до 4 карт на один слот в режиме PCIE 2.0 x1 (полоса будет по умному делиться между всеми устройствами). Предположу, что для этого сплиттера не нужна поддержка бифуркации в матери, но это неточно (в моем биосе никакой бифуркации я не нашел). Карту с разъемом x1 можно воткнуть в разъем x16.
## Железки
Порядковый номер соответствует номеру на фотке. Часть моих ссылок на Али устарела, заменил на аналогичные найденные.
1. Переходник m2 e key (wifi) to m2 m key (ssd) PCIE 3.0 x1 https://aliexpress.ru/item/1005004711422885.html?sku_id=12000030192041528
2. Переходник m2 to PCIE 3.0 x16 (использует от x1 до x4 линий, взял 2) https://aliexpress.ru/item/1005004727347382.html?sku_id=12000030249734865
3. Сплиттер (райзер) x1 to 4 x1 with PCIEUSB cables, PCIE 2.0 x1 https://aliexpress.ru/item/1005003519054789.html
4. Переходник (райзер) PCIEUSB to PCIE 3.0 x16 https://aliexpress.ru/item/1005004134020455.html?sku_id=12000028145182159
5. Переходник m2 to 4 x1 with PCIEUSB cables (работает, но нестабильно, иногда BSODит. Возможно, брак, отзывы были отличные) https://aliexpress.ru/item/1005004402356641.html?sku_id=12000029049805779
6. Переходник m2 to 1 x1 with PCIEUSB cables https://www.ozon.ru/product/m-2-ngff-v-pci-e-x16-usb3-0-adapter-riser-card-card-adapter-342305387/
7. Переходник PCIE x16 to PCIE x16 + 2 m2 (у меня m2 слоты не заработали) https://aliexpress.ru/item/1005005277952427.html
Блок питания взял свой старый на 750W. Чтобы он автоматом включался, я замкнул нужный контакт на землю. Сперва включаю БП, потом мини-пк, иначе видюхи не определятся.
## Скорость загрузки
Слот x1 и 2 видюхи на сплиттере pcie 2.0 x1
- Скорость загрузки T-lite-instruct-0.1.Q8_0 (файнтюн llama-3-8b, 7.95 GB) из ram в vram - 22s (0.35 GB/s)
Полное время загрузки llama.cpp server от дабл клика до готовности:
- в одну видюху --tensor-split 1.0,0.0 - 34s
- в две видюхи --tensor-split 0.5,0.5 - 35s
- два экземпляра llama.cpp параллельно, каждый в свою видюху - 48s
- в comfyui flux почему-то загружается со скоростью 0.08 GB/s (возможно, налету еще пересчитывает fp16 в fp8)
Скорость загрузки в режиме pcie 3.0 x4 (без сплиттера) в llama.cpp примерно 1.20 GB/s. В comfyui тоже быстрее, затестю цифры чуть позже.
Скорость чтения SSD в зависимости от слота. В родном PCIE 3.0 x4 - 3.65 GB/s, в x1 - 0.91 GB/s. На практике в винде почти не замечаю разницы, ощущую ее только, когда делаю полнотекстовой поиск по куче файлов. Я хз почему скорость чтения/записи с SSD в 2-3 раз выше чем при работе с видеокартой при аналогичном режиме.
## Скорость инференса
не влезла, вынесу в комменты.
В теории в эти 3 слота я смогу подключить через сплиттер до 12 видюх. Сколько получится на практике - пока неизвестно. В данный момент работают 2. Интернет говорит, что в этом проце 16 PCIE 3.0 линий. Но каждому сплиттеру нужна всего одна линия. Пока подключил 2 видюхи каждую на x4, а ssd на x1.
В наличии имею мини-пк GenMachine на Ryzen 7 7730u (брал за 27к) https://aliexpress.ru/item/1005005560402861.html?sku_id=12000036067533846
Есть 2 варианта подключения внешней видеокарты к ноуту или мини-пк: по Thunderbolt или через переходник m2->pcie. Thunderbolt есть только в дорогих моделях, и он обычно только один + к нему нужен будет корпус ценой еще в полвидюхи. У меня Thunderbolt нет, поэтому будем юзать m2-nvme.
У моего мини-пк есть целых три слота m2 (x4 SSD, x4 SSD, x1 m2-e-key-wifi), это довольно много. Чаще всего, в дешёвых мини-пк идёт ровно 1 слот для SSD и всё. Например, в beelink s12 pro (17к на озоне) всего 1 x1 слот, но и там есть варианты.
Следует отметить, что не все слоты m2 являются PCIE. В старых ноутах/мини-пк будет стоять m2-SATA, а не m2-nvme, нам такие не подходят.
Для подключения видеокарт нам понадобится переходник с m2 на PCIE x16. Он позволит подключить одну видеокарту. Я купил 2 штуки на PCIE 3.0 x4, они довольно быстрые.
Но одной видеокарты нам мало, нам надо 4, поэтому нужен ещё сплиттер с x1 на 4 x1. Такой обычно используют майнеры, он не супер быстрый, но зато позволяет подключить до 4 карт на один слот в режиме PCIE 2.0 x1 (полоса будет по умному делиться между всеми устройствами). Предположу, что для этого сплиттера не нужна поддержка бифуркации в матери, но это неточно (в моем биосе никакой бифуркации я не нашел). Карту с разъемом x1 можно воткнуть в разъем x16.
## Железки
Порядковый номер соответствует номеру на фотке. Часть моих ссылок на Али устарела, заменил на аналогичные найденные.
1. Переходник m2 e key (wifi) to m2 m key (ssd) PCIE 3.0 x1 https://aliexpress.ru/item/1005004711422885.html?sku_id=12000030192041528
2. Переходник m2 to PCIE 3.0 x16 (использует от x1 до x4 линий, взял 2) https://aliexpress.ru/item/1005004727347382.html?sku_id=12000030249734865
3. Сплиттер (райзер) x1 to 4 x1 with PCIEUSB cables, PCIE 2.0 x1 https://aliexpress.ru/item/1005003519054789.html
4. Переходник (райзер) PCIEUSB to PCIE 3.0 x16 https://aliexpress.ru/item/1005004134020455.html?sku_id=12000028145182159
5. Переходник m2 to 4 x1 with PCIEUSB cables (работает, но нестабильно, иногда BSODит. Возможно, брак, отзывы были отличные) https://aliexpress.ru/item/1005004402356641.html?sku_id=12000029049805779
6. Переходник m2 to 1 x1 with PCIEUSB cables https://www.ozon.ru/product/m-2-ngff-v-pci-e-x16-usb3-0-adapter-riser-card-card-adapter-342305387/
7. Переходник PCIE x16 to PCIE x16 + 2 m2 (у меня m2 слоты не заработали) https://aliexpress.ru/item/1005005277952427.html
Блок питания взял свой старый на 750W. Чтобы он автоматом включался, я замкнул нужный контакт на землю. Сперва включаю БП, потом мини-пк, иначе видюхи не определятся.
## Скорость загрузки
Слот x1 и 2 видюхи на сплиттере pcie 2.0 x1
- Скорость загрузки T-lite-instruct-0.1.Q8_0 (файнтюн llama-3-8b, 7.95 GB) из ram в vram - 22s (0.35 GB/s)
Полное время загрузки llama.cpp server от дабл клика до готовности:
- в одну видюху --tensor-split 1.0,0.0 - 34s
- в две видюхи --tensor-split 0.5,0.5 - 35s
- два экземпляра llama.cpp параллельно, каждый в свою видюху - 48s
- в comfyui flux почему-то загружается со скоростью 0.08 GB/s (возможно, налету еще пересчитывает fp16 в fp8)
Скорость загрузки в режиме pcie 3.0 x4 (без сплиттера) в llama.cpp примерно 1.20 GB/s. В comfyui тоже быстрее, затестю цифры чуть позже.
Скорость чтения SSD в зависимости от слота. В родном PCIE 3.0 x4 - 3.65 GB/s, в x1 - 0.91 GB/s. На практике в винде почти не замечаю разницы, ощущую ее только, когда делаю полнотекстовой поиск по куче файлов. Я хз почему скорость чтения/записи с SSD в 2-3 раз выше чем при работе с видеокартой при аналогичном режиме.
## Скорость инференса
не влезла, вынесу в комменты.
В теории в эти 3 слота я смогу подключить через сплиттер до 12 видюх. Сколько получится на практике - пока неизвестно. В данный момент работают 2. Интернет говорит, что в этом проце 16 PCIE 3.0 линий. Но каждому сплиттеру нужна всего одна линия. Пока подключил 2 видюхи каждую на x4, а ssd на x1.
🔥6👍1🐳1