Любимая (нейросеть) сфотографировала как-будто я на Бали :)

#сборка
———
@tsingular

В общем, как-то так.
Теперь со всей этой фигнёй мы попробуем взлететь.
:)

Кстати блок питания, если кто-то будет искать - Thermaltake toughpower 1650W
Его фишка - 2 встроенных кабеля 600w 12H Gen5 под 4090 и новые карты, чтобы не шаманить переходником.

#железо
------
@tsingular

Так, ну новости 2.
1 - мы взлетели, все работает.
2 - низенько-низенько.

Потому что что? Потому, что 1080Ti - флагман 2019-го, гроза производительности своего года и мега карта до сих пор для многих игр, - сегодня слабое звено.

Поэтому открываем новую рубрику #продажажелеза.

Вдруг вам нужна Geforce GTX 1080 Ti не для ML - пишите.

llama3 - 4090:
Output Length: 782 characters
Duration: 1.841776081 seconds
Characters per second: 424.59

llama3 - 1080TI:
Output Length: 643 characters
Duration: 9.077369818 seconds
Characters per second: 70.83

Ну и еще хорошая новость, - райзеры пашут для ML. Если кому надо -то тоже пишите.

#железо
———
@tsingular

Вы же помните, что у канала есть бесплатный GPT бот?

Подключил к нему 4090.
теперь должно быть в 4 раза быстрее.
Проверяйте :)

@ai_gptfreebot

#боты
———
@tsingular

Napkin AI: создание инфографики на базе ваших текстов

Napkin AI превращает текст в профессиональную графику для презентаций и отчётов.

Платформа интерпретирует сложные данные, превращая их в наглядные визуализации с помощью ИИ.

Процесс прост: ввод текста, выбор шаблона, настройка элементов.

Технология обеспечивает скорость, масштабируемость и целостное визуальное представление данных.

https://www.napkin.ai/

Пока в бете, но выглядит впечатляюще! 🎨✨

#NapkinAI #DataVisualization #PresentationTools
———
@tsingular

Реально продукт, - бомба.
Посмотрите, что он может сделать из одной фразы.

Осталось добавить больше вариаций диаграмм.
Не удивлюсь если их очень скоро купит Microsoft или Google.

Вообще, чисто технически сделать такое не сложно.
Сейчас прям такой Дикий запад в мире софта с ИИ, что очень бы хотелось увидеть наши решения с таким же функционалом.

#NapkinAI
———
@tsingular

Дорогой Дедушка Мороз!
Пишет тебе мальчик 44х годиков....
😂

Новый сервер NVIDIA DGX B200 для обучения и работы ИИ стоит ОТ
49 974 669 рублей.

NVIDIA DGX B200 — это мощная платформа для искусственного интеллекта, предназначенная для обработки больших объемов данных и выполнения сложных вычислений. Она оснащена восемью графическими процессорами Blackwell, что обеспечивает до 72 петафлопс производительности при обучении и до 144 петафлопс при инференсе.
Основные характеристики
• Производительность: до 15 раз быстрее, чем предшественники, в задачах запуска обученных моделей.
• Память: 1,4 ТБ HBM3E с пропускной способностью 64 ТБ/с.
• Процессоры: два 56-ядерных процессора Intel Xeon, всего 112 ядер.
• Скорость передачи данных: NVLink и NVSwitch обеспечивают до 4,8 ТБ/с двунаправленной пропускной способности.

https://xn--r1a.website/pimenov_ru/5226

#Nvidia
------
@tsingular

Google разработал PAV для улучшения рассуждений LLM

Google AI Research представила Process Advantage Verifiers (PAV) - новый подход к совершенствованию логических способностей больших языковых моделей.
PAV оценивают каждый шаг в процессе рассуждения, а не только итог, измеряя прогресс на основе вероятности верного решения.
Результаты впечатляют: точность возросла на 8%, эффективность обучения - в 5-6 раз, а поиска - в 1.5-5 раз.
Особенно заметны улучшения в сложных многошаговых задачах, включая математические, с повышением точности более чем на 6%.
Эффективность PAV подтверждена на моделях различного масштаба - от 2 до 27 миллиардов параметров.

Теперь ИИ будет не просто выдавать ответ, но и объяснять, как он до него дошёл.
Актуальный тренд,- самоанализ на ходу.
Не хватает ещё переобучения по выводам. Чтобы решения закреплялись и уходили в "подсознание" на скоростной слой принятия решений.

#Google #ProcessAdvantageVerifiers #MachineLearning
-------
@tsingular

Adobe GenStudio: революция в создании рекламы

Adobe представила GenStudio - ИИ-приложение для перформанс-маркетинга.

Система изучает брендбук и автоматически применяет его к рекламным материалам.

Персонализированная таргетированная реклама создаётся с высокой точностью.

Инструмент генерирует множество вариаций для разных рынков и аудиторий.
Объединяет креативные и маркетинговые команды, оптимизируя рабочий процесс.

Включает поиск и повторное использование одобренных материалов.

Интегрируется с Google, Microsoft, Snap и TikTok.

Анализирует и проверяет атрибуты контента (объекты, цвета, аудио).

ИИ-проверка обеспечивает соблюдение брендбука.

Автоматизирует утверждение и публикацию контента в соцсети и рекламные сети.

Половина денег, которые я трачу на рекламу, тратится впустую, и проблема в том, что я не знаю, какая именно половина

Теперь маркетологи смогут творить, а ИИ будет следить за брендбуком.

#Adobe #GenStudio #PerformanceMarketing
-------
@tsingular

Коллекция автономных AI-агентов на GitHub

В репозитории e2b-dev/awesome-ai-agents на GitHub собран большой каталог автономных агентов ИИ.

Подборка охватывает широкий спектр агентов: от чат-ботов до сложных систем автоматизации задач.
Открытые, закрытые, для кодинга, для исследований, анализа данных, продуктивности, мультиагенты и агенты общего назначения.

Неплохая точка для старта работы над автономными AI-системами.

web весия: https://e2b.dev/ai-agents

#Awesome #AutomatedAgents #Каталог
-------
@tsingular

Genv: GPU-кластеризация для ИИ-разработки

Наткнулся на интересное решение от Run.ai,- Genv - открытую систему управления GPU-средами и кластерами.
Позволяет контролировать, настраивать и отслеживать ресурсы GPU на отдельных машинах или в кластерах.

Сделан по образцу pyenv и Conda и упрощает разворачивание multi-GPU систем.

Интересна тем, что позволяет на каждой железке в кластере поднять однотипный докер и дальше этот докер пробросить в свой оркестратор.
И, по-сути, вообще все-равно что у вас за зоопарк, - они все будет в этой системе вместе работать

Есть интеграция с Ollama, планируется интеграция с PyCharm.

Пробуем, штош.

#Genv #GPU #clustering
-------
@tsingular

Завершая эпопею со сборкой х2 NVidia 4090 RTX.

теперь можно спокойно запускать gemma2:27b-instruct-q8_0 (28Gb) с вот такими результатами:

на английском языке:
Min: 100.55 chars/s
Max: 111.72 chars/s
Avg: 105.19 chars/s

на русском языке:
Min: 65.80 chars/s
Max: 74.32 chars/s
Avg: 69.68 chars/s

#NVidia #железо
———
@tsingular

Карта растительности Земли за 20 минут на примере SageMaker от Amazon

AWS, как всегда, поражает своими примерами.

На этот раз Amazon представила пошаговый гайд, как просканировать ВСЮ РАСТИТЕЛЬНОСТЬ ПЛАНЕТЫ.

Показан анализ спутниковых снимков Sentinel-2 с использованием геоаналитики ИИ на SageMaker.

Обработано 8,581 уникальных кадров за первую неделю декабря 2023 общим объемом 4 ТБ .

Задействовано 25 кластеров по 20 инстансов, применен индекс NDVI.

Весь процесс занял менее 20 минут на 500 инстансах.
При цене $1,20/час за 1 инстанс цена такого приключения в районе $500 за "прогон".

SageMaker, при этом, автоматизирует настройку и масштабирует ресурсы под задачу.

Теперь экологи и фермеры могут следить за лесами в реальном времени!
Особенно если следить нужно не за всей планетой, а за отдельно взятой территорией.

#AmazonSageMaker #SatelliteImagery #NDVI
-------
@tsingular

Марафон китайских роботов-гуманоидов в пустыне Гоби

Компания Robot Era провела тест своих гуманоидных роботов Star1 в пустыне Гоби.
Два андроида соревновались в беге: один 'босиком', другой в кроссовках.
Обутый робот одержал победу.

Star1 ростом 1,71 м и весом 65 кг способен развивать скорость до 3,6 м/с.
Машины оснащены моторами мощностью 400 Нм, используют ИИ и LLM.
Разработчики создали 'шумоподавляющую модель мира' для минимизации помех.
Цель эксперимента – продемонстрировать адаптивность роботов к реальным природным условиям.

Через пару лет робот, идентифицирующий себя как человек, победит в марафоне.
Готовьтесь, спортсмены! 🏃‍♂️🤖

#RobotEra #Star1 #Китай
-------
@tsingular

Open-Sora-Plan: обновление в генерации видео ИИ

Команда PKU-YuanGroup представила версию 1.3.0 проекта Open-Sora-Plan, для на генерации видео.

Ключевые улучшения включают WFVAE для эффективной обработки видео, Prompt Refiner для оптимизации запросов и Skiparse Attention для ускорения обучения.

Внедрена стратегия очистки данных, оставившая 27% исходного набора Panda70m, что повысило качество генерации.

Реализовано динамическое разрешение и длительность видео.

Модель обучена на 4-секундных роликах 720p и поддерживает генерацию как из текста, так и из изображений.

Планируется масштабирование до 10-15B и даже 30B параметров, улучшение понимания физических законов и добавление способностей обобщения.

#OpenSora #VideoGeneration #Китай
-------
@tsingular

Nvidia втихую выпустила Nemotron 70B: новый лидер открытых языковых моделей?

Компания Nvidia представила Nemotron 70B - дообученная Llama 3.1.
Модель с 70 миллиардами параметров превосходит GPT-4 по многим тестам.
Отличается улучшенной архитектурой и быстродействием.
Демонстрирует впечатляющие результаты в понимании контекста и многоязычности.
Поддерживает тонкую настройку для конкретных отраслей и задач.

Доступна через Hugging Face и Ollama, требует минимум 2 GPU с 43-80 ГБ памяти.
Обрабатывает до 128 тысяч токенов на входе и 4 тысячи на выходе. (вот тут слабовато)

2х4090 тянет на Олламе с Q4 по 75 символов в секунду. 🚀🧠

#Nvidia #Nemotron #LLM
-------
@tsingular