UltraPixel: 4K+ генерация детальных изображений сверхвысокого качества

На Гитхабе появилась новая моделька, которая, по описанию, генерит изображения с ультравысоким разрешением и мега-детализацией.

Проект основан на StableCascade и Trans-inr, поддерживает ControlNet для точной генерации, а также позволяет обучать модели на собственных данных.

По ссылке - инструкции по установке, использованию и оптимизации под различные GPU.

Звучит как фантастика, на самом деле. Локально генерить картинки в таком качестве и разрешении...
По описанию на RTX 4090 24G 4096х4096 генерит за 44 секунды.

Если есть у кого возможность, - проверьте, накидайте в комментах генерации, я пока занят на конфе.
Завтра обязательно проверю.

UPD: из исходников не запустилось, но получилось сделать копию HF Space через докер:

docker run -it -p 7860:7860 --platform=linux/amd64 --gpus all registry.hf.space/roubaofeipi-ultrapixel-demo:latest python app.py

на 3080 mobile примерно 2 минуты на картинку 2048

#UltraPixel #ImageGen #highres
———
@tsingular

Ответы на вопрос - в каких задачах ваша компания использует ИИ сейчас?

Ответ - Никакие - самый популярный 😂.

Человечество в безопасности :)

#4CIO #ПВ2024
------
@tsingular

Qwen2.5-Coder по тестам в разработке превосходит более тяжелые варианты DeepSeek Code

Qwen2.5-Coder, как был анонс выше, релизнули в вариантах 1.5B и 7B параметров.

Qwen2.5-Coder-1.5B
https://hf.co/qwen/Qwen/Qwen2.5-Coder-1.5B

Qwen2.5-Coder-7B
https://hf.co/qwen/Qwen/Qwen2.5-Coder-7B

И по тестам, получается, что Qwen2.5-Coder лидирует в бенчмарках HumanEval, MBPP, BigCodeBench и MultiPL-E, превосходя более крупные модели.

Показывает интересные результаты в генерации и автодополнении кода, а так же в Text-to-SQL задачах.

И вот не понятно, то ли правда китайские товарищи умудрились упаковать математическую мудрость в столь малый размер или это всё-таки файнтюн под бенчмарк.
В общем, нужно тестить.

Ну и традиционно, Qwen2.5 уже есть в ollama варианте:
ollama run qwen2.5

#Qwen #code #Alibaba #Китай
———
@tsingular

Эра Интеллекта: грядущая революция ИИ глазами Сэма Альтмана

Грядет эпоха небывалого прогресса, где искусственный интеллект станет ключом к решению глобальных вызовов.

Персональные ИИ-ассистенты превратятся в незаменимых помощников, расширяя возможности каждого человека.

Глубокое обучение продолжит совершенствоваться, открывая новые горизонты в науке и технологиях.

Для массового внедрения ИИ необходимо снизить стоимость вычислений и сделать их общедоступными.

Грядущие изменения трансформируют рынок труда, но не оставят людей без дела.

Эра Интеллекта обещает беспрецедентное процветание и решение многовековых проблем человечества.

Человечество открыло алгоритм, который действительно способен по-настоящему изучить любое распределение данных.

До шокирующей степени точности, чем больше вычислительных мощностей и данных доступно, тем лучше ИИ помогает людям решать сложные проблемы.

Сколько бы я ни думал об этом, мне кажется что я не смогу по-настоящему осознать масштаб последствий этого.

Прекрасное далёко уже совсем близко.

#IntelligenceAge #SamAltman #FutureOfWork
------
@tsingular

Некоторые промпты нужно отливать в золоте

Anthropic представила детальное описание техники Contextual Retrieval - сильнейшего метода повышения качества RAG систем.

Технология объединяет Contextual Embeddings и Contextual BM25, чем снижает долю неудачных результатов поиска на 67%.

Суть метода в генерации через Claude Haiku (самая быстрая версия Клода) описательной части для каждого чанка, а иногда и предложения, которая включает саммари всего документа в применении к обрабатываемому куску текста:

<document>
{{WHOLE_DOCUMENT}}
</document>
Here is the chunk we want to situate within the whole document
<chunk>
{{CHUNK_CONTENT}}
</chunk>
Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.

в итоге получается что-то вроде:

original_chunk = "The company's revenue grew by 3% over the previous quarter."

contextualized_chunk = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million. The company's revenue grew by 3% over the previous quarter."

Т.е. отдельно строка "The company's revenue grew by 3% over the previous quarter." в чанке смысла не несёт, но с расширенным описанием в контексте всего документа, - да.
И именно это расширенное описание и кладётся в вектор.

Дополнительно поход комбинируется с классическим поиском по ключевым словам, только ищется не слово целиком, а его ближайший похожий экземпляр.
Собственно это был предшественник семантического поиска, - выдаёт word similarity в %.

Комбинация семантического и лексического поиска, в итоге, значительно повышает эффективность работы с большими объёмами документов, а главное, - позволяет не потерять сутевые точечные детали, что подтверждается тестами на различных наборах данных и моделях эмбеддингов.

блокнот поиграться

Техника логичная сама по себе и кто-то приходит к ней эмпирически и через серию экспериментов, но Антропику отдельный респект за то, что систематизирует и делится с ИИ сообществом!

#Anthropic #RAG #ContextualRetrieval
———
@tsingular

Чтобы заменить программистов на ИИ, заказчику придётся точно сформулировать, что именно он хочет.

Получается программисты без работы не останутся :)

#юмор
———
@tsingular

C такими темпами падения стоимости инференса мы и 1руб. за 1 млн. токенов увидим совсем скоро.
И вот выбор, - купить видеокарту за 500тыс (с компом) или пользовать 500млрд токенов...
А на это времени уйдёт примерно столько, за сколько карта обесценится и её придётся менять опять.

#цены
———
@tsingular

OpenAI выпустили голосовой режим.

До конца недели обещают раскатить на всех подписчиков chatGPT.

50 языков и качественные эмоции.

#OpenAI #voice
------
@tsingular

Intel запускает новый ИИ-ускоритель Gaudi 3

Intel наконец запустили, анонсированный ранее ИИ ускоритель Gaudi 3, который должен стать в 1,5 раза быстрее NVIDIA H100 и вдвое энергоэффективнее.

Gaudi 3 оптимизирован для генИИ и LLM, поддерживает работу с Llama, Falcon, задачи 3D-генерации, перевода, анализа тональности и т.д.

В следующем году так же ожидается выпуск Falcon Shores - модификации схемы, объединяющий CPU и GPU на одной подложке для серверов.

Если только Qualcomm не перепишет их планы.

#Intel #Gaudi3 #NVIDIA
-------
@tsingular

Google проапгрейдила Gemini: мощнее, дешевле, быстрее

Вышли обновления версий Gemini-1.5-Pro-002 и Flash-002.
Улучшения: +7% в MMLU-Pro, +20% в математике, +2-7% в визуальном анализе и кодировании.
Модели стали лаконичнее в ответах.

Цены снижены: -64% на входные токены, -52% на выход, -64% на токены инкрементального кэширования (sic!).

Лимиты запросов тоже подняли: Flash до 2000 RPM, Pro до 1000 RPM.

Так же представлена экспериментальная версия Gemini-1.5-Flash-8B-Exp-0924 с ускоренной генерацией.

Обновления доступны через Google AI Studio и Gemini API.

Anthropic до рождества, похоже будет тянуть :) Opus 3.5 когда уже? 🧠🏷

#Gemini #GoogleAI #MachineLearning
-------
@tsingular

NVIDIA допилили Llama: выпустили Nemotron-51B

NVIDIA представила Llama 3.1-Nemotron-51B - оптимизированную версию Llama-3.1-70B.

Новый подход - Neural Architecture Search (NAS) позволил создать модель, обеспечивающую в 2.2 раза более быстрый инференс.

Меньше жрёт память, что позволяет запускать в 4 раза больше задач на одном GPU (рекомендован H100 80Gb).

Есть версия Llama-3.1-Nemotron-40B-Instruct для диалогов.

Попробовать можно тут:
https://build.nvidia.com/nvidia/llama-3_1-nemotron-51b-instruct

В этот раз ставка сделана на скорость, при сохранении результата. Даже в части тестов получается на 1-2% слабее Llama 3.1 70B.
Ну и H100 80Gb не в каждом гараже, конечно, есть пока.

#NVIDIA #Llama #Nemotron
-------
@tsingular

Джеймс Кэмерон вступает в совет директоров Stability AI

Знаменитый кинорежиссер(Чужие, Терминатор, Бездна и др.) присоединяется к компании, разработавшей Stable Diffusion.
Этот шаг может стать поворотным моментом для индустрии ИИ в кинематографе.
Кэмерон видит потенциал в слиянии генеративного ИИ и CGI для создания визуальных эффектов.

При этом факт использование ИИ в киноиндустрии вызывает споры, в том числе принятие законов-ограничений в ряде штатов и было одной из причин серии недавних забастовок актёров.

Но капитализм штука упорная, поэтому киностудии продолжают и будут наращивать оптимизацию производства в сотрудничестве с ИИ компаниями.

Следующую серию Терминатора будет снимать Скайнет. 100% вангую.
А знаете как это можно будет определить?
Не по спецэффектам, нет, - их вы не различите.

Терминаторы будут положительными героями. 🎬🤖

#JamesCameron #StabilityAI #movies
-------
@tsingular