Интересные результаты исследования о том, как форматирование ввода Markdown, YAML, JSON и обычного текста влияет на производительность моделей GPT.
В статье оцениваются только модели GPT, но известно, что это применимо и к другим моделям.
Например, старые версии Claude предпочитали XML (инструкции в <></> как раз отттуда).
Производительность модели может существенно различаться (до 40%) исключительно в зависимости от того, как отформатирована подсказка (см. рисунок).
Влияние одинаково для разных типов задач, от рассуждений до генерации кода.
Более крупные модели (например, GPT-4) обладают большей устойчивостью к изменениям формата по сравнению с более мелкими моделями, такими как GPT-3.5.
GPT-4-turbo имеет наиболее постоянную производительность для разных форматов (хотя все еще со значительным разбросом).
Различные модели показывают различные предпочтения для форматов подсказок, при этом GPT-3.5 работает лучше с JSON, а GPT-4 — с Markdown.
Эти предпочтения плохо переносятся между моделями, даже в пределах одного семейства (вероятно, из-за разных данных обучения).
На практике это означает, что форматы подсказок могут быть интересным параметром для оптимизации.
Исследование:
https://arxiv.org/abs/2411.10541
#JSON #YAML #Markdown #promptengeneering
———
@tsinuglar
В статье оцениваются только модели GPT, но известно, что это применимо и к другим моделям.
Например, старые версии Claude предпочитали XML (инструкции в <></> как раз отттуда).
Производительность модели может существенно различаться (до 40%) исключительно в зависимости от того, как отформатирована подсказка (см. рисунок).
Влияние одинаково для разных типов задач, от рассуждений до генерации кода.
Более крупные модели (например, GPT-4) обладают большей устойчивостью к изменениям формата по сравнению с более мелкими моделями, такими как GPT-3.5.
GPT-4-turbo имеет наиболее постоянную производительность для разных форматов (хотя все еще со значительным разбросом).
Различные модели показывают различные предпочтения для форматов подсказок, при этом GPT-3.5 работает лучше с JSON, а GPT-4 — с Markdown.
Эти предпочтения плохо переносятся между моделями, даже в пределах одного семейства (вероятно, из-за разных данных обучения).
На практике это означает, что форматы подсказок могут быть интересным параметром для оптимизации.
Исследование:
https://arxiv.org/abs/2411.10541
#JSON #YAML #Markdown #promptengeneering
———
@tsinuglar
👍6
Поделюсь как сделал утренние открытки.
Схема простая - JSON стиль
Берёте JSON шаблон со стилем и пишете к нему вводную часть.
Например так:
А ещё можно этот шаблон стиля попросить переписать и создать заново на базе любой другой картинки.
Так у вас появится каталог шаблонов стилей.
Такой вариант бесконечного набора фильтров для рендера.
#нейронердер #JSON #style
———
@tsingular
Схема простая - JSON стиль
Берёте JSON шаблон со стилем и пишете к нему вводную часть.
Например так:
Советский танк t 34 , за ним монумент СССР - Родина-Мать зовёт.
Сверху георгиевская ленточка и надпись: 80 лет Победы!
{
"style": "Classical Antiquity Grandeur",
"material": "sun-bleached marble and limestone with ornate relief carvings and gilded decorative elements",
"surface_texture": "weathered stone with intricate hieroglyphic inscriptions and detailed sculptural bas-reliefs",
"lighting": {
"type": "dramatic Mediterranean sunlight",
"intensity": "high contrast with strong directional highlights",
"direction": "golden hour side-lighting with sharp shadow definition",
"accent_colors": [
"cerulean blue",
"marble white",
"honey gold",
"terracotta red"
],
"reflections": "subtle on polished stone surfaces",
"refractions": "through clear coastal waters",
"dispersion_effects": "atmospheric haze on distant elements",
"bloom": "golden sunlight on white stone",
"lens_flare": "subtle sun edge"
},
"color_scheme": {
"primary": "warm ivory stone with historical patina",
"secondary": "azure blue water and sky contrast",
"highlights": "golden sunlight on architectural details",
"rim_light": "sunset glow on column edges and sculptural elements"
},
"background": {
"color": "deep azure Mediterranean sky",
"vignette": "natural cloud framing",
"texture": "dramatic cumulus formations with coastal geographical features",
"depth_effect": "aerial perspective with distant landmasses"
},
"post_processing": {
"chromatic_aberration": "minimal",
"glow": "golden hour warmth",
"high_contrast": "true",
"sharp_details": "on architectural ornamentation and historical figures",
"motion_blur": "none",
"historical_authenticity_enhancement": "true"
}
}
А ещё можно этот шаблон стиля попросить переписать и создать заново на базе любой другой картинки.
Так у вас появится каталог шаблонов стилей.
Такой вариант бесконечного набора фильтров для рендера.
#нейронердер #JSON #style
———
@tsingular
🔥10👍5✍3⚡3🙏1
Сверхточное редактирование с нанобананой.
Интересная техника с gemini3, - сначала делаем из картинки JSON, а потом редактируем именно ту деталь, которая нам нужна.
Начинаем с того, что кидаем картинку в Gemini3 и говорим переделать её в JSON.
Получаем примерно такую структуру:
Потом в том же диалоге выбираем банану, как инструмент и пишем:
перерисуй по новой структуре, изменив только ту деталь, которую нам нужно в новом JSON, например:
"effect": "Создает цветные блики в форме котиков на экспонатах и полу"
Профит.
Вот такое сверхточное редактирование.
#nanobanana #lifehack #JSON
———
@tsingular
Интересная техника с gemini3, - сначала делаем из картинки JSON, а потом редактируем именно ту деталь, которая нам нужна.
Начинаем с того, что кидаем картинку в Gemini3 и говорим переделать её в JSON.
Получаем примерно такую структуру:
{
"image_analysis": {
"location": {
"type": "Музей",
"specific_area": "Палеонтологический зал / Выставка",
"atmosphere": "Драматичная, затемненная с акцентным освещением"
},
"exhibits": [
{
"id": 1,
"type": "Скелет динозавра (Теропод)",
"position": "Слева, передний план",
"description": "Крупный двуногий хищник с открытой пастью",
"lighting_effect": "Интенсивная красная подсветка",
"features": [
"Острые зубы",
"Длинный хвост",
"Маленькие передние конечности"
]
},
{
"id": 2,
"type": "Скелет мамонта",
"position": "Справа, передний план",
"description": "Массивный скелет с большими изогнутыми бивнями",
"lighting_effect": "Нейтральная / Теплая белая подсветка",
"features": [
"Гигантские бивни",
"Массивный череп",
"Широкая грудная клетка"
]
},
{
"id": 3,
"type": "Скелет доисторического быка/бизона",
"position": "Центр, средний план",
"description": "Четвероногое копытное с рогами",
"lighting_effect": "Умеренная подсветка",
"features": [
"Рога",
"Коренастое строение"
]
},
{
"id": 4,
"type": "Скелет малого динозавра",
"position": "Слева, задний план (за большим динозавром)",
"description": "Небольшой двуногий динозавр",
"lighting_effect": "Красная подсветка"
}
],
"environment": {
"lighting": {
"ceiling_lights": "Трековые прожекторы",
"colors": ["Красный", "Зеленый", "Синий", "Белый"],
"effect": "Создает цветные блики на экспонатах и полу"
},
"decor": {
"walls": {
"panels": "Оранжевые вертикальные панели/драпировка",
"reliefs": "Белые барельефы с изображением ископаемых (насекомые, растения)"
},
"floor": {
"surface": "Гладкая, отражающая свет",
"platforms": "Круглые подиумы, имитирующие каменистый грунт или гальку"
},
"ceiling": "Черный, технический"
}
}
}
}Потом в том же диалоге выбираем банану, как инструмент и пишем:
перерисуй по новой структуре, изменив только ту деталь, которую нам нужно в новом JSON, например:
"effect": "Создает цветные блики в форме котиков на экспонатах и полу"
Профит.
Вот такое сверхточное редактирование.
#nanobanana #lifehack #JSON
———
@tsingular
🔥30✍6❤5👍5🙏2
This media is not supported in your browser
VIEW IN TELEGRAM
Небольшая иллюстрация как можно из боковой генерации вытащить персонажа
#JSON #обучение #lifehack
———
@tsingular
#JSON #обучение #lifehack
———
@tsingular
1🔥24✍6❤🔥3👍1
Verbalized Sampling: как вернуть LLM креативность
Проблема: После RLHF модели дают одинаковые ответы. Попроси 5 раз шутку про кофе, - с высокой вероятностью получишь 5 раз одну и ту же.
Почему: Люди-оценщики подсознательно выбирают "знакомое".
Модель это выучила и теперь всегда выдаёт самый популярный вариант.
Это явление назвали «коллапсом мод». Оказалось, что виноваты не алгоритмы, а психология людей. Люди-оценщики, которые обучают нейросеть, подсознательно ставят высокие оценки самым простым, привычным и «типичным» ответам. Нейросеть это запоминает и начинает всегда выдавать только самый безопасный, «средний» вариант, игнорируя креативные идеи.
Какое нашли решение?
Авторы придумали метод Verbalized Sampling («Озвученная выборка»). Это способ обхитрить этот механизм без перепрограммирования модели, просто изменив промпт.
Вместо того чтобы просить: «Расскажи шутку» (на что модель выдаст самую банальную шутку), нужно попросить:
«Придумай 5 разных шуток и напиши вероятность (процент уверенности) для каждой из них». (confidence_level)
Когда модель заставляют просчитывать и «проговаривать вслух» вероятности для нескольких вариантов, она перестает зацикливаться на одном шаблоне и открывает доступ к своему скрытому творческому потенциалу, который был заложен в ней изначально.
Что это даёт на практике?
- Возвращается креативность: Стихи, истории и юмор становятся намного оригинальнее и разнообразнее (по тестам — в 1.6–2 раза лучше), при этом качество текста не падает.
- Реалистичные диалоги: Если нужно симулировать разговор разных людей, ИИ начинает вести себя действительно по-разному, а не как один и тот же робот-помощник.
- Польза для науки: С помощью этого метода можно создавать более качественные и сложные задачи (например, по математике), на которых потом будут учиться другие, еще более умные нейросети.
- Доступность: Это работает бесплатно и прямо сейчас,- не нужно ничего докачивать или настраивать, достаточно просто правильно сформулировать запрос.
Про confidence level и раньше знали в части повышения качества, но тут идея в том, что мы генерим 5 разных вариантов одновременно (нужен JSON) и для каждого пишем скор.
Вот мы и узнали, как выполнить планы по расходу токенов :)
#промпты #JSON #lifehack #обучение
———
@tsingular
Проблема: После RLHF модели дают одинаковые ответы. Попроси 5 раз шутку про кофе, - с высокой вероятностью получишь 5 раз одну и ту же.
Почему: Люди-оценщики подсознательно выбирают "знакомое".
Модель это выучила и теперь всегда выдаёт самый популярный вариант.
Это явление назвали «коллапсом мод». Оказалось, что виноваты не алгоритмы, а психология людей. Люди-оценщики, которые обучают нейросеть, подсознательно ставят высокие оценки самым простым, привычным и «типичным» ответам. Нейросеть это запоминает и начинает всегда выдавать только самый безопасный, «средний» вариант, игнорируя креативные идеи.
Какое нашли решение?
Авторы придумали метод Verbalized Sampling («Озвученная выборка»). Это способ обхитрить этот механизм без перепрограммирования модели, просто изменив промпт.
Вместо того чтобы просить: «Расскажи шутку» (на что модель выдаст самую банальную шутку), нужно попросить:
«Придумай 5 разных шуток и напиши вероятность (процент уверенности) для каждой из них». (confidence_level)
Когда модель заставляют просчитывать и «проговаривать вслух» вероятности для нескольких вариантов, она перестает зацикливаться на одном шаблоне и открывает доступ к своему скрытому творческому потенциалу, который был заложен в ней изначально.
Что это даёт на практике?
- Возвращается креативность: Стихи, истории и юмор становятся намного оригинальнее и разнообразнее (по тестам — в 1.6–2 раза лучше), при этом качество текста не падает.
- Реалистичные диалоги: Если нужно симулировать разговор разных людей, ИИ начинает вести себя действительно по-разному, а не как один и тот же робот-помощник.
- Польза для науки: С помощью этого метода можно создавать более качественные и сложные задачи (например, по математике), на которых потом будут учиться другие, еще более умные нейросети.
- Доступность: Это работает бесплатно и прямо сейчас,- не нужно ничего докачивать или настраивать, достаточно просто правильно сформулировать запрос.
Про confidence level и раньше знали в части повышения качества, но тут идея в том, что мы генерим 5 разных вариантов одновременно (нужен JSON) и для каждого пишем скор.
Вот мы и узнали, как выполнить планы по расходу токенов :)
#промпты #JSON #lifehack #обучение
———
@tsingular
👍13🔥7✍5❤2👌1🤣1