Мерж sdxl и sd3.
Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил.
(Клипы и вае от сд3, в остальном обычный мерж)
Model
Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил.
(Клипы и вае от сд3, в остальном обычный мерж)
Model
💊28👍6🔥2🤔1
Love. Death. Transformers.
Мерж sdxl и sd3. Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил. (Клипы и вае от сд3, в остальном обычный мерж) Model
В целом в текущем состоянии harness alignment ощутимо просаживает качество моделей.
😁40🔥4👍1🤮1
Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B
В чем идея - Давайте использовать дерево поиска монтекарло, в качестве 0 листа у нас будет просто хоть какой то ответ, на итерации оценки использует буквально LLM c промптом вида
Затем перезаписываются ответы через Self refine - опять же промптом правим
Тк у нас LLM и она может сгенерировать +inf разных решений(бреда) то мы ограничиваем на число генераций и функцией оценки.
папир
репа
В чем идея - Давайте использовать дерево поиска монтекарло, в качестве 0 листа у нас будет просто хоть какой то ответ, на итерации оценки использует буквально LLM c промптом вида
Analyze this Answer Strictly and Critic, point out every flaw for ervery possible imperfect to minus every possible score! You need to be very harsh and mean in calculating grades, and never give full marks to ensure that the marks are authoritative. \nOutput a score between [-100,+100], ig. from -100 to +100.
Затем перезаписываются ответы через Self refine - опять же промптом правим
Тк у нас LLM и она может сгенерировать +inf разных решений(бреда) то мы ограничиваем на число генераций и функцией оценки.
папир
репа
👍33❤3
сегодня у нас статьи без метрик, а завтра что? ds_ы без чулочков?
https://www.anthropic.com/research/reward-tampering
https://www.anthropic.com/research/reward-tampering
😨40😁4🔥1
Forwarded from эйай ньюз
Лол, оказывается, SD3 - Medium была ошибкой.
Чувак, который разработал Comfy UI, работал в Stability и недавно уволился оттуда, рассказав интересную инфу про SD3.
Сам мистер Комфи работал над 4B версией, но поделился инфой.
Вот что теперь стало известно:
- Нет никаких censor layers. Из датасета просто реально вырезали все нюдсы, и в довесок разрабы что-то там подшаманили с весами (про последнее нет особо подробностей).
- "Safety training" — так теперь называется кастрация датасета, которая факапит анатомию людей и не дает генерить NSFW.
- Более того, уже в самом начале разрабы напортачили с претрейном. Так что 2B вообще не собирались релизить.
- Причиной релиза стало "давление сверху". То есть, в целом мы могли бы получить 4B или 8B вместо всратой 2B Medium модели.
- Пока подтверждения о том, что выложат VAE, нет.
- Сам Комфи просто хотел сделать лучшую модельку для домашних ГПУ, но в Stability в последнее время штормит.
В итоге мы имеем мертворожденный релиз, который был просто одним из первоначальных экспериментом ресерчеров (которые уже уволились), выложенный просто чтобы успокоить кого? Инвесторов?
Очевидно, что Stability, проходят через свои нелучшие времена, но я искренне надеюсь, что компания не развалится через год и продолжит радовать нас open source модельками. Хотя у меня большие сомнения по этому поводу, ведь весь ресерч костяк (мои бывшие коллеги по PhD в Хайдельберге) уже уволился.
Тред
@ai_newz
Чувак, который разработал Comfy UI, работал в Stability и недавно уволился оттуда, рассказав интересную инфу про SD3.
Сам мистер Комфи работал над 4B версией, но поделился инфой.
Вот что теперь стало известно:
- Нет никаких censor layers. Из датасета просто реально вырезали все нюдсы, и в довесок разрабы что-то там подшаманили с весами (про последнее нет особо подробностей).
- "Safety training" — так теперь называется кастрация датасета, которая факапит анатомию людей и не дает генерить NSFW.
- Более того, уже в самом начале разрабы напортачили с претрейном. Так что 2B вообще не собирались релизить.
- Причиной релиза стало "давление сверху". То есть, в целом мы могли бы получить 4B или 8B вместо всратой 2B Medium модели.
- Пока подтверждения о том, что выложат VAE, нет.
- Сам Комфи просто хотел сделать лучшую модельку для домашних ГПУ, но в Stability в последнее время штормит.
В итоге мы имеем мертворожденный релиз, который был просто одним из первоначальных экспериментом ресерчеров (которые уже уволились), выложенный просто чтобы успокоить кого? Инвесторов?
Очевидно, что Stability, проходят через свои нелучшие времена, но я искренне надеюсь, что компания не развалится через год и продолжит радовать нас open source модельками. Хотя у меня большие сомнения по этому поводу, ведь весь ресерч костяк (мои бывшие коллеги по PhD в Хайдельберге) уже уволился.
Тред
@ai_newz
👍21😁6🔥4🥴2❤1👏1🤔1
Love. Death. Transformers.
на половину новостей про ai можно добавлять лицо этого господина и их качество вырастет Я ДАМ МИЛЛИОН ДОЛЛАРОВ ТОМУ КТО РЕШИТ "задача которая монтекарлится"
Я ДАМ 10 МИЛЛИОНОВ ДОЛЛАРОВ ТОМУ КТО ПЕРВЫЙ РЕШИТ ЭТУ ЗАДАЧУ
😁100
AbstractDL
Your Transformer is Secretly Linear Мою новую статью приняли на ACL 🎉. Мы обнаружили, что большинство слоёв языковых моделей линейны на 99%! Это значит, что из любого слоя LLM можно выкинуть этэншн, нормализацию и даже feed-forward с активацией, оставив лишь…
Я тут на досуге занимаюсь стакингом SD3 по ночам, трансформер как никак. Обнаружилось любопытное - она не особо то линейная, те при замене блока 2 на блок3 модель разламывает и ощутимо
cлева было справо стало, а я только один блок заменил. хз, эскспы добежали, ничего хорошего. Мб на выходных что то еще поставлю
Админ наврал и не умеет стакать модели, ждём след итерацию переборв
cлева было справо стало, а я только один блок заменил. хз, эскспы добежали, ничего хорошего. Мб на выходных что то еще поставлю
Админ наврал и не умеет стакать модели, ждём след итерацию переборв
😁22👍5👏5🦄5💋4❤2👎1🤔1