Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B
В чем идея - Давайте использовать дерево поиска монтекарло, в качестве 0 листа у нас будет просто хоть какой то ответ, на итерации оценки использует буквально LLM c промптом вида
Затем перезаписываются ответы через Self refine - опять же промптом правим
Тк у нас LLM и она может сгенерировать +inf разных решений(бреда) то мы ограничиваем на число генераций и функцией оценки.
папир
репа
В чем идея - Давайте использовать дерево поиска монтекарло, в качестве 0 листа у нас будет просто хоть какой то ответ, на итерации оценки использует буквально LLM c промптом вида
Analyze this Answer Strictly and Critic, point out every flaw for ervery possible imperfect to minus every possible score! You need to be very harsh and mean in calculating grades, and never give full marks to ensure that the marks are authoritative. \nOutput a score between [-100,+100], ig. from -100 to +100.
Затем перезаписываются ответы через Self refine - опять же промптом правим
Тк у нас LLM и она может сгенерировать +inf разных решений(бреда) то мы ограничиваем на число генераций и функцией оценки.
папир
репа
👍33❤3
сегодня у нас статьи без метрик, а завтра что? ds_ы без чулочков?
https://www.anthropic.com/research/reward-tampering
https://www.anthropic.com/research/reward-tampering
😨40😁4🔥1
Forwarded from эйай ньюз
Лол, оказывается, SD3 - Medium была ошибкой.
Чувак, который разработал Comfy UI, работал в Stability и недавно уволился оттуда, рассказав интересную инфу про SD3.
Сам мистер Комфи работал над 4B версией, но поделился инфой.
Вот что теперь стало известно:
- Нет никаких censor layers. Из датасета просто реально вырезали все нюдсы, и в довесок разрабы что-то там подшаманили с весами (про последнее нет особо подробностей).
- "Safety training" — так теперь называется кастрация датасета, которая факапит анатомию людей и не дает генерить NSFW.
- Более того, уже в самом начале разрабы напортачили с претрейном. Так что 2B вообще не собирались релизить.
- Причиной релиза стало "давление сверху". То есть, в целом мы могли бы получить 4B или 8B вместо всратой 2B Medium модели.
- Пока подтверждения о том, что выложат VAE, нет.
- Сам Комфи просто хотел сделать лучшую модельку для домашних ГПУ, но в Stability в последнее время штормит.
В итоге мы имеем мертворожденный релиз, который был просто одним из первоначальных экспериментом ресерчеров (которые уже уволились), выложенный просто чтобы успокоить кого? Инвесторов?
Очевидно, что Stability, проходят через свои нелучшие времена, но я искренне надеюсь, что компания не развалится через год и продолжит радовать нас open source модельками. Хотя у меня большие сомнения по этому поводу, ведь весь ресерч костяк (мои бывшие коллеги по PhD в Хайдельберге) уже уволился.
Тред
@ai_newz
Чувак, который разработал Comfy UI, работал в Stability и недавно уволился оттуда, рассказав интересную инфу про SD3.
Сам мистер Комфи работал над 4B версией, но поделился инфой.
Вот что теперь стало известно:
- Нет никаких censor layers. Из датасета просто реально вырезали все нюдсы, и в довесок разрабы что-то там подшаманили с весами (про последнее нет особо подробностей).
- "Safety training" — так теперь называется кастрация датасета, которая факапит анатомию людей и не дает генерить NSFW.
- Более того, уже в самом начале разрабы напортачили с претрейном. Так что 2B вообще не собирались релизить.
- Причиной релиза стало "давление сверху". То есть, в целом мы могли бы получить 4B или 8B вместо всратой 2B Medium модели.
- Пока подтверждения о том, что выложат VAE, нет.
- Сам Комфи просто хотел сделать лучшую модельку для домашних ГПУ, но в Stability в последнее время штормит.
В итоге мы имеем мертворожденный релиз, который был просто одним из первоначальных экспериментом ресерчеров (которые уже уволились), выложенный просто чтобы успокоить кого? Инвесторов?
Очевидно, что Stability, проходят через свои нелучшие времена, но я искренне надеюсь, что компания не развалится через год и продолжит радовать нас open source модельками. Хотя у меня большие сомнения по этому поводу, ведь весь ресерч костяк (мои бывшие коллеги по PhD в Хайдельберге) уже уволился.
Тред
@ai_newz
👍21😁6🔥4🥴2❤1👏1🤔1
Love. Death. Transformers.
на половину новостей про ai можно добавлять лицо этого господина и их качество вырастет Я ДАМ МИЛЛИОН ДОЛЛАРОВ ТОМУ КТО РЕШИТ "задача которая монтекарлится"
Я ДАМ 10 МИЛЛИОНОВ ДОЛЛАРОВ ТОМУ КТО ПЕРВЫЙ РЕШИТ ЭТУ ЗАДАЧУ
😁100 25💋3❤2🤡1
AbstractDL
Your Transformer is Secretly Linear Мою новую статью приняли на ACL 🎉. Мы обнаружили, что большинство слоёв языковых моделей линейны на 99%! Это значит, что из любого слоя LLM можно выкинуть этэншн, нормализацию и даже feed-forward с активацией, оставив лишь…
Я тут на досуге занимаюсь стакингом SD3 по ночам, трансформер как никак. Обнаружилось любопытное - она не особо то линейная, те при замене блока 2 на блок3 модель разламывает и ощутимо
cлева было справо стало, а я только один блок заменил. хз, эскспы добежали, ничего хорошего. Мб на выходных что то еще поставлю
Админ наврал и не умеет стакать модели, ждём след итерацию переборв
cлева было справо стало, а я только один блок заменил. хз, эскспы добежали, ничего хорошего. Мб на выходных что то еще поставлю
Админ наврал и не умеет стакать модели, ждём след итерацию переборв
😁22👍5👏5🦄5💋4❤2👎1🤔1
Forwarded from Just links
1X World Model Challenge https://github.com/1x-technologies/1xgpt
GitHub
GitHub - 1x-technologies/1xgpt: world modeling challenge for humanoid robots
world modeling challenge for humanoid robots. Contribute to 1x-technologies/1xgpt development by creating an account on GitHub.
❤7😁4
Love. Death. Transformers.
#чтивонаночь AM-RADIO: Agglomerative Vision Foundation Model Reduce All Domains Into One Мультитасковая мульти энкодерная модель от nvidia которая учит одновременно clip, sam, dino фичи в одного ученика который еще и лучше работает. paper model
#чтивонаночь
Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
Seq2seq трансформер, не очень большой(770m), на вход эмбединг картинки и таска, на выход Сaptioning, panoptic, bbox и еще несколько задач. Сравниваются с маленькими бэкбонами, конечно всех бьют. Если у вас что то больше джетсона на инференс - берите llava. Если нет - берите SAM
paper
hf
Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
Seq2seq трансформер, не очень большой(770m), на вход эмбединг картинки и таска, на выход Сaptioning, panoptic, bbox и еще несколько задач. Сравниваются с маленькими бэкбонами, конечно всех бьют. Если у вас что то больше джетсона на инференс - берите llava. Если нет - берите SAM
paper
hf
👍13❤3😁1
Forwarded from Сергей Марков: машинное обучение, искусство и шитпостинг
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
В комментах ещё)
❤🔥38🔥13😁2