🔥 Say Goodbye to LoRA, Hello to DoRA 🤩🤩
DoRA consistently outperforms LoRA with various tasks (LLM, LVLM, etc.) and backbones (LLaMA, LLaVA, etc.)
[Paper] https://arxiv.org/abs/2402.09353
[Code] https://github.com/NVlabs/DoRA
#Nvidia
#icml #PEFT #lora #ML #ai
@opendatascience
DoRA consistently outperforms LoRA with various tasks (LLM, LVLM, etc.) and backbones (LLaMA, LLaVA, etc.)
[Paper] https://arxiv.org/abs/2402.09353
[Code] https://github.com/NVlabs/DoRA
#Nvidia
#icml #PEFT #lora #ML #ai
@opendatascience
👍28🔥8🤣5❤3👏1
Forwarded from AI VK Hub
Всем привет!
Всю прошлую неделю мы старались для вас и делились короткими обзорами статей с ICML 2025:
🔸 Высокопроизводительные трансформеры на базе MatMuls.
🔸 Проблемы оценки качества наборов данных для графового машинного обучения.
🔸 Метод HSPI — определение железа и ПО по поведению ML-модели.
🔸 Странности LLM при простых запросах.
🔸 Метод улучшения оптимизации градиентов в глубоких моделях.
🔸 Умеренная токсичность в обучении, которая улучшает детоксикацию моделей.
Как вам такой формат? Что бы вы хотели видеть больше в наших публикациях?
#icml #aivk
Всю прошлую неделю мы старались для вас и делились короткими обзорами статей с ICML 2025:
Как вам такой формат? Что бы вы хотели видеть больше в наших публикациях?
#icml #aivk
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍2