У нас тут новый state-of-the-art оптимизатор завезли

Это расширение алгоритма LoRA – ReLoRA. Основная идея, лежащая в основе ReLoRA, заключается в разложении обновлений весов во время обучения на матрицы низкого ранга путем добавления новых обучаемых параметров к исходным весам модели. А для пущей бодрости внутри используется еще несколько техник, такие как перезапуски обучения, сбросы оптимизатора и ступенчатое нарастание скорости.

Эффективность метода возрастает с увеличением масштабов моделей. На модели с 1,3 миллиардами параметров использование памяти уменьшилось на 30%, а производительности обучения увеличилось на 52% по сравнению с обучением с полным рангом. В общем, это что-то на многообещающем.

Код доступен на Github.

😻 #news

Непопулярная альтернатива KMeans – Gaussian Mixture Models (GMM)

KMeans широко используется в качестве алгоритма кластеризации из-за его простоты и эффективности. Но он имеет некоторые недостатки:
– может создавать только круглые кластеры
– не дает вероятностых оценок принадлежности точек кластерам
– не учитывает кластерную дисперсию

Эти ограничения часто делают KMeans неидеальным выбором для кластеризации. И тут на помощь приходит GMM. Он закрывает все недостатки выше (например, может создавать кластеры овальной формы), и о нем можно думать, как о некотором обобщении KMeans.

Эффективность GMM по сравнению с KMeans очевидна на картинке ⏫
- KMeans просто полагается на расстояние и игнорирует распределение каждого кластера
- GMM изучает распределение и обеспечивает лучшую кластеризацию

P.S. Вот ссылка на GMM из sklearn

😻 #train

Очередной материал от Bloomberg – сочное визуальное панк-хулиганство

На этот раз издание подготовило материал про изменение климата. И это – настоящее пособие по тому, как делать дашборды. Визуализация распределений, нестандарные граф-примеры для обрисовки последствий (например, через температуру, которая нужна для выживания кораллов или производства атомной энергии) и вкусное оформление.

Советуем посмотреть полностью здесь.

😻 #advice

Untitled0 курит в сторонке

😻 #memes