Нас 400 человек 🔥🔥🍾🎉

Сегодня проходит второй день AINL2023.

Наша компания выступает с докладом: Multi domain dataset and augmentation methods for spelling corruption.

Я уже рассказывал о том, как мы атакуем тексты в своих пайплайнах обучения. А сегодня на индастриал секции этот доклад представит ML инженер из моей команды - Марк. Вместе с ним мы ведём разработку public версии библиотеки атак на ру-тексты и надеюсь скоро мы вас порадуем. А пока результаты её работы можно посмотреть на нашем выступлении, где будет живая демонстрация.

Кстати, у Марка есть собственный канал. А возможно, кто-то даже знает его по награде ODS2022 за лучший соревновательный прогресс в ушедшем году. В общем, везёт мне на сотрудников:)

GigaChat

Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.

В основе нашего GigaChat модель— NeONKA.

Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).

В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).

При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели

Подробности в нашей статье на хабр .

450 гигов данных. Достаем с антресоли оптимизации 😄

Новое соревнование от Google!
Медали: Есть
Размер данных: 450.91 GB
Kernel соревнование

https://www.kaggle.com/competitions/google-research-identify-contrails-reduce-global-warming/overview

Kaggle Staff сегодня анонсировали новую функциональность для организаторов соревнований - кастомизация метрик! Теперь, каждый желающий организатор может реализовать свою метрику и использовать её для дальнейшей оценки результатов участников. Это особенно удобно, когда хочется объединить различные способы оценивания моделей (например, в задачах сегментации или детекции, необычайно полезно и эффективно внедрять разные виды штрафов модели, к примеру, на основе logit'ов или вероятностей модели (output + Cross Entropy) и пересечений самих масок или "bounding box" (IoU, и др.) ).

Конечно, у Kaggle Staff изначально была своя библиотека качественно реализованных метрик, тем не менее, на мой взгляд, в ближайшем будущем мы будем наблюдать тренд реализаций метрик от самих организаторов и "более сложнее метрики" чем были до этого.

Если вы хотите почитать подобно об этом обновление, то переходите по данной ссылке: https://www.kaggle.com/discussions/product-feedback/418638

Если у вас возникли мысли на этот счёт, то буду рад увидеть их в комментариях под данной публикацией!

Помоги LLM выбрать лучшие ответы.

На kaggle завезли соревку по задаче реранкинга генераций GPT-3.5. Нужно из топ-5 генераций выбрать топ-3 лучших в ранжированном виде. Метрика MAP@3, что логично. Домен "сложный научный". В обучении 200 пар)

В общем расчехляйте свои пайпы по созданию reward моделек. И вперёд за медальками.

Кому знакомо?) Сам лично с таким сталкивался 😃

Почему же так редко выходят посты❔
Ответ прост: сейчас очень много интересных соревнований и одно из них – «Соревнования по структуризации чеков ОФД» от Alpha Bank. Оно проходило в 3 этапа и через 4 дня завершается финальный этап. Мы с командой держим первое место с большим отрывом с самого начала соревнования! Призовой фонд состоит из 450к, 250к и 100к за 1-3 места соответственно.

У нас очень интересное решение и когда сорева закончится, я обязательно о нем расскажу 🚀