Learning Not to Learn: Training Deep Neural Networks with Biased Data https://arxiv.org/abs/1812.10352
arXiv.org
Learning Not to Learn: Training Deep Neural Networks with Biased Data
We propose a novel regularization algorithm to train deep neural networks, in which data at training time is severely biased. Since a neural network efficiently learns data distribution, a network...
Parameter Re-Initialization through Cyclical Batch Size Schedules https://arxiv.org/abs/1812.01216
arXiv.org
Parameter Re-Initialization through Cyclical Batch Size Schedules
Optimal parameter initialization remains a crucial problem for neural network
training. A poor weight initialization may take longer to train and/or converge
to sub-optimal solutions. Here, we...
training. A poor weight initialization may take longer to train and/or converge
to sub-optimal solutions. Here, we...
Deep neural networks are biased towards simple functions https://arxiv.org/abs/1812.10156
Forwarded from Alexander C
В слаке одс есть пост о победе на конкурсе где надо было писать говорящего бота. Никто не смотрел? Тут его нельзя ли зарустить? Незаметно для большей части ODS закончился ConvAI2 (http://convai.io/) от iPavlov и FB. Суть конкурса заключалась в том, что нужно было реализовать нецелевую диалоговую систему, которая может нормально вести разговор от лица заданной персоны.
Оценка моделей в конкурсе состояла из двух этапов:
1) Автоматическая оценка решений на основе метрик PPL, Hits@1 и F1;
2) Оценка людьми моделей, прошедших первый этап.
По факту, эти этапы - две совершенно разные задачи, и хороший скор на автоматических метриках не означает хорошую оценку людьми.
Результаты конкурса подвели на NeurIPS и наша команда, Lost in Conversation (@golovanov и @atselousov), неожиданно заняла первое место по итогам человеческой оценки в Amazon MT. Почему неожиданно? Потому что пилили решение мы лениво, ресурсов у нас особо не было, а на финальном LB первого этапа мы занимали 3е место по F1 скору (только его мы и старались оптимизировать + нашу личную оценку качества бота на основе ночных диалогов с ним) и предпоследнее (из 7 финальных команд) по общему скору.
Но, как я уже упомянул ранее, метрики - это хорошо, но диалог с человеком - совершенно другая задача. На человеческой оценке наш бот показал себя очень достойно. А победитель конкурса определялся как раз по ней. Т.к. никто из нас не смог поехать на NeurIPS, наше решение там презентовал @rauf, за что ему большое спасибо.
Подробнее про задачу и нашу историю можно прочесть тут https://medium.com/neuromation-io-blog/neuromation-researchers-won-the-neurips-convai2-competition-ae7375c5f9cf . @snikolenko очень круто написал про это, за что ему тоже большое спасибо. Так же можете там подписаться на NeuroNuggets. В них рассказывают об интересных диплернинг вещах простым и понятным языком.
Наши слайды, слайды других команд и организаторов с NeurIPS можно найти на сайте http://convai.io/.
Ну и, конечно же, репозиторий с решением: https://github.com/atselousov/transformer_chatbot.
Оценка моделей в конкурсе состояла из двух этапов:
1) Автоматическая оценка решений на основе метрик PPL, Hits@1 и F1;
2) Оценка людьми моделей, прошедших первый этап.
По факту, эти этапы - две совершенно разные задачи, и хороший скор на автоматических метриках не означает хорошую оценку людьми.
Результаты конкурса подвели на NeurIPS и наша команда, Lost in Conversation (@golovanov и @atselousov), неожиданно заняла первое место по итогам человеческой оценки в Amazon MT. Почему неожиданно? Потому что пилили решение мы лениво, ресурсов у нас особо не было, а на финальном LB первого этапа мы занимали 3е место по F1 скору (только его мы и старались оптимизировать + нашу личную оценку качества бота на основе ночных диалогов с ним) и предпоследнее (из 7 финальных команд) по общему скору.
Но, как я уже упомянул ранее, метрики - это хорошо, но диалог с человеком - совершенно другая задача. На человеческой оценке наш бот показал себя очень достойно. А победитель конкурса определялся как раз по ней. Т.к. никто из нас не смог поехать на NeurIPS, наше решение там презентовал @rauf, за что ему большое спасибо.
Подробнее про задачу и нашу историю можно прочесть тут https://medium.com/neuromation-io-blog/neuromation-researchers-won-the-neurips-convai2-competition-ae7375c5f9cf . @snikolenko очень круто написал про это, за что ему тоже большое спасибо. Так же можете там подписаться на NeuroNuggets. В них рассказывают об интересных диплернинг вещах простым и понятным языком.
Наши слайды, слайды других команд и организаторов с NeurIPS можно найти на сайте http://convai.io/.
Ну и, конечно же, репозиторий с решением: https://github.com/atselousov/transformer_chatbot.
Medium
Neuromation Researchers Won the NeurIPS ConvAI2 Competition!
A team with Neuromation researchers has won the Conversational Intelligence Challenge 2 (ConvAI2), an official competition of this year’s…
👍1
Fast Wait-Free Construction for Pool-Like Objects with Weakened Internal Order: Stacks as an Example https://ieeexplore.ieee.org/abstract/document/8585072
ieeexplore.ieee.org
Fast Wait-Free Construction for Pool-Like Objects with Weakened Internal Order: Stacks as an Example - IEEE Journals & Magazine
This paper focuses on a large class of concurrent data structures that we call pool-like objects (e.g. stack, double-ended queue, and queue). Performance a
DART: Domain-Adversarial Residual-Transfer Networks for Unsupervised Cross-Domain Image Classification https://arxiv.org/abs/1812.11478
arXiv.org
DART: Domain-Adversarial Residual-Transfer Networks for...
The accuracy of deep learning (e.g., convolutional neural networks) for an
image classification task critically relies on the amount of labeled training
data. Aiming to solve an image...
image classification task critically relies on the amount of labeled training
data. Aiming to solve an image...
Feature Denoising for Improving Adversarial Robustness https://arxiv.org/abs/1812.03411
arXiv.org
Feature Denoising for Improving Adversarial Robustness
Adversarial attacks to image classification systems present challenges to convolutional networks and opportunities for understanding them. This study suggests that adversarial perturbations on...
Improving fairness in machine learning systems: What do industry practitioners need? https://arxiv.org/abs/1812.05239
arXiv.org
Improving fairness in machine learning systems: What do industry...
The potential for machine learning (ML) systems to amplify social inequities and unfairness is receiving increasing popular and academic attention. A surge of recent work has focused on the...
A Theoretical Analysis of Deep Q-Learning https://arxiv.org/abs/1901.00137
arXiv.org
A Theoretical Analysis of Deep Q-Learning
Despite the great empirical success of deep reinforcement learning, its theoretical foundation is less well understood. In this work, we make the first attempt to theoretically understand the deep...
An Experimental Course on Operating Systems https://web.stanford.edu/class/cs140e/
A Comprehensive Survey on Graph Neural Networks https://arxiv.org/abs/1901.00596
arXiv.org
A Comprehensive Survey on Graph Neural Networks
Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The...