‼️ Два дедлайна позади, финальный — уже на горизонте!
Принимаем заявки на конкурсный отбор в магистратуру Сколтеха до 15 июля.
Если ещё не определились с программой — вот полный список. Изучайте, выбирайте, отправляйте документы и готовьтесь к отбору — в Сколтех попадут только лучшие:
▪️Инженерные системы (треки «Системное проектирование и разработка изделий», «Робототехника» и «Космос»)
▪️Интернет вещей и технологии беспроводной связи
▪️Математическая и теоретическая физика
▪️Материаловедение
▪️Науки о данных (треки «Машинное обучение и искусственный интеллект» и «Математика машинного обучения»)
▪️Науки о жизни (направления «Клеточная и молекулярная биология», «Биоинформатика и геномика», «Агробиотехнология» и «Нейробиология и нейрореабилитация»)
▪️Нефтегазовое дело
▪️Передовые производственные технологии (треки «Технологии материалов» и «Компьютерное моделирование в прикладных науках»)
▪️Прикладная вычислительная механика
▪️Современные вычислительные методы (треки «Математическое моделирование для задач с большими объёмами данных», «Высокопроизводительные вычисления и большие данные»)
▪️Фотоника и квантовые материалы (треки «Прикладная фотоника» и «Квантовые технологии»)
▪️Энергетические системы (треки «Энергетические системы» и «Энергопереход & ESG»)
Принимаем заявки на конкурсный отбор в магистратуру Сколтеха до 15 июля.
Если ещё не определились с программой — вот полный список. Изучайте, выбирайте, отправляйте документы и готовьтесь к отбору — в Сколтех попадут только лучшие:
▪️Инженерные системы (треки «Системное проектирование и разработка изделий», «Робототехника» и «Космос»)
▪️Интернет вещей и технологии беспроводной связи
▪️Математическая и теоретическая физика
▪️Материаловедение
▪️Науки о данных (треки «Машинное обучение и искусственный интеллект» и «Математика машинного обучения»)
▪️Науки о жизни (направления «Клеточная и молекулярная биология», «Биоинформатика и геномика», «Агробиотехнология» и «Нейробиология и нейрореабилитация»)
▪️Нефтегазовое дело
▪️Передовые производственные технологии (треки «Технологии материалов» и «Компьютерное моделирование в прикладных науках»)
▪️Прикладная вычислительная механика
▪️Современные вычислительные методы (треки «Математическое моделирование для задач с большими объёмами данных», «Высокопроизводительные вычисления и большие данные»)
▪️Фотоника и квантовые материалы (треки «Прикладная фотоника» и «Квантовые технологии»)
▪️Энергетические системы (треки «Энергетические системы» и «Энергопереход & ESG»)
👨💻7🤝3🤩2❤1👍1
🎉 Аспирант Сколтеха Марина Пак стала победителем премии «Технократы», направленной на выявление молодых инноваторов, которые могут стать в ближайшем будущем наиболее влиятельными технократами.
Соучредитель и генеральный директор Ligand Pro признана лучшей в номинации «Создатели». Компания Марины создаёт цифровые инструменты для разработки лекарств с помощью искусственного интеллекта. Команда привлекла в проект инвестиции от Postgres Pro.
В номинации «Наставники» за значительный вклад в достижения молодых технократов был отмечен научный руководитель Марины, старший преподаватель Центра молекулярной и клеточной биологии Сколтеха Дмитрий Иванков.
Также лауреатами премии в номинациях «Исследователь», «Внедренцы» и «Лидеры мнений» стали три представителя нашего университета: аспирант Полина Федотова, выпускник Евгений Пономарёв и младший научный сотрудник Дмитрий Чермошенцев.
Соучредитель и генеральный директор Ligand Pro признана лучшей в номинации «Создатели». Компания Марины создаёт цифровые инструменты для разработки лекарств с помощью искусственного интеллекта. Команда привлекла в проект инвестиции от Postgres Pro.
«В следующие несколько лет я планирую развивать свои проекты и продолжу создавать инновации в области фармы и биотеха в России», — рассказала Марина.
В номинации «Наставники» за значительный вклад в достижения молодых технократов был отмечен научный руководитель Марины, старший преподаватель Центра молекулярной и клеточной биологии Сколтеха Дмитрий Иванков.
Также лауреатами премии в номинациях «Исследователь», «Внедренцы» и «Лидеры мнений» стали три представителя нашего университета: аспирант Полина Федотова, выпускник Евгений Пономарёв и младший научный сотрудник Дмитрий Чермошенцев.
👍39❤14👏12🔥5🎉4👨💻2🤓1
🆕 Учёные из Сколтеха и их китайские коллеги определили, что предсказанный ранее экзотический молекулярный ион акводий (aquodiium) должен быть стабилен в условиях недр Урана и Нептуна. Если акводий действительно присутствует внутри ледяных гигантов, то он участвует в формировании их необычных по сравнению с другими планетами магнитных полей.
Предполагается, что магнитные поля Урана и Нептуна вызваны циркуляцией вещества, для которого характерна не электронная, а ионная проводимость. Иными словами, не электроны, а электрически заряженные атомы или молекулы — то есть ионы — сами направленно движутся и тем самым переносят электрический заряд. Какие именно ионы и в каком соотношении циркулируют в недрах ледяных гигантов — пока неясно. И здесь может крыться часть разгадки того, почему их магнитные поля так необычны: сильно отклонены от осей вращения этих планет и исходят не из их центров.
Предполагается, что магнитные поля Урана и Нептуна вызваны циркуляцией вещества, для которого характерна не электронная, а ионная проводимость. Иными словами, не электроны, а электрически заряженные атомы или молекулы — то есть ионы — сами направленно движутся и тем самым переносят электрический заряд. Какие именно ионы и в каком соотношении циркулируют в недрах ледяных гигантов — пока неясно. И здесь может крыться часть разгадки того, почему их магнитные поля так необычны: сильно отклонены от осей вращения этих планет и исходят не из их центров.
«В условиях, которые существуют в недрах Юпитера, водород становится жидким металлом, его электропроводность обусловлена наличием свободных электронов, которые все атомы водорода сбрасывают „в общий котёл“ при столь сильном сжатии. А в Уране, как мы предполагаем, сами ионы водорода, то есть протоны, переносят заряд. При этом совершенно не обязательно в форме свободных ионов H+, а, например, в виде гидроксония H3O+, аммония NH4+ и ряда других ионов. Наше исследование дополняет этот ряд ионом H4O2+, химия которого представляет большой интерес», — поделился один из авторов исследования, профессор Сколтеха Артём Оганов.
👍13🔥5🤓2
🔜 4 июня Центр нейробиологии и нейрореабилитации Сколтеха приглашает на открытую лекцию профессора Научного центра нейроматематики Федерального университета Рио-де-Жанейро Клаудии Д. Варгас «Пластичность мозга после травматического повреждения плечевого сплетения у взрослых».
Существует множество доказательств того, что мозг способен распознавать и интегрировать новую информацию после периферической травмы и её хирургической реконструкции. Однако механизмы, лежащие в основе этого явления, в значительной степени неизвестны.
Травматическое повреждение плечевого сплетения (ТППС) у взрослых — интересная модель пластичности мозга из-за высокой распространенности, большого разнообразия типов повреждений и доступных хирургических реконструктивных процедур.
Во время семинара профессор Варгас представит новый экспериментальный материал для обсуждения механизмов кортикальной пластичности после ТППС.
К встрече можно присоединиться как онлайн, так и лично в кампусе Сколтеха, где наши коллеги организуют научную дискуссию после лекции. Если планируете участвовать очно, пожалуйста, зарегистрируйтесь до 15:00 3 июня.
Существует множество доказательств того, что мозг способен распознавать и интегрировать новую информацию после периферической травмы и её хирургической реконструкции. Однако механизмы, лежащие в основе этого явления, в значительной степени неизвестны.
Травматическое повреждение плечевого сплетения (ТППС) у взрослых — интересная модель пластичности мозга из-за высокой распространенности, большого разнообразия типов повреждений и доступных хирургических реконструктивных процедур.
Во время семинара профессор Варгас представит новый экспериментальный материал для обсуждения механизмов кортикальной пластичности после ТППС.
К встрече можно присоединиться как онлайн, так и лично в кампусе Сколтеха, где наши коллеги организуют научную дискуссию после лекции. Если планируете участвовать очно, пожалуйста, зарегистрируйтесь до 15:00 3 июня.
🔥8👍2
🤩 Продолжаем нашу рубрику о профессорско-преподавательском составе Сколтеха
Профессор Артём Оганов — известный в международном научном сообществе химик и кристаллограф. Его исследования сосредоточены на теоретическом дизайне новых материалов, изучении состояния вещества при высоких давлениях и разработке методов предсказания структуры и свойств вещества. Артём Оганов — автор уникального метода предсказания кристаллических структур USPEX, который в настоящее время используют более 10000 исследователей. Ведущие академические платформы для исследователей признают профессора одним из самых цитируемых современных учёных в области химии в мире: он опубликовал более 300 научных работ, на которые ссылались более 35 тысяч раз.
Артём Оганов был избран членом престижных международных академий — Academia European (2017) и International Core Academy of Sciences and Humanities (2024), почётным членом Королевского химического общества (2020), Американского физического общества (2020) и Минералогического общества Америки (2013). Профессор Оганов — лауреат ряда премий, включая Премию Дружбы правительства КНР (2019), высшую правительственную награду Китая для иностранных экспертов. Учёный назван просветителем 2023 года в России на торжественной церемонии Знание.Премия сразу в двух номинациях: «За вклад в просвещение в сфере Наука и Технологии», а также «За общий вклад в просвещение». Профессор Оганов возглавляет научный комитет национальной премии в области будущих технологий «Вызов».
В Сколтехе профессор ведёт курс, посвящённый структуре и свойствам материалов, а также руководит коллективом Лаборатории дизайна материалов, который занимается разработкой методов прогнозирования свойств магнитных, термоэлектрических, сверхпроводящих и сверхтвердых материалов, востребованных в транспортной отрасли, энергетике и буровой технике.
👉 Учитесь у лучших — учитесь в Сколтехе!
#ПрофессорСколтеха
Профессор Артём Оганов — известный в международном научном сообществе химик и кристаллограф. Его исследования сосредоточены на теоретическом дизайне новых материалов, изучении состояния вещества при высоких давлениях и разработке методов предсказания структуры и свойств вещества. Артём Оганов — автор уникального метода предсказания кристаллических структур USPEX, который в настоящее время используют более 10000 исследователей. Ведущие академические платформы для исследователей признают профессора одним из самых цитируемых современных учёных в области химии в мире: он опубликовал более 300 научных работ, на которые ссылались более 35 тысяч раз.
Артём Оганов был избран членом престижных международных академий — Academia European (2017) и International Core Academy of Sciences and Humanities (2024), почётным членом Королевского химического общества (2020), Американского физического общества (2020) и Минералогического общества Америки (2013). Профессор Оганов — лауреат ряда премий, включая Премию Дружбы правительства КНР (2019), высшую правительственную награду Китая для иностранных экспертов. Учёный назван просветителем 2023 года в России на торжественной церемонии Знание.Премия сразу в двух номинациях: «За вклад в просвещение в сфере Наука и Технологии», а также «За общий вклад в просвещение». Профессор Оганов возглавляет научный комитет национальной премии в области будущих технологий «Вызов».
В Сколтехе профессор ведёт курс, посвящённый структуре и свойствам материалов, а также руководит коллективом Лаборатории дизайна материалов, который занимается разработкой методов прогнозирования свойств магнитных, термоэлектрических, сверхпроводящих и сверхтвердых материалов, востребованных в транспортной отрасли, энергетике и буровой технике.
👉 Учитесь у лучших — учитесь в Сколтехе!
#ПрофессорСколтеха
🔥25❤19⚡3👏2👍1
🙋♂️ Провели в кампусе седьмую олимпиаду Сколтеха и Вышки «Математика машинного обучения».
Из 70 участников в финал прошли 28. Результаты объявим на следующей неделе. Победители будут зачислены на совместную магистратуру Сколтеха и НИУ ВШЭ «Математика машинного обучения» (победа в олимпиаде приравнивается к успешному прохождению конкурсного отбора).
Из 70 участников в финал прошли 28. Результаты объявим на следующей неделе. Победители будут зачислены на совместную магистратуру Сколтеха и НИУ ВШЭ «Математика машинного обучения» (победа в олимпиаде приравнивается к успешному прохождению конкурсного отбора).
❤23👍9🔥4
🎮 В Сколтехе откроется научный киберспортивный клуб Smart Gaming
Он будет сочетать в себе классическую форму компьютерного клуба с возможностью проведения исследований и пилотирования стартап-проектов Сколтеха.
С первого дня работы клуба планируется использовать Game-R — методологию рейтингования игроков в дисциплине CS-2, которая учитывает личный вклад каждого игрока в командную работу и оценивает успешность игрока по уникальным метрикам.
Smart Gaming будет доступен для всех посетителей круглосуточно. Он оснащён 30 современными мощными ПК, VIP-комнатой на пять ПК, игровой консолью, а также всем необходимым для комфортной игры.
Он будет сочетать в себе классическую форму компьютерного клуба с возможностью проведения исследований и пилотирования стартап-проектов Сколтеха.
«Философия клуба выходит за пределы только игровой деятельности. По этой причине мы будем заниматься просветительской деятельностью — организовывать семинары и мастер-классы, в том числе для детей с родителями, а также проводить турниры и внутриклубные соревнования-ладдеры», — рассказал руководитель клуба Антон Виноградов.
С первого дня работы клуба планируется использовать Game-R — методологию рейтингования игроков в дисциплине CS-2, которая учитывает личный вклад каждого игрока в командную работу и оценивает успешность игрока по уникальным метрикам.
«Предложенная система рейтингов была протестирована в нескольких компьютерных клубах и на реальном игровом турнире «Игры будущего» в Казани. Для честного попадания в рейтинг Game-R и выявления читеров будут использоваться разработанные алгоритмы отслеживания паттернов поведения в игре на основе методов машинного обучения», — рассказал доцент Центра системного проектирования Сколтеха Андрей Сомов.
Smart Gaming будет доступен для всех посетителей круглосуточно. Он оснащён 30 современными мощными ПК, VIP-комнатой на пять ПК, игровой консолью, а также всем необходимым для комфортной игры.
👍14🔥10👾10❤2👎1
🆕 Учёные из Сколтеха предложили быстрый и безотходный метод химической обработки плёнок из углеродных нанотрубок, который легко интегрируется в технологию их изготовления и улучшает их свойства, актуальные для производства сенсорных экранов, солнечных батарей и других устройств.
Эксперименты научной группы показывают, что воздействие газа диоксида азота — «лисьего хвоста» — даже в небольшом количестве при высокой температуре модифицирует нанотрубки таким образом, что повышается и их прозрачность, и электропроводность, причём этот эффект сохраняется на долгое время.
Эксперименты научной группы показывают, что воздействие газа диоксида азота — «лисьего хвоста» — даже в небольшом количестве при высокой температуре модифицирует нанотрубки таким образом, что повышается и их прозрачность, и электропроводность, причём этот эффект сохраняется на долгое время.
Профессор Центра фотоники и фотонных технологий Сколтеха Альберт Насибулин: «Выбор той или иной легирующей добавки продиктован компромиссом между повышением проводимости, прозрачностью плёнки и устойчивостью эффекта. Прежде тонкие плёнки нанотрубок могли удовлетворить лишь двум критериям из трёх. А сейчас нам удалось получить все три в одном материале».
👍5🔥5❤3
🇷🇺🇨🇳 В эти дни кампус Сколтеха принимает ведущих исследователей из России и Китая на II китайско-российском симпозиуме по химии и материалам.
На открытии участников приветствовали ректор Сколтеха Александр Кулешов, профессор Артём Оганов, возглавляющий Лабораторию дизайна материалов, вице-президент Российской академии наук Степан Калмыков и вице-президент Китайской академии наук У Чжаохуэй.
На симпозиуме Сколтех подписал соглашение о сотрудничестве с Синьцзянским техническим институтом физики и химии.
На пленарных заседаниях и секциях конференции учёные представили доклады по теории материалов, катализу и химии, нелинейным оптическим материалам, энергетическим материалам и другим областям исследований.
На открытии участников приветствовали ректор Сколтеха Александр Кулешов, профессор Артём Оганов, возглавляющий Лабораторию дизайна материалов, вице-президент Российской академии наук Степан Калмыков и вице-президент Китайской академии наук У Чжаохуэй.
На симпозиуме Сколтех подписал соглашение о сотрудничестве с Синьцзянским техническим институтом физики и химии.
На пленарных заседаниях и секциях конференции учёные представили доклады по теории материалов, катализу и химии, нелинейным оптическим материалам, энергетическим материалам и другим областям исследований.
❤27👍9👨💻1
🚀 Всем привет! Меня зовут Дмитрий Кулиш, я профессор и директор Центра инноваций и предпринимательства Сколтеха. Мне предложили вести колонку в телеграм-канале Сколтеха — от такого, конечно, не отмахнешься. В общем, «Этимъ полукресломъ мастеръ Гамбсъ начинаетъ новую партiю мебели».
Я буду рассказывать о том, чем занимаюсь в Сколтехе: о создании и развитии экосистемы технологических инноваций, а также вдохновлять студентов и профессоров на стартаперство и образовательные курсы по технологическим инновациям. Иногда буду сбиваться на патетические менторские монологи по следам великих стартаперских блогеров Гая Кавасаки и Марка Андрессина, но обещаю упорно оттаскивать себя к реальным делам, проектам, прекрасным людям из лабораторий, аудиторий и коридоров Сколтеха.
Хочу предупредить, что на повествование может повлиять ограничения на количество символов в телеграме, данное нам небесами в объёме всего-навсего четыре тысячи знаков с пробелами. Если бы лимиты не были такими суровыми, то эту серию можно было бы открыть неторопливой даоистской притчей о старике, живущем на границе диких степей и постоянно пытающемся понять, что же делать с золотой рыбкой. Мораль этой притчи заключается в том, что надо меньше говорить, немного больше (но не чрезмерно) думать и как можно больше делать. Эту мысль я и буду поддерживать в своей колонке.
Уже много лет мы с профессором Николаевым оттачиваем преподавание технологических инноваций по сплаву учений двух канонических гуру: Билла Олета из MIT и Стива Бланка из Беркли. Кратко суть этого сплава можно выразить фразой: вместо того, чтобы сидеть и думать, или, того хуже, несколько лет что-то строить в лаборатории или вовсе гараже, надо срочно смастерить на коленке хоть что-то работающее, выйти из лаборатории на улицу и найти человека, которому это может зачем-то понадобиться настолько, что он заинтересуется и заговорит с вами. На эту тему также можно посмотреть мой популярный стендап-ТЕД под названием «Что общего между инновациями и сноубордингом, или Все на склон!».
Конечно, эта картинка сильно упрощена. В более подробном варианте найдётся место как теории прототипирования и валидации прототипов, так и тренингам коммуникационных и лидерских навыков. Я буду демонстрировать всю эту палитру на конкретных примерах проектов из Сколтеха.
В этой моей колонке вас ждёт много интересного, полезного, вдохновляющего и просветляющего, например:
🔹 эссе на общие темы технологических инноваций и предпринимательства в динамичном эпатажном стиле, ибо только в таком стиле можно всерьёз говорить о техпреде;
🔹 истории сколтеховских техпред-проектов с переходом на личности;
🔹 сводки со сколтеховских учебных курсов по техпреду и мероприятий стартап-клуба с разоблачением магии;
🔹 новости мировых технологических инноваций, мимо которых не получается пройти равнодушными;
🔹 рассказ о студентах, которые неожиданно для себя, просто работая на курсе по инновациям в наноматериалах, встретили культового художника и узнали от него секрет успеха;
🔹 обзор советов Марка Андриссена на тему, как не вляпаться в технологическое предпринимательство и как не рехнуться, если вляпался;
🔹 истории взлётов и падений студенческих команд, соревнующихся за благосклонность МТС Стартап Хаба;
🔹 канонический стендап-трюк от Гая Кавасаки для тех потребителей, которые не умеют или не хотят давать или вовсе злонамеренно зажимают обратную связь.
До встреч в эфире! #profkulishweekly
Я буду рассказывать о том, чем занимаюсь в Сколтехе: о создании и развитии экосистемы технологических инноваций, а также вдохновлять студентов и профессоров на стартаперство и образовательные курсы по технологическим инновациям. Иногда буду сбиваться на патетические менторские монологи по следам великих стартаперских блогеров Гая Кавасаки и Марка Андрессина, но обещаю упорно оттаскивать себя к реальным делам, проектам, прекрасным людям из лабораторий, аудиторий и коридоров Сколтеха.
Хочу предупредить, что на повествование может повлиять ограничения на количество символов в телеграме, данное нам небесами в объёме всего-навсего четыре тысячи знаков с пробелами. Если бы лимиты не были такими суровыми, то эту серию можно было бы открыть неторопливой даоистской притчей о старике, живущем на границе диких степей и постоянно пытающемся понять, что же делать с золотой рыбкой. Мораль этой притчи заключается в том, что надо меньше говорить, немного больше (но не чрезмерно) думать и как можно больше делать. Эту мысль я и буду поддерживать в своей колонке.
Уже много лет мы с профессором Николаевым оттачиваем преподавание технологических инноваций по сплаву учений двух канонических гуру: Билла Олета из MIT и Стива Бланка из Беркли. Кратко суть этого сплава можно выразить фразой: вместо того, чтобы сидеть и думать, или, того хуже, несколько лет что-то строить в лаборатории или вовсе гараже, надо срочно смастерить на коленке хоть что-то работающее, выйти из лаборатории на улицу и найти человека, которому это может зачем-то понадобиться настолько, что он заинтересуется и заговорит с вами. На эту тему также можно посмотреть мой популярный стендап-ТЕД под названием «Что общего между инновациями и сноубордингом, или Все на склон!».
Конечно, эта картинка сильно упрощена. В более подробном варианте найдётся место как теории прототипирования и валидации прототипов, так и тренингам коммуникационных и лидерских навыков. Я буду демонстрировать всю эту палитру на конкретных примерах проектов из Сколтеха.
В этой моей колонке вас ждёт много интересного, полезного, вдохновляющего и просветляющего, например:
🔹 эссе на общие темы технологических инноваций и предпринимательства в динамичном эпатажном стиле, ибо только в таком стиле можно всерьёз говорить о техпреде;
🔹 истории сколтеховских техпред-проектов с переходом на личности;
🔹 сводки со сколтеховских учебных курсов по техпреду и мероприятий стартап-клуба с разоблачением магии;
🔹 новости мировых технологических инноваций, мимо которых не получается пройти равнодушными;
🔹 рассказ о студентах, которые неожиданно для себя, просто работая на курсе по инновациям в наноматериалах, встретили культового художника и узнали от него секрет успеха;
🔹 обзор советов Марка Андриссена на тему, как не вляпаться в технологическое предпринимательство и как не рехнуться, если вляпался;
🔹 истории взлётов и падений студенческих команд, соревнующихся за благосклонность МТС Стартап Хаба;
🔹 канонический стендап-трюк от Гая Кавасаки для тех потребителей, которые не умеют или не хотят давать или вовсе злонамеренно зажимают обратную связь.
До встреч в эфире! #profkulishweekly
YouTube
Все на склон! | Dmitry Kulish | TEDxSkoltech
Дмитрий расскажет, что общего между инновациями и сноубордингом Ph.D., entrepreneur, professor of Skoltech. He builds startups and advises corporations in pharmaceuticals and blockchain, publishes books on life and business. Manages Skoltech's largest training…
🔥58❤21🤩10👎4👍3⚡2👀2
🆕 Учёные из Сколтеха, Института искусственного интеллекта AIRI и SberAI обнаружили принципиально новое свойство больших языковых моделей и научились контролировать его. Это позволит оптимизировать модели на 10-15% без потери в качестве, снижая количество вычислительных мощностей, необходимых для их использования.
Команда изучила устройство 20 известных open-source языковых моделей типа декодер и выяснили, что между эмбеддингами (числовыми представлениями данных) есть высокая линейная зависимость. Это значит, что при переходе от слоя к слою информация не претерпевает нелинейных преобразований и сложную архитектуру трансформера можно заменить намного более лёгкими слоями нейросети.
Чтобы избежать проявления негативных свойств линейности во время предобучения, коллектив разработал специальный «регуляризатор». Он позволяет контролировать проявления линейности и улучшать метрики качества.
Благодаря возможности контролировать проявления линейности учёные смогли заменить сложные блоки слоёв модели на более простые. В ходе экспериментов выяснилось, что облегчать без потери качества можно 10-15% слоёв. Далее модель начинает терять полезные навыки.
Статья принята на одну из наиболее престижных конференций в сфере ИИ – ACL 2024 (Main Track, Core A*). Получить доступ к регуляризатору можно по ссылке.
Команда изучила устройство 20 известных open-source языковых моделей типа декодер и выяснили, что между эмбеддингами (числовыми представлениями данных) есть высокая линейная зависимость. Это значит, что при переходе от слоя к слою информация не претерпевает нелинейных преобразований и сложную архитектуру трансформера можно заменить намного более лёгкими слоями нейросети.
Чтобы избежать проявления негативных свойств линейности во время предобучения, коллектив разработал специальный «регуляризатор». Он позволяет контролировать проявления линейности и улучшать метрики качества.
Благодаря возможности контролировать проявления линейности учёные смогли заменить сложные блоки слоёв модели на более простые. В ходе экспериментов выяснилось, что облегчать без потери качества можно 10-15% слоёв. Далее модель начинает терять полезные навыки.
Иван Оселедец, профессор Сколтеха, генеральный директор Института AIRI: «На днях мы выложили препринт статьи, а она уже обогнала публикации от Google, Microsoft, MIT и Adobe в списке статей дня на HuggingFace. Понимая важность работы для научного сообщества, мы поделились регуляризатором с коллегами и опубликовали его в открытом доступе».
Статья принята на одну из наиболее престижных конференций в сфере ИИ – ACL 2024 (Main Track, Core A*). Получить доступ к регуляризатору можно по ссылке.
🔥24❤6