Machine Unlearning

Поскольку обеспокоенность по поводу неправомерного использования данных и нарушения конфиденциальности все больше формирует ландшафт искусственного интеллекта, на первый план выходит новая область машинного обучения - машинное забывание.

Эта концепция предполагает снижение потенциальных рисков, таких как необъективность данных и вторжение в частную жизнь, путем исключения концептов из уже обученных моделей.

Для решения этих проблем исследователи Google Фабиан Педрегоса и Элени Триантафиллу объявили о проведении первого в истории конкурса Machine Unlearning Challenge. Это соревнование, предназначенное для развития передового опыта в области машинного забывания, будет проводиться на Kaggle и направлено на развитие эффективных, действенных и этичных алгоритмов забывания.

Машинное забывание связано с другими областями машинного обучения, такими как дифференциальная конфиденциальность, обучение в течение всей жизни и справедливость.

Конкурс, являющийся частью конкурсного трека NeurIPS 2023, будет проходить с середины июля до середины сентября 2023 года. Его цель - изучить реалистичные сценарии, в которых определенные подмножества концептов должны быть забыты.

😌 Блог-пост
👾 Конкурс
🪛 Starting kit

3 июля в 19:00 присоединяйтесь к тренингу по управлению СДВГ и вечеру знакомств от моих друзей @fsd_tlv.

Синдром дефицита внимания с гиперактивностью (СДВГ) — это состояние, которое влияет на концентрацию, память и поведение.

Знаете ли вы, что симптомы СДВГ напоминают проблемы, с которыми мы сталкиваемся при разработке нейросетей? Мозг - это самая сложная система, которую нужно время от времени отлаживать и дообучать, так же как и самый изощренный алгоритм искусственного интеллекта.

Отлаживать наш мозг мы будем вместе с Сашей Березович, специалистом по СДВГ.

Нас ждет:

* Семинар по вниманию и саморегуляции от Саши Березович
* Практические упражнения для ясности мысли и эмоциональной устойчивости
* Интерактивные мини-сессии мастермайнд для обмена знаниями
* Возможности для знакомства один на один c использованием специального бота

Захватывающий 3-часовой сеанс (100nis, регистрация через @socialize_reg_bot) включает перерыв и легкий перекус.

📍Место проведения: Тель Авив, ул. Кибуц Галиот 21.

Если вас увлекает связь между нейросетями и человеческим сознанием и вы хотите оптимизировать свою сосредоточенность, не пропустите это уникальное мероприятие.

#этополюбви #яунихживу

OpenAI начинает работу над сверхалайнментом

Текущие методы работы с ИИ полагаются на способность людей его контролировать. Но люди не смогут надежно контролировать системы ИИ, когда они станут намного умнее их.

OpenAI объявила о начале работы над сверхалайнментом для управления сверхинтеллектуальным ИИ и предотвращением его выхода из-под контроля. Если очень упрощенно, то сверхалайнмент это суперучитель для моделей ИИ будущего, более умных чем люди 👨‍🏫

Для работы над задачей компания выделит 20%(!) своих вычислительных мощностей на четыре года и создает отдельную команду, которой будут руководить Ilya Sutskever (cofounder and Chief Scientist of OpenAI) и Jan Leike (Head of Alignment).

🌐 блог-пост

@innovationitsme

Посмотрите как беспилотники с искусственным интеллектом и компьютерным зрением собирают яблоки в Израиле ❤️❤️❤️

Deep TDA работает лучше, чем традиционные алгоритмы снижения размерности🔬🧮

Мы вступаем в новую эру анализа данных благодаря прорывному алгоритму - Deep TDA. Этот новаторский метод позволяет добывать инсайты из сложных данных. Он сочетает в себе мощь self-supervised learning (#SSL) и Топологического Анализа Данных (TDA).

Долгое время такие инструменты, как t-SNE и UMAP, были непревзойденными в области снижения размерности. Их роль в анализе сложных наборов данных неоценима, причем t-SNE, разработанный Хинтоном и ван дер Маатеном еще в 2008 году, до сих пор очень популярен.

Но ветер перемен дует! Deep TDA обещает впечатляющие возможности:

1️⃣ Он демонстрирует устойчивость к шуму и выбросам.
2️⃣ Он эффективно масштабируется для сложных, высокоразмерных наборов данных.
3️⃣ Он снимает необходимость в тщательной настройке или глубоком понимании данных.
4️⃣ Он охватывает и отображает более полную картину набора данных.

На картинке сверху сравнительное исследование всех трех техник на временном ряде (исследователи повесили акселерометр на корову, посмотрите как TDA создает кластеры для разных типов движения):

• t-SNE удерживает слишком много структуры, большая часть которой не существует.
• UMAP справился лучше, хотя структура казалась несколько размытой.
• TDA, однако, сработал великолепно, сохраняя детализированную структуру данных.

Deep TDA это еще один важный шаг к светлому будущему анализа данных!

🦾 Блог-пост

Как устроены трансформеры для задач CV на примере ViT

— один из примеров статьи в канале DeepSchool

В нем 15 практикующих инженеров пишут уникальные посты:
- разбирают статьи
- дают советы по обучению нейросетей
- напоминают теорию ML/DL
- и пишут туториалы к сервисам и фреймворкам

Ребята ревьюят посты друг друга, чтобы добавить разные точки зрения, а редактор упрощает текст и убирает лишнее, чтобы вам было легче читать.

Еще больше примеров постов:
❶ Подкаст «Почему растет популярность 3D CV»
❷ Разбор решений Kaggle соревнования по детекции столкновений футболистов
❸ Обзор ключевых идей MobileNet — почему она столь эффективна
❹ Что такое kafka доступным языком и с примером для датасаенс
❺ Вопрос на подумать: как защититься от ленивых разметчиков на краудсорсинг-платформах

Подписывайтесь, чтобы не пропустить полезный совет и развиваться в Deep Learning!

#реклама

ИИ меняет гуманитарные науки, как когда-то микроскопы и телескопы изменили естественные науки

Древние языки хранят культуру и историю прошлого и дают надежду на разрешение тысячелетних споров (например, об историчности Иисуса или аутентичности Библии) на основе исследования форм и жанров древних текстов, семантического анализа, лингвистических аспектов и литературных связей с материальными памятниками культуры.

Естественно, специалистам приходится решать крайне сложные текстовые задачи: от расшифровки утраченных языков и восстановления поврежденных надписей до определения авторства литературных произведений.

MIT сделали всесторонний обзор опубликованных исследований с использованием машинного обучения для изучения древних текстов, написанных на любом языке, письменности и носителе, охватывающих более трех с половиной тысячелетий цивилизаций древнего мира.

Я подозреваю, что авторы невероятные перфекционисты и дома раскладывают носки по цветам. Потому что они ввели таксономию задач на основе этапов изучения древних документов (оцифровка, реставрация, атрибуция, лингвистический анализ, текстовая критика, перевод и дешифровка), и разложили МЛ инструменты по этим полочкам (разпознавание - лучший результат показала ResNet; улучшение качества - GAN и трансформеры хорошо сработали после денойза; для реставрации древне-греческих текстов берите BERT-вдохновенную Ithaca с картами значимости на выходе для explainable AI). В общем, мое восхищение.

У работы три основных вклада:
⁃ упорядочивание научной области на стыке гуманитарных наук и машинного обучения;
⁃ убедительное доказательство, что междисциплинарное сотрудничество - ключ к созданию эффективных и убедительных научных исследований;
⁃ обозначение перспективных направлений исследований в этой области.

📖Статья MIT

🪝Видео похищено у Кирилла Семёновича, вопросы о научной достоверности, пожалуйста, к нему

@GingerSpacetail

🔔 19.07 | Интерактивная встреча «Практические подходы к изучению сознания».

Приходите на нашу уникальную встречу 19 июля, где мы разберем насколько увлекательными и доступными могут быть такие темы как Искусственный Интеллект и сознание. Что такое сознание? Как его можно исследовать? Что мы знаем о сознании у Искусственного Интеллекта? Мы объясним эти вопросы простым и понятным языком, сделав их интересными для каждого из вас!

Важно! У нас ограниченное количество мест – всего 35, поэтому не упустите свой шанс присоединиться к нам.

Встречу проведут:

🔆 Полина Кривых – эксперт в области психофизиологии, со-основатель стартапа по борьбе с выгоранием Revive, автор популярного канала Редакция.Наука

🔆 Алекс Поляков – исследователь в области психоделик-криптографии, автор канала Unstoppable technologies

🔆 Даша Ильяшенко – специалист в области искусства, основательница KakdelArt, со-автор канала Пост-тарбут

🔆 Артемий Новоселов – ученый-исследователь ИИ из Стэнфорда, создатель канала NN for Science

📍 Faktura (Тель-Авив, ул. Левонтин, 6)
🕦 19 июля, в 19:00
💰 Стоимость билета: 60 шек
🍸 Welcome drink

Регистрируйтесь сейчас!

Давайте разберемся кто может, а кто не может называть себя доктором наук

В академической среде существуют различные степени и титулы, которые отражают уровень образования или достижений в научной сфере. Ниже представлены основные степени их взаимосвязь:

Dr. rer. nat. - это степень, присуждаемая в странах германского языка (например, в Германии, Австрии и Швейцарии) в области естественных наук. Это эквивалент PhD (Philosophiae Doctor), присуждаемого в англоязычных странах. Обе эти степени требуют выполнения научного исследования и защиты диссертации. Степень Dr. rer. nat. буквально переводится как "доктор наук", но в России (и некоторых других странах бывшего СССР), она признаётся как эквивалент PhD, а не степени "доктор наук".

PhD (Doctor of Philosophy) - это наиболее распространённая степень в научном сообществе. Она присуждается в большинстве стран мира за вклад в научные исследования. Степень PhD требует проведения оригинального исследования и написания диссертации на его основе. Эта степень признаётся международным сообществом и является требованием для большинства позиций в академической сфере.

Кандидат наук - это степень, присуждаемая в России и некоторых других странах бывшего СССР. Она признаётся международным сообществом как эквивалент степени PhD. Для получения степени кандидата наук требуется проведение научного исследования и защита диссертации.

Доктор наук - это более высокая научная степень, присуждаемая в России и некоторых других странах бывшего СССР. Это существенно более сложная и долгая процедура, чем получение степени кандидата наук, и она обычно требует значительного вклада в научное знание. Степень доктора наук признаётся на международном уровне как почетная и важная степень, но не имеет прямого эквивалента в системах других стран.

Стоит отметить, что Российская система высшего образования и науки включает в себя ВАК (Высшую аттестационную комиссию), которая отвечает за присвоение научных степеней. Степень доктора наук присуждается только с одобрения ВАК (и получается что никаких иностранных докторов наук по этой логике быть не может).

Важно понимать, что каждая страна имеет свою собственную систему образования и научные степени, которые могут отличаться от других. Однако все эти степени признаются на международном уровне и отражают уровень образования и достижений в научной сфере.

Академия Data Science от Тинькофф!

Учитесь у лучших экспертов Тинькофф и других ИТ-компаний в современном кампусе в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.
Подробнее здесь: https://l.tinkoff.ru/master.ds_2023

#реклама

🦙 Llama-2

Это очень важно: вышла Llama-v2 у которой открытый исходный код и лицензия, разрешающая коммерческое использование!

Это изменит ландшафт рынка LLM.
Llama-v2 доступна на Microsoft Azure и будет доступна на AWS, Hugging Face и других провайдерах.

Доступны предварительно обученные и зафайнтюненые модели с параметрами 7B, 13B и 70B.

Сайт Llama-2
Документ Llama-2

🔥 Совет на лето 2023 - углубитесь в изучение машинного обучения.

Если вы не хотите тратить месяцы и годы на бесполезные материалы, мы собрали для Вас кладезь полезных знаний в одной папке.

- Разбор вопросов с собеседований МО
- Machine learning
- Анализ данных
- Канал с вакансиями и фрилансом DS
и многое другое.

Сохраняйте себе, чтобы не потерять: https://tttttt.me/addlist/2Ls-snqEeytkMDgy

#реклама

С Llama-2 🦙 уже можно поговорить

У французского стартапа Hugging Face 🤗, которые изначально прославились хабом для трансформеров (когда еще это называлось NLP), оказывается есть свой веб-интерфейс для чат моделек.

Он называется Hugging Chat и они только что добавили поддержку Llama-2.

Уже можно идти общаться!

🤗 HuggingChat

В GPT-4 добавили фичу, слухи про которую ходили давно — предзаписанные инструкции/роли, которые модель должна выполнять и отыгрывать. И можно задать желаемый формат ответов (например, всегда отвечать стихами на французском, почему нет?)

Нужно включить в настройках
Settings → Beta features → opt into Custom instructions

Затем перезагрузить страницу, в и меню слева (где настройки) у вас появится отдельная кнопка.

Источник

Привет, Чемпион!

🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда наш курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно!

🎯 Что ты получишь?
- Первый русскоязычный курс по соревновательному Data Science с максимальным количеством практики.
- Насыщенная программа, содержащая современные методы для выбивания максимального скора из твоих ML-моделей.
- Более 200 практических заданий.
- Интервью с Kaggle Grand Masters.
- Большое русскоязычное коммьюнити 400+ студентов курса для совместного прохождения и участия в соревнованиях.
- Поддержка преподавателей и даже собственный мерч курса за успехи.

АКЦИЯ: Возвращаем деньги за курс, если выиграешь любую медаль на Kaggle до конца лета!

🔥Скидка 10% по промокоду: TGLETO (Сработает только при переходе по ссылке)
✅ Подписывайся на Канал курса, чтобы узнать подробности и следить за открытыми вебинарами и другими активностями.

#реклама

Каникулы закончились, так что дальше нас ждёт меньше рекламы и больше хороших постов! Всем хорошей недели

Еще немного про LLaMa-2

LLaMa-2 - это самая мощная языковая модель, которая есть в открытом доступе на сегодняшний день. Это дает огромны толчок дальнейшему развитию LLM и их использованию в разных продуктах. Открытй релиз LLaMA-1 породил просто тучу крутых проектов породил, я в предвкушении того, что в ближайшее время сделают на базе LLaMa-2, коротая еще позволяет и свободное коммерческое использование.

В интервью BBC, один из топов Meta, Nick Clegg, сказал, выпуск LLM в open-source делает их «более безопасными», так как привлекает тщательные исследования и анализ извне.
Вот еще несколько интересных мыслей от Ника:

- LLaMa-2 более безопасна, чем любая друга open-source модель на сегодняшний день (и это подтверждается бенчмарками в статье).

- По поводу экзистенциальной угрозы: «Я считаю, что шумиха несколько опережает технологии. Я думаю, что многие экзистенциальные угрозы относятся к моделям, которые в настоящее время не существуют, к так называемым сверхинтеллектуальным, сверхмощным моделям ИИ — вариант, в котором ИИ самостоятельно развивает автономию и свободу действий, где он может думать сам и воспроизводить себя.»

«Модели, исходный код которых мы открываем, далеки от этого. На самом деле, во многом они довольно глупы».

- Ник убежден, что AI должен регулироваться, и добавил, что это «не означает, что все AI модели должны быть открытыми».

За последние 10 лет Мета зарелизила в открытый доступ более 1000 моделей, библиотек и датасетов. Чего стоит только React, PyTorch и, например, недавняя модель Segment Anything. Мне кажется, некоторые другие компании незаслуженно зовутся "Open".

@ai_newz