И еще одно обновление сегодня: English as the New Programming Language for Apache Spark
Помните, мы рассказывали про Pandas AI? Так вот, такую же фишку на днях анонсировали в Apache Spark. И работает похожим образом. Например:
То есть просто пишем запрос на естественном английском языке и получаем результат. Все, что нужно – знать пару методов (такие, как
Отдельный прикол – это декоратор
Ну просто рай для аналитиков, согласны?
😻 #python
Помните, мы рассказывали про Pandas AI? Так вот, такую же фишку на днях анонсировали в Apache Spark. И работает похожим образом. Например:
transformed_df = df.ai.transform('get 4 week moving average sales by dept')
То есть просто пишем запрос на естественном английском языке и получаем результат. Все, что нужно – знать пару методов (такие, как
ai.transform(), ai.plot(), ai.explain()), скормить им в качестве аргумента адекватный промпт и вуаля – вот тебе нужный результат. Так можно генерировать графики, датафреймы, обрабатывать данные, интерпретировать их и так далее. Отдельный прикол – это декоратор
@spark_ai.udf, который позволяет генерить User-Defined Functions по описанию, и потом использовать их по назначению. Ну просто рай для аналитиков, согласны?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍51❤10
Самые важные формулы в Data Science
Выделили 21 штуку и все объединили в одну картинку. Сохраняйте!
😻 #advice
Выделили 21 штуку и все объединили в одну картинку. Сохраняйте!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍118🔥24❤11🤯9✍1
Perceiver
Проблема такая: большинство архитектур разрабатываются для одной задачи, из-за чего инженерам приходится идти на ухищрения, модифицировать входы и выходы в надежде, что модель научится решать новую проблему. А работа с несколькими типами данных вообще требует сложных мультимодальных систем.
Поэтому исследователи из DeepMind подумали: "А почему бы не создать универсальную архитектуру, способную решать разные проблемы и обрабатывать все типы данных?". И придумали Perceiver. Рассказываем, как он работает.
Статья | Код
😻 #NN
Проблема такая: большинство архитектур разрабатываются для одной задачи, из-за чего инженерам приходится идти на ухищрения, модифицировать входы и выходы в надежде, что модель научится решать новую проблему. А работа с несколькими типами данных вообще требует сложных мультимодальных систем.
Поэтому исследователи из DeepMind подумали: "А почему бы не создать универсальную архитектуру, способную решать разные проблемы и обрабатывать все типы данных?". И придумали Perceiver. Рассказываем, как он работает.
Статья | Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🤯11🔥5❤2🤔2
Для тех кому надоел Machine Learning хорошая новость: теперь можно позаниматься Machine Unlearning
Google анонсировала конкурс по "машинному удалению". Это задача по стиранию данных из памяти нейросетей и "отмене" влияния этих данных на выходы модели. Нужно разработать решение, не обучая модель заново и (желательно) не снижая качество её работы.
Появление такого типа задач было предсказумым. Скорее всего, скоро подобными исследованиями начнут заниматься и в Microsoft, и даже в OpenAI, на которых каждую неделю сыпится несколько исков, связанных с несанкционированным использованием кода, изображений и текстов для обучения нейросетей.
Конкурс будет проходить на Kaggle. Про призовой фонд пока ничего не слышно, но представляется, что он будет более чем приличным.
Какие мысли по поводу подходов к решению?
😻 #news
Google анонсировала конкурс по "машинному удалению". Это задача по стиранию данных из памяти нейросетей и "отмене" влияния этих данных на выходы модели. Нужно разработать решение, не обучая модель заново и (желательно) не снижая качество её работы.
Появление такого типа задач было предсказумым. Скорее всего, скоро подобными исследованиями начнут заниматься и в Microsoft, и даже в OpenAI, на которых каждую неделю сыпится несколько исков, связанных с несанкционированным использованием кода, изображений и текстов для обучения нейросетей.
Конкурс будет проходить на Kaggle. Про призовой фонд пока ничего не слышно, но представляется, что он будет более чем приличным.
Какие мысли по поводу подходов к решению?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38🤯15😁7🔥4
Регуляризация. Чем L1 отличается от L2?
Регуляризация – метод, который используется в машинном обучении для предотвращения переобучения путем добавления штрафного значения к функции потерь, которую модель пытается минимизировать. Существует несколько методов регуляризации, но наиболее популярные — L1 и L2 регуляризация. Объясняем, в чем их смысл, на примере показываем, чем они отличаются и рассказываем, как выбрать подходящую.
😻 #train
Регуляризация – метод, который используется в машинном обучении для предотвращения переобучения путем добавления штрафного значения к функции потерь, которую модель пытается минимизировать. Существует несколько методов регуляризации, но наиболее популярные — L1 и L2 регуляризация. Объясняем, в чем их смысл, на примере показываем, чем они отличаются и рассказываем, как выбрать подходящую.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34❤8🤯4
The Little Book of Deep Learning by François Fleuret
Франсуа Флере — профессор компьютерных наук в Женевском университете, Швейцария. Пару дней назад он выпустил интересную мини-книжку с последовательными заметками по глубокому обучению. Здесь кратко и содержательно рассматриваются многие важные темы: Backpropagation, дропауты, нормализации, функции активации, слои внимания и тд. Откройте оглавление – и увидите сами.
При этом эта малютка подойдет даже новичкам: в начале автор раскрывает базовые понятия, и даже рассказывает про GPU и тензоры. А в третьей граве найдете заметки по основным задачам глубокого обучения: Text-image, детекция, генерация текстов и изображений, RL.
И все это изложено всего на 150 страницах с картинками. Вот бесплатная версия, адаптированная под чтение на телефоне. Советуем!
😻 #advice
Франсуа Флере — профессор компьютерных наук в Женевском университете, Швейцария. Пару дней назад он выпустил интересную мини-книжку с последовательными заметками по глубокому обучению. Здесь кратко и содержательно рассматриваются многие важные темы: Backpropagation, дропауты, нормализации, функции активации, слои внимания и тд. Откройте оглавление – и увидите сами.
При этом эта малютка подойдет даже новичкам: в начале автор раскрывает базовые понятия, и даже рассказывает про GPU и тензоры. А в третьей граве найдете заметки по основным задачам глубокого обучения: Text-image, детекция, генерация текстов и изображений, RL.
И все это изложено всего на 150 страницах с картинками. Вот бесплатная версия, адаптированная под чтение на телефоне. Советуем!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23🤯14❤5🔥4
Подборка книг для знакомства с эффективными методами аналитики, датавиза и репрезентации данных
Что-нибудь из списка уже читали? Как вам?
😻 #advice
Что-нибудь из списка уже читали? Как вам?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍44🥰7❤5🤨1