Адаптивный подбор размера шага в градиентном спуске
Мы с вами уже раскладывали по полочкам базовый градиентный спуск. И конечно, исследователи нашли тысячу и один способ улучшить этот алгоритм. Например, многие сразу задались вопросом: как подбирать размер шага (learning rate)? Он максимально остро встаёт в случае SGD: ведь посчитать значение функции потерь в точке очень дорого, так что методы в духе наискорейшего спуска нам не помогут. Решили действовать хитрее.
😻 #train #math
Мы с вами уже раскладывали по полочкам базовый градиентный спуск. И конечно, исследователи нашли тысячу и один способ улучшить этот алгоритм. Например, многие сразу задались вопросом: как подбирать размер шага (learning rate)? Он максимально остро встаёт в случае SGD: ведь посчитать значение функции потерь в точке очень дорого, так что методы в духе наискорейшего спуска нам не помогут. Решили действовать хитрее.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🗿5
Все в одном
Разработчик релизнул утилиту ChatALL, которая позволяет одновременно общаться со всеми популярными чат-ботами: ChatGPT, Bing Chat, Bard и менее популярными Alpaca, Vincuna, Claude, ChatGLM, MOSS, iFlytek Spark, ERNIE. Для доступа к некоторым нужно иметь API.
Инструкция по установке: тут.
😻 #news
Разработчик релизнул утилиту ChatALL, которая позволяет одновременно общаться со всеми популярными чат-ботами: ChatGPT, Bing Chat, Bard и менее популярными Alpaca, Vincuna, Claude, ChatGLM, MOSS, iFlytek Spark, ERNIE. Для доступа к некоторым нужно иметь API.
Инструкция по установке: тут.
Please open Telegram to view this post
VIEW IN TELEGRAM
👏19⚡3👍3
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤6🔥4
Forwarded from class Python
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤23👍10🔥3🤨2😐2
Object Importance
Это метод, который позволяет определить, как каждая запись трейна влияет на метрику.
Другими словами, он позволяет найти и избавится от бесполезных записей (шум или выбросы, например).
Этот метод хорошо реализован в Catboost:
В функции доступны три метода расчета: SinglePoint (быстрый, но самый неточный), TopKLeaves ( помедленнее и поточнее) и AllPoints (долгий и самый точный).
Отрицательные значения означают, что строка уменьшает значение метрики, а положительные - что увеличивает. В зависимости от метрики нужно обратить внимание на значения определенного знака. После этого можно попробовать выкинуть плохо влияющие записи и переобучить модель.
Вот здесь есть еще туториал по использованию.
😻 #train #python
Это метод, который позволяет определить, как каждая запись трейна влияет на метрику.
Другими словами, он позволяет найти и избавится от бесполезных записей (шум или выбросы, например).
Этот метод хорошо реализован в Catboost:
train_pool = Pool(X_train, y_train)
val_pool = Pool(X_val, y_val)
cb = CatBoost({'eval_metric': 'RMSE'})
cb.fit(train_pool)
indices, scores = cb.get_object_importance(
val_pool,
train_pool,
importance_values_sign='Positive')
В функции доступны три метода расчета: SinglePoint (быстрый, но самый неточный), TopKLeaves ( помедленнее и поточнее) и AllPoints (долгий и самый точный).
Отрицательные значения означают, что строка уменьшает значение метрики, а положительные - что увеличивает. В зависимости от метрики нужно обратить внимание на значения определенного знака. После этого можно попробовать выкинуть плохо влияющие записи и переобучить модель.
Вот здесь есть еще туториал по использованию.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥9
This media is not supported in your browser
VIEW IN TELEGRAM
Нашли аи-тул для генерации 360-градусных сцен с помощью эскиза. Все, что вы нарисуете, доточится до правильных пропорций, на это наложатся структуры и освещение и вуаля – готовый скайбокс. Можно даже заказать доступ к API (вдруг решите уйти из даты в геймдев).
Кстати, работает все это просто на модифицированной Stable Diffusion.
Вот тут можно поиграться.
😻 #news
Кстати, работает все это просто на модифицированной Stable Diffusion.
Вот тут можно поиграться.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🤯9🔥4
Как по книжкам познать математику для машинного обучения и анализа данных?
Наша подборка в помощь: собрали как русскоязычные, так и англоязычные книги для любого уровня подготовки.
😻 #advice
Наша подборка в помощь: собрали как русскоязычные, так и англоязычные книги для любого уровня подготовки.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30❤15
ML Model Watermarking
SAP выкатили инструмент для защиты моделей машинного обучения от «заимствований». Суть – добавление водяных знаков в веса модели на основных фреймворках: Scikit-learn, PyTorch, HuggingFace.
Авторы утверждают, что добавление водяных знаков не сильно влияет на точность модели, зато позволит доказать владение. Вопрос в том, как вотермарки будут выдерживать файнтюнинг.
https://github.com/SAP/ml-model-watermarking
😻 #news #NN
SAP выкатили инструмент для защиты моделей машинного обучения от «заимствований». Суть – добавление водяных знаков в веса модели на основных фреймворках: Scikit-learn, PyTorch, HuggingFace.
Авторы утверждают, что добавление водяных знаков не сильно влияет на точность модели, зато позволит доказать владение. Вопрос в том, как вотермарки будут выдерживать файнтюнинг.
https://github.com/SAP/ml-model-watermarking
Please open Telegram to view this post
VIEW IN TELEGRAM
🤨33👍7❤3
Препарируем нормальное распределение
А вы когда-нибудь задумывались, как на свет появилось нормальное распределение и почему его формула выглядит именно так? Почему там экспонента? Почему минус? Зачем делить на 2 сигма-квадрат? Откуда взялось число Пи? Рассказываем.
😻 #math
А вы когда-нибудь задумывались, как на свет появилось нормальное распределение и почему его формула выглядит именно так? Почему там экспонента? Почему минус? Зачем делить на 2 сигма-квадрат? Откуда взялось число Пи? Рассказываем.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤61👍30🔥11🏆4