Китайские ученые обучают ИИ быть настоящими учеными
Обычно модели обучаются на данных без учета предварительных знаний, например, физических законов.
Китайские исследователи предлагают концепцию 'осведомленного машинного обучения', совмещая данные и предметные знания.
Внедрение предметных знаний улучшает эффективность ИИ и его способность делать выводы.
Основная сложность - выбор полезных знаний и предотвращение сбоев моделей при внедрении множества правил.
Разработана система оценки правил для определения лучших ответов.
Обучение ИИ законам физики, например, делает его более реалистичным и полезным в науке.
Оптимизировано для решения многофакторных уравнений и предсказания результатов химических экспериментов.
Цель - позволить ИИ самостоятельно идентифицировать знания и правила из данных.
#AI #MachineLearning #Science
-------
@tsingular
Обычно модели обучаются на данных без учета предварительных знаний, например, физических законов.
Китайские исследователи предлагают концепцию 'осведомленного машинного обучения', совмещая данные и предметные знания.
Внедрение предметных знаний улучшает эффективность ИИ и его способность делать выводы.
Основная сложность - выбор полезных знаний и предотвращение сбоев моделей при внедрении множества правил.
Разработана система оценки правил для определения лучших ответов.
Обучение ИИ законам физики, например, делает его более реалистичным и полезным в науке.
Оптимизировано для решения многофакторных уравнений и предсказания результатов химических экспериментов.
Цель - позволить ИИ самостоятельно идентифицировать знания и правила из данных.
#AI #MachineLearning #Science
-------
@tsingular
Эндрю Нг 🧠💻 назначен в Совет директоров Amazon
Доктор Эндрю Нг, ведущий эксперт в области ИИ, машинного обучения и онлайн-образования, назначен в Совет директоров Amazon с 9 апреля 2024 года.
Он является управляющим генеральным партнером AI Fund, поддерживающей предпринимателей в сфере ИИ, лидером образовательной компании DeepLearning.AI, основателем Landing AI (ПО для компьютерного зрения), председателем и соучредителем онлайн-платформы Coursera.
Богатый академический и практический опыт Нга, включая более 200 научных работ по машинному обучению, робототехнике и смежным областям, поможет Amazon в решении перспектив и проблем, связанных с развитием ИИ.
Мощное усиление! Привлечение светил ИИ в топ-менеджмент - 🦾
#AndrewNg #AmazonBoard #MachineLearning
-------
@tsingular
Доктор Эндрю Нг, ведущий эксперт в области ИИ, машинного обучения и онлайн-образования, назначен в Совет директоров Amazon с 9 апреля 2024 года.
Он является управляющим генеральным партнером AI Fund, поддерживающей предпринимателей в сфере ИИ, лидером образовательной компании DeepLearning.AI, основателем Landing AI (ПО для компьютерного зрения), председателем и соучредителем онлайн-платформы Coursera.
Богатый академический и практический опыт Нга, включая более 200 научных работ по машинному обучению, робототехнике и смежным областям, поможет Amazon в решении перспектив и проблем, связанных с развитием ИИ.
Мощное усиление! Привлечение светил ИИ в топ-менеджмент - 🦾
#AndrewNg #AmazonBoard #MachineLearning
-------
@tsingular
KAN - новая архитектура нейросетей на основе теоремы Колмогорова-Арнольда
KAN (Kolmogorov-Arnold Networks) - альтернатива многослойным перцептронам. 🧠💡
Ключевые особенности KAN:
- Функции активации на ребрах, а не нейронах
- Основана на теореме Колмогорова-Арнольда об аппроксимации функций
- Вместо весов обучаются функции на ребрах, в нейронах - их суммирование
- Для обучения функций используются сплайны 📈
- Масштабируется за счет композиции матриц обучаемых функций на каждом слое
Авторы разработали библиотеку pykan для работы с KAN. 🐍🔧
Потенциально, это может перевернуть глубокое обучение. Ждем бенчмарков! 🤯📊
#KAN #NeuralNetworks #MachineLearning
-------
@tsingular
KAN (Kolmogorov-Arnold Networks) - альтернатива многослойным перцептронам. 🧠💡
Ключевые особенности KAN:
- Функции активации на ребрах, а не нейронах
- Основана на теореме Колмогорова-Арнольда об аппроксимации функций
- Вместо весов обучаются функции на ребрах, в нейронах - их суммирование
- Для обучения функций используются сплайны 📈
- Масштабируется за счет композиции матриц обучаемых функций на каждом слое
Авторы разработали библиотеку pykan для работы с KAN. 🐍🔧
Потенциально, это может перевернуть глубокое обучение. Ждем бенчмарков! 🤯📊
#KAN #NeuralNetworks #MachineLearning
-------
@tsingular
👍3
MLaaS делает ИИ доступным для любого бизнеса
Объемы неструктурированных данных растут, превышая возможности простой аналитики.
ИИ, машинное обучение и когнитивные вычисления 🤖 - новый must have.
MLaaS (Machine Learning as a Service) - подписная модель доступа к ИИ, аналогично SaaS.
MLaaS делает когнитивные вычисления доступными для организаций любого размера 📈.
Можно легко масштабировать вычислительные ресурсы по требованию ⚙️.
MLaaS расширит применение ИИ для разных ролей и навыков 👥.
Это откроет новую волну инноваций 💡 для компаний с ограниченными ресурсами.
Появятся готовые ИИ-функции, доступные через API 🔌.
No-code ИИ-системы позволят создавать ИИ-решения даже неспециалистам 🙌.
Больше аббревиатур богу аббревиатур.
MLaaS, штука полезная и понятная, в принципе, вопрос что с конфиденциальностью данных.
#MachineLearning #Analytics #MLaaS
-------
@tsingular
Объемы неструктурированных данных растут, превышая возможности простой аналитики.
ИИ, машинное обучение и когнитивные вычисления 🤖 - новый must have.
MLaaS (Machine Learning as a Service) - подписная модель доступа к ИИ, аналогично SaaS.
MLaaS делает когнитивные вычисления доступными для организаций любого размера 📈.
Можно легко масштабировать вычислительные ресурсы по требованию ⚙️.
MLaaS расширит применение ИИ для разных ролей и навыков 👥.
Это откроет новую волну инноваций 💡 для компаний с ограниченными ресурсами.
Появятся готовые ИИ-функции, доступные через API 🔌.
No-code ИИ-системы позволят создавать ИИ-решения даже неспециалистам 🙌.
Больше аббревиатур богу аббревиатур.
MLaaS, штука полезная и понятная, в принципе, вопрос что с конфиденциальностью данных.
#MachineLearning #Analytics #MLaaS
-------
@tsingular
This media is not supported in your browser
VIEW IN TELEGRAM
AGREE - cамообоснование и цитирование у LLM
Google представила AGREE - ИИ-фреймворк машинного обучения, обучающий большие языковые модели самообоснованию и цитированию точных ссылок в ответах.
Это решает проблему "галлюцинаций" LLM - генерации правдоподобной, но недостоверной информации.
В основе - 2 этапа:
1) Обучение настройке LLM на добавление цитат на основе синтетических данных.
2) Итеративная адаптация во время тестов для улучшения ответов.
Эксперименты показали значительное улучшение обоснований и точности цитирования.
Самурай с мечом подобен самураю без меча, но с мечом! :)
#Google #AGREE #MachineLearning
Google представила AGREE - ИИ-фреймворк машинного обучения, обучающий большие языковые модели самообоснованию и цитированию точных ссылок в ответах.
Это решает проблему "галлюцинаций" LLM - генерации правдоподобной, но недостоверной информации.
В основе - 2 этапа:
1) Обучение настройке LLM на добавление цитат на основе синтетических данных.
2) Итеративная адаптация во время тестов для улучшения ответов.
Эксперименты показали значительное улучшение обоснований и точности цитирования.
Самурай с мечом подобен самураю без меча, но с мечом! :)
#Google #AGREE #MachineLearning
Примеры атак на модели ИИ через небезопасный формат Pickle
Разработана новая техника эксплуатации "Сонный Пикл" (Sleepy Pickle), которая внедряет вредоносный код в файлы моделей машинного обучения, использующие небезопасный формат Python pickle.
При загрузке такого файла выполняется вредоносный код, модифицирующий модель для генерации опасного контента, кражи данных пользователей и фишинга.
"Липкий Пикл" (Sticky Pickle) - продвинутый вариант с самовоспроизведением, автоматически заражающий будущие версии модели и маскирующий вредоносный код.
Это показывает широкую поверхность атаки при взаимодействия ИИ-моделей с базовым ПО.
Рекомендуется использовать безопасные форматы вроде SafeTensors, сканировать pickle-файлы и внедрять проверенные ML-технологии, которые уже успели доказать свою безопасность.
Ч1: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-1/
Ч2: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-2/
#MachineLearning #CyberSecurity #PickleExploit
-------
@tsingular
Разработана новая техника эксплуатации "Сонный Пикл" (Sleepy Pickle), которая внедряет вредоносный код в файлы моделей машинного обучения, использующие небезопасный формат Python pickle.
При загрузке такого файла выполняется вредоносный код, модифицирующий модель для генерации опасного контента, кражи данных пользователей и фишинга.
"Липкий Пикл" (Sticky Pickle) - продвинутый вариант с самовоспроизведением, автоматически заражающий будущие версии модели и маскирующий вредоносный код.
Это показывает широкую поверхность атаки при взаимодействия ИИ-моделей с базовым ПО.
Рекомендуется использовать безопасные форматы вроде SafeTensors, сканировать pickle-файлы и внедрять проверенные ML-технологии, которые уже успели доказать свою безопасность.
Ч1: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-1/
Ч2: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-2/
#MachineLearning #CyberSecurity #PickleExploit
-------
@tsingular
Использование ИИ для рассекречивания документов
Исследование, проведённое в Мэриленде по заказу Минобороны США показало успешное применение ИИ для рассекречивания документов.
Ключевой момент - сопоставление процессных правил с моделями контекстуального понимания.
Алгоритмы способны различать контекст терминов в разных сферах (например, «килотонна» в сельском хозяйстве и обороне).
Планируется создание руководства по использованию ИИ для поддержки решений о рассекречивании в госструктурах.
Технология применима к различным типам проверки информации, включая FOIA и проверку безопасности.
В данном конкретном случае это больше про сортировку документов, чтобы лишнее не опубликовать, но в целом интересна методика подхода по снижению неопределённостей.
#Pentagon #declassification #machinelearning
-------
@tsingular
Исследование, проведённое в Мэриленде по заказу Минобороны США показало успешное применение ИИ для рассекречивания документов.
Ключевой момент - сопоставление процессных правил с моделями контекстуального понимания.
Алгоритмы способны различать контекст терминов в разных сферах (например, «килотонна» в сельском хозяйстве и обороне).
Планируется создание руководства по использованию ИИ для поддержки решений о рассекречивании в госструктурах.
Технология применима к различным типам проверки информации, включая FOIA и проверку безопасности.
В данном конкретном случае это больше про сортировку документов, чтобы лишнее не опубликовать, но в целом интересна методика подхода по снижению неопределённостей.
#Pentagon #declassification #machinelearning
-------
@tsingular
Роботы учатся самостоятельно по принципу «тренировка ведет к совершенству»
Инженеры MIT CSAIL и The AI Institute разработали алгоритм EES (Estimate, Extrapolate, and Situate), позволяющий роботам автономно улучшать свои навыки.
Механизм анализирует окружение, оценивает текущие способности и запускает тренировку если навыков недостаточно.
Тесты на роботе Spot от Boston Dynamics показали впечатляющие результаты: за 3 часа он научился размещать предметы на наклонной поверхности, а за 2 часа - убирать игрушки.
Традиционные методы потребовали бы более 10 часов для достижения аналогичных результатов.
Технология применима в различных сферах: на производстве, в сфере услуг, медицине и быту.
Следующий шаг - интеграция симуляторов для комбинирования виртуальных и реальных тренировок.
Ну вот, через годик эта "тренировка" будет занимать не часы, а секунды и получим сообразительных полноценных участников общества.
#robotics #machinelearning #automation
-------
@tsingular
Инженеры MIT CSAIL и The AI Institute разработали алгоритм EES (Estimate, Extrapolate, and Situate), позволяющий роботам автономно улучшать свои навыки.
Механизм анализирует окружение, оценивает текущие способности и запускает тренировку если навыков недостаточно.
Тесты на роботе Spot от Boston Dynamics показали впечатляющие результаты: за 3 часа он научился размещать предметы на наклонной поверхности, а за 2 часа - убирать игрушки.
Традиционные методы потребовали бы более 10 часов для достижения аналогичных результатов.
Технология применима в различных сферах: на производстве, в сфере услуг, медицине и быту.
Следующий шаг - интеграция симуляторов для комбинирования виртуальных и реальных тренировок.
Ну вот, через годик эта "тренировка" будет занимать не часы, а секунды и получим сообразительных полноценных участников общества.
#robotics #machinelearning #automation
-------
@tsingular
👍1
Эволюция RLHF: CLoud - модель для самокритики
Новая модель Critique-out-Loud (CLoud) улучшает технологию Reinforcement Learning from Human Feedback (RLHF).
CLoud генерирует детальную критику ответов ИИ-ассистента перед выставлением оценки.
Обучение происходит на наборах данных с запросами, ответами и экспертной критикой.
Применяется многовыборочный вывод и самосогласованность для повышения точности.
CLoud-модели значительно превзошли классические аналоги в тестах и на бенчмарке ArenaHard.
Технология объединяет генерацию языка с моделированием предпочтений, открывая новые горизонты.
Настоящая ценность от технологии появляется, когда можешь позволить себе избыточное использование.
Одно из них - самооценка и самокритика.
Нужно больше GPU.
#RLHF #CLoud #MachineLearning
-------
@tsingular
Новая модель Critique-out-Loud (CLoud) улучшает технологию Reinforcement Learning from Human Feedback (RLHF).
CLoud генерирует детальную критику ответов ИИ-ассистента перед выставлением оценки.
Обучение происходит на наборах данных с запросами, ответами и экспертной критикой.
Применяется многовыборочный вывод и самосогласованность для повышения точности.
CLoud-модели значительно превзошли классические аналоги в тестах и на бенчмарке ArenaHard.
Технология объединяет генерацию языка с моделированием предпочтений, открывая новые горизонты.
Настоящая ценность от технологии появляется, когда можешь позволить себе избыточное использование.
Одно из них - самооценка и самокритика.
Нужно больше GPU.
#RLHF #CLoud #MachineLearning
-------
@tsingular
❤🔥1
Гарвард представил ML-модель для точного прогноза энергетических уровней
Ученые Гарварда разработали инновационный метод машинного обучения на базе гауссовских процессов для повышения точности функционалов плотности.
Новый подход нацелен на улучшение прогнозирования энергетических щелей и энергий реакций молекул.
Модель CIDER24X интегрирует нелокальные особенности матрицы плотности, используя теорему Янака и концепцию разрывности производной.
Созданы две версии: CIDER24X-e (с данными об уровнях энергии) и CIDER24X-ne (без них).
Метод демонстрирует улучшенную точность для молекулярных энергий и HOMO-LUMO щели, приближаясь к точности гибридной теории функционала плотности при меньших вычислительных затратах.
Теперь учёные смогут точнее предсказывать свойства молекул, не разоряясь на суперкомпьютеры. 🧪💻
paper
#HarvardUniversity #MachineLearning #QuantumChemistry
-------
@tsingular
Ученые Гарварда разработали инновационный метод машинного обучения на базе гауссовских процессов для повышения точности функционалов плотности.
Новый подход нацелен на улучшение прогнозирования энергетических щелей и энергий реакций молекул.
Модель CIDER24X интегрирует нелокальные особенности матрицы плотности, используя теорему Янака и концепцию разрывности производной.
Созданы две версии: CIDER24X-e (с данными об уровнях энергии) и CIDER24X-ne (без них).
Метод демонстрирует улучшенную точность для молекулярных энергий и HOMO-LUMO щели, приближаясь к точности гибридной теории функционала плотности при меньших вычислительных затратах.
Теперь учёные смогут точнее предсказывать свойства молекул, не разоряясь на суперкомпьютеры. 🧪💻
paper
#HarvardUniversity #MachineLearning #QuantumChemistry
-------
@tsingular
👍67
Google проапгрейдила Gemini: мощнее, дешевле, быстрее
Вышли обновления версий Gemini-1.5-Pro-002 и Flash-002.
Улучшения: +7% в MMLU-Pro, +20% в математике, +2-7% в визуальном анализе и кодировании.
Модели стали лаконичнее в ответах.
Цены снижены: -64% на входные токены, -52% на выход, -64% на токены инкрементального кэширования (sic!).
Лимиты запросов тоже подняли: Flash до 2000 RPM, Pro до 1000 RPM.
Так же представлена экспериментальная версия Gemini-1.5-Flash-8B-Exp-0924 с ускоренной генерацией.
Обновления доступны через Google AI Studio и Gemini API.
Anthropic до рождества, похоже будет тянуть :) Opus 3.5 когда уже? 🧠🏷
#Gemini #GoogleAI #MachineLearning
-------
@tsingular
Вышли обновления версий Gemini-1.5-Pro-002 и Flash-002.
Улучшения: +7% в MMLU-Pro, +20% в математике, +2-7% в визуальном анализе и кодировании.
Модели стали лаконичнее в ответах.
Цены снижены: -64% на входные токены, -52% на выход, -64% на токены инкрементального кэширования (sic!).
Лимиты запросов тоже подняли: Flash до 2000 RPM, Pro до 1000 RPM.
Так же представлена экспериментальная версия Gemini-1.5-Flash-8B-Exp-0924 с ускоренной генерацией.
Обновления доступны через Google AI Studio и Gemini API.
Anthropic до рождества, похоже будет тянуть :) Opus 3.5 когда уже? 🧠🏷
#Gemini #GoogleAI #MachineLearning
-------
@tsingular
OpenR: фреймворк для управления рассуждениями ИИ
Представлен OpenR - открытый фреймворк для продвинутого рассуждения с использованием больших языковых моделей.
Эффективность повышена через интеграцию поиска, обучения с подкреплением и контролем ответа.
Фокусируется на трёх направлениях: сбор данных, обучение и генерация.
Включает собственный набор данных MATH-APS и модель вознаграждения MATH-psa.
Позволяет выбирать различные базовые модели и настраивать процесс вывода.
Своего рода открытый аналог O1. 🤔💡
#OpenR #MachineLearning #ReasoningAI
———
@tsingular
Представлен OpenR - открытый фреймворк для продвинутого рассуждения с использованием больших языковых моделей.
Эффективность повышена через интеграцию поиска, обучения с подкреплением и контролем ответа.
Фокусируется на трёх направлениях: сбор данных, обучение и генерация.
Включает собственный набор данных MATH-APS и модель вознаграждения MATH-psa.
Позволяет выбирать различные базовые модели и настраивать процесс вывода.
Своего рода открытый аналог O1. 🤔💡
#OpenR #MachineLearning #ReasoningAI
———
@tsingular
Google разработал PAV для улучшения рассуждений LLM
Google AI Research представила Process Advantage Verifiers (PAV) - новый подход к совершенствованию логических способностей больших языковых моделей.
PAV оценивают каждый шаг в процессе рассуждения, а не только итог, измеряя прогресс на основе вероятности верного решения.
Результаты впечатляют: точность возросла на 8%, эффективность обучения - в 5-6 раз, а поиска - в 1.5-5 раз.
Особенно заметны улучшения в сложных многошаговых задачах, включая математические, с повышением точности более чем на 6%.
Эффективность PAV подтверждена на моделях различного масштаба - от 2 до 27 миллиардов параметров.
Теперь ИИ будет не просто выдавать ответ, но и объяснять, как он до него дошёл.
Актуальный тренд,- самоанализ на ходу.
Не хватает ещё переобучения по выводам. Чтобы решения закреплялись и уходили в "подсознание" на скоростной слой принятия решений.
#Google #ProcessAdvantageVerifiers #MachineLearning
-------
@tsingular
Google AI Research представила Process Advantage Verifiers (PAV) - новый подход к совершенствованию логических способностей больших языковых моделей.
PAV оценивают каждый шаг в процессе рассуждения, а не только итог, измеряя прогресс на основе вероятности верного решения.
Результаты впечатляют: точность возросла на 8%, эффективность обучения - в 5-6 раз, а поиска - в 1.5-5 раз.
Особенно заметны улучшения в сложных многошаговых задачах, включая математические, с повышением точности более чем на 6%.
Эффективность PAV подтверждена на моделях различного масштаба - от 2 до 27 миллиардов параметров.
Теперь ИИ будет не просто выдавать ответ, но и объяснять, как он до него дошёл.
Актуальный тренд,- самоанализ на ходу.
Не хватает ещё переобучения по выводам. Чтобы решения закреплялись и уходили в "подсознание" на скоростной слой принятия решений.
#Google #ProcessAdvantageVerifiers #MachineLearning
-------
@tsingular
Причина и следствие: метод SURD от CalTech
Учёные Caltech представили революционный метод SURD для анализа причинно-следственных связей в сложных системах.
Новый подход делит факторы на уникальные, избыточные и синергетические компоненты.
В сфере ИИ метод позволит оптимизировать нейросети, улучшить интерпретируемость моделей и повысить эффективность обучения с подкреплением.
Особенно ценна способность SURD минимизировать ложные идентификации и анализировать данные при ограниченной выборке.
Источник в Nature
Хотелось бы, конечно, готовые библиотеки уже, а то вечная проблема с false-positive у всех.
Интересно если скормить целиком метод Клоду, - напишет же?
UPD: закинул статью в 4о, Claude код в разных вариантах на Nodejs и Python в комментарии.
ИМХО лучший - Claude. Кто на чём пишет, - выбирайте.
Мы живём в реальности, где за 5 минут научную статью можно превратить в код.
Поздравляю!
#Caltech #SURD #MachineLearning
-------
@tsingular
Учёные Caltech представили революционный метод SURD для анализа причинно-следственных связей в сложных системах.
Новый подход делит факторы на уникальные, избыточные и синергетические компоненты.
В сфере ИИ метод позволит оптимизировать нейросети, улучшить интерпретируемость моделей и повысить эффективность обучения с подкреплением.
Особенно ценна способность SURD минимизировать ложные идентификации и анализировать данные при ограниченной выборке.
Источник в Nature
Хотелось бы, конечно, готовые библиотеки уже, а то вечная проблема с false-positive у всех.
Интересно если скормить целиком метод Клоду, - напишет же?
UPD: закинул статью в 4о, Claude код в разных вариантах на Nodejs и Python в комментарии.
ИМХО лучший - Claude. Кто на чём пишет, - выбирайте.
Мы живём в реальности, где за 5 минут научную статью можно превратить в код.
Поздравляю!
#Caltech #SURD #MachineLearning
-------
@tsingular
🔥7👍2
Всё, что нужно знать об Обучении с Подкреплением (Reinforcement Learning) в 2024
Интересная работа с детальным описанием подходов к RL.
Reinforcement Learning использует принципы обучения через взаимодействие со средой, получая положительную или отрицательную обратную связь.
Рассмотрены:
- Состояния (s): Текущая ситуация/наблюдение
- Действия (a): Возможные выборы агента
- Награды (r): Сигналы обратной связи
- Политика (π): Стратегия отображения состояния в действии
- Функция ценности (V/Q): Оценка будущих наград
Методы:
- По ценности: Q-learning, SARSA
- По политике: REINFORCE, PPO
- По модели: Планирование через симуляцию
Рассмотрены методы оценки результатов и эффективности обучения, а так же:
Офлайн RL: Обучение на готовых данных
Мульти-агенты: Командное обучение
Мета-RL: Быстрое адаптивное обучение
Безопасность: Контроль рисков
Вы это никогда не прочитаете, но этим можно накормить бота и дальше с ним консультироваться :)
#ReinforcementLearning #MachineLearning #DeepLearning #обучение
------
@tsingular
Интересная работа с детальным описанием подходов к RL.
Reinforcement Learning использует принципы обучения через взаимодействие со средой, получая положительную или отрицательную обратную связь.
Рассмотрены:
- Состояния (s): Текущая ситуация/наблюдение
- Действия (a): Возможные выборы агента
- Награды (r): Сигналы обратной связи
- Политика (π): Стратегия отображения состояния в действии
- Функция ценности (V/Q): Оценка будущих наград
Методы:
- По ценности: Q-learning, SARSA
- По политике: REINFORCE, PPO
- По модели: Планирование через симуляцию
Рассмотрены методы оценки результатов и эффективности обучения, а так же:
Офлайн RL: Обучение на готовых данных
Мульти-агенты: Командное обучение
Мета-RL: Быстрое адаптивное обучение
Безопасность: Контроль рисков
Вы это никогда не прочитаете, но этим можно накормить бота и дальше с ним консультироваться :)
#ReinforcementLearning #MachineLearning #DeepLearning #обучение
------
@tsingular
✍4❤1
🚀 Обновление LLM Course 2025 от Maxime Labonne
Максим Лабонн, глава направления пост-тренинга в Liquid AI, выкатил масштабное обновление своего мега-популярного курса по LLM (уже 41.3k звёзд на GitHub! 🌟).
Главные изменения коснулись раздела LLM Scientist - и это просто 🔥
Что добавили в программу:
Предтренинг на стероидах
- Как готовить данные для обучения (Llama 3.1 тренировалась на 15 триллионах токенов 🤯)
- Распределённый тренинг на кластерах GPU
- Современные оптимизаторы типа Lion
Пост-тренинг стал умнее
- Новые техники генерации синтетических датасетов
- Улучшение существующих сэмплов через Chain-of-Thought
- Фильтрация качества с помощью моделей-судей
Квантизация и оптимизация
- GGUF & llama.cpp для запуска на обычном железе
- Продвинутые техники типа GPTQ/EXL2 и AWQ
- SmoothQuant для борьбы с выбросами
Горячие тренды 2025
- Слияние моделей без файнтюна (mergekit)
- Мультимодальные модели
- Интерпретируемость через Sparse Autoencoders
- Test-time compute scaling
Что дальше?
Автор обещает в 2025 году сфокусироваться на обновлении раздела LLM Engineer - ждём новых материалов про практическое применение моделей в продакшене.
Кстати, курс остаётся полностью бесплатным 🎁 Автор говорит, что получает множество сообщений о том, как курс помог людям в карьере - и это главная мотивация продолжать развивать проект.
Для тех, кто хочет копнуть глубже - есть платная книга "LLM Engineer's Handbook", написанная вместе с Полом Юзстином. Но основной курс всегда будет бесплатным! 📚
#LLM #AI #MachineLearning #обучение #Education
———
@tsingular
Максим Лабонн, глава направления пост-тренинга в Liquid AI, выкатил масштабное обновление своего мега-популярного курса по LLM (уже 41.3k звёзд на GitHub! 🌟).
Главные изменения коснулись раздела LLM Scientist - и это просто 🔥
Что добавили в программу:
Предтренинг на стероидах
- Как готовить данные для обучения (Llama 3.1 тренировалась на 15 триллионах токенов 🤯)
- Распределённый тренинг на кластерах GPU
- Современные оптимизаторы типа Lion
Пост-тренинг стал умнее
- Новые техники генерации синтетических датасетов
- Улучшение существующих сэмплов через Chain-of-Thought
- Фильтрация качества с помощью моделей-судей
Квантизация и оптимизация
- GGUF & llama.cpp для запуска на обычном железе
- Продвинутые техники типа GPTQ/EXL2 и AWQ
- SmoothQuant для борьбы с выбросами
Горячие тренды 2025
- Слияние моделей без файнтюна (mergekit)
- Мультимодальные модели
- Интерпретируемость через Sparse Autoencoders
- Test-time compute scaling
Что дальше?
Автор обещает в 2025 году сфокусироваться на обновлении раздела LLM Engineer - ждём новых материалов про практическое применение моделей в продакшене.
Кстати, курс остаётся полностью бесплатным 🎁 Автор говорит, что получает множество сообщений о том, как курс помог людям в карьере - и это главная мотивация продолжать развивать проект.
Для тех, кто хочет копнуть глубже - есть платная книга "LLM Engineer's Handbook", написанная вместе с Полом Юзстином. Но основной курс всегда будет бесплатным! 📚
#LLM #AI #MachineLearning #обучение #Education
———
@tsingular
👍4✍3🔥3
Forwarded from Анализ данных (Data analysis)
🚀 AI от Sakana AI пишет оптимизированный код для CUDA-ядрер для ускорения ИИ!
🔑 Основное:
AI CUDA Engineer — агентная система, которая автоматически создаёт высокооптимизированные CUDA-ядра, ускоряя операции машинного обучения в PyTorch в 10–100 раз.
CUDA-программирование сложное, требует глубоких знаний и часто кажется "алхимией". Эта система упрощает задачу, используя эволюционные алгоритмы и LLMs.
Уникальная идея — "Innovation Archive" (аналог "библиотеки навыков" из нашего проекта Voyager для Minecraft), где LLM сохраняет лучшие фрагменты кода, найденные в процессе эволюционного поиска.
Это идеальный пример AutoML: максимальная отдача от вычислительных ресурсов, делая ИИ быстрее и эффективнее.
Великолепная работа, Sakana AI!
Также интересно, что NVIDIA параллельно работает над схожими исследованиями по улучшению CUDA-ядер с помощью мощных LLM.
#AI #MachineLearning #CUDA #AutoML
▪Paper: https://pub.sakana.ai/ai-cuda-engineer/paper/
▪Kernel Archive Webpage: https://pub.sakana.ai/ai-cuda-engineer/
▪HuggingFace Dataset: https://huggingface.co/datasets/SakanaAI/AI-CUDA-Engineer-Archive
@data_analysis_ml
🔑 Основное:
AI CUDA Engineer — агентная система, которая автоматически создаёт высокооптимизированные CUDA-ядра, ускоряя операции машинного обучения в PyTorch в 10–100 раз.
CUDA-программирование сложное, требует глубоких знаний и часто кажется "алхимией". Эта система упрощает задачу, используя эволюционные алгоритмы и LLMs.
Уникальная идея — "Innovation Archive" (аналог "библиотеки навыков" из нашего проекта Voyager для Minecraft), где LLM сохраняет лучшие фрагменты кода, найденные в процессе эволюционного поиска.
Это идеальный пример AutoML: максимальная отдача от вычислительных ресурсов, делая ИИ быстрее и эффективнее.
Великолепная работа, Sakana AI!
Также интересно, что NVIDIA параллельно работает над схожими исследованиями по улучшению CUDA-ядер с помощью мощных LLM.
#AI #MachineLearning #CUDA #AutoML
▪Paper: https://pub.sakana.ai/ai-cuda-engineer/paper/
▪Kernel Archive Webpage: https://pub.sakana.ai/ai-cuda-engineer/
▪HuggingFace Dataset: https://huggingface.co/datasets/SakanaAI/AI-CUDA-Engineer-Archive
@data_analysis_ml
✍6
This media is not supported in your browser
VIEW IN TELEGRAM
Machine Learning Visualized — интерактивные уроки по машинному обучению
Некий студент из University of Maryland создал открытый ресурс для изучения ML-алгоритмов через интерактивную визуализацию.
Проект состоит из Jupyter Notebooks с математическими выводами и наглядными примерами обучения моделей.
На данный момент включает 4 главы: оптимизация, кластеризация, линейные модели и нейросети.
Каждый алгоритм показан от теории до практики с визуализацией процесса обучения и поиска оптимальных весов.
Есть проект в GitHub.
Все блокноты можно скачать и запустить локально или в Google Colab.
#MachineLearning #обучение #OpenSource
———
@tsingular
Некий студент из University of Maryland создал открытый ресурс для изучения ML-алгоритмов через интерактивную визуализацию.
Проект состоит из Jupyter Notebooks с математическими выводами и наглядными примерами обучения моделей.
На данный момент включает 4 главы: оптимизация, кластеризация, линейные модели и нейросети.
Каждый алгоритм показан от теории до практики с визуализацией процесса обучения и поиска оптимальных весов.
Есть проект в GitHub.
Все блокноты можно скачать и запустить локально или в Google Colab.
#MachineLearning #обучение #OpenSource
———
@tsingular
✍9🍾4👍2
ИИ раскрыл новые физические законы на задаче по анализу пылевой плазмы
Команда из Emory University показала, как правильно обученная нейросеть может находить новые физические законы в экспериментальных данных.
Модель была обучена на реальных экспериментальных данных (3D-трекинг лазерной томографией), а не на симуляциях с синтетическими параметрами.
Результат — точность R² > 0.99 при предсказании траекторий частиц и открытие неожиданных отклонений от классической теории.
Техническая архитектура:
- 3 независимые нейросети для разных типов сил: межчастичные взаимодействия, внешние силы, демпфирование
- Встроенные физические симметрии в архитектуру (трансляционная инвариантность в xy-плоскости)
- "Weak form" loss function — фильтрация ускорений через интегрирование вместо зашумленных производных
- Масштабирование O(N²) для N частиц
Неожиданные открытия:
- Эффективная длина экранирования λ зависит от размера частиц (вопреки теории)
- Заряд частиц q ∼ m^p, где p = 0.30-0.80 (теория предсказывает p = 1/3)
- Показатель p растет с давлением газа — намек на коллизионные эффекты
Подход экспериментально проверен и опубликован в PNAS.
Технология применима для изучения явлений от колец Сатурна до земной ионосферы.
Кто-то тут недавно спрашивал, - когда уже ИИ начнет открытия в реальном мире делать,- получите, распишитесь.
#MachineLearning #Physics #Plasma #ScientificML
———
@tsingular
Команда из Emory University показала, как правильно обученная нейросеть может находить новые физические законы в экспериментальных данных.
Модель была обучена на реальных экспериментальных данных (3D-трекинг лазерной томографией), а не на симуляциях с синтетическими параметрами.
Результат — точность R² > 0.99 при предсказании траекторий частиц и открытие неожиданных отклонений от классической теории.
Техническая архитектура:
- 3 независимые нейросети для разных типов сил: межчастичные взаимодействия, внешние силы, демпфирование
- Встроенные физические симметрии в архитектуру (трансляционная инвариантность в xy-плоскости)
- "Weak form" loss function — фильтрация ускорений через интегрирование вместо зашумленных производных
- Масштабирование O(N²) для N частиц
Неожиданные открытия:
- Эффективная длина экранирования λ зависит от размера частиц (вопреки теории)
- Заряд частиц q ∼ m^p, где p = 0.30-0.80 (теория предсказывает p = 1/3)
- Показатель p растет с давлением газа — намек на коллизионные эффекты
Подход экспериментально проверен и опубликован в PNAS.
Технология применима для изучения явлений от колец Сатурна до земной ионосферы.
Кто-то тут недавно спрашивал, - когда уже ИИ начнет открытия в реальном мире делать,- получите, распишитесь.
#MachineLearning #Physics #Plasma #ScientificML
———
@tsingular
👍13🔥6⚡3❤1🤔1🐳1