Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
NVIDIA’s New AI: Ray Tracing From 10,000 Images!
❤️ Check out Weights & Biases and sign up for a free demo here: https://wandb.com/papers
📝 The paper "Joint Neural Denoising of Surfaces and Volumes" is available here:
https://research.nvidia.com/publication/2023-03_joint-neural-denoising-surfaces-and…
📝 The paper "Joint Neural Denoising of Surfaces and Volumes" is available here:
https://research.nvidia.com/publication/2023-03_joint-neural-denoising-surfaces-and…
🔥8❤1👍1
Новое обновленеи принесло много интересных изменений. Благодаря этому обновлению стало ещё приятнее использовать инструмент.
JupyterLab теперь работает быстрее и имеет улучшенный редактор кода .
Улучшенный редактор CodeMirror в JupyterLab
CodeMirror, текстовый редактор, был обновлен до версии CodeMirror 6. В новой версии редактора улучшены его доступность и производительность, а также добавлены гибкие возможности настройки.
Функция совместной работы RTC перенесена в отдельный пакет jupytercollaboration. Он включает отображение нескольких курсоров и выделений, а также поддерживает регистрацию новых типов общих моделей.
Новый менеджер расширений в JupyterLab 4
В JupyterLab 4 Менеджер расширений включает как заранее созданные расширения Python, так и расширения с pypi.org. Расширения из PyPI не нуждаются в сборке при установке через Менеджер.
Разработчики могут добавить альтернативный репозиторий пакетов для отображения своего набора расширений.
Улучшенный поиск документов
Поиск и замена контента улучшены новыми возможностями.
Среди них подсветка совпадений в отформатированных ячейках markdown, поиск в текущем выделении, поиск по нескольким строкам, замена с сохранением регистра, и так далее.
Улучшения UI-интерфейса JupyterLab
Дизайнеры JupyterLab переработали секцию активных ядер, кнопку «Добавить новую ячейку», диалоговое окно для сочетаний клавиш и отображение первой строки в свернутых ячейках ввода и вывода.
Обновления средств разработки
Средства разработки обновились до TypeScript v5, Yarn v3, React v18 и Lumino v2.
Исправление багов
Были исправлены более 100 ошибок в JupyterLab, улучшены стабильность и производительность. Полный список исправлений можно найти на GitHub.
https://github.com/jupyterlab/jupyterlab/releases/tag/v4.0.0rc0
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥2❤1
После трёх лет использования и работы справочником по API Sklearn я понял, что самые популярные и часто используемые модели и функции — это лишь малая часть того, что может сделать библиотека. Несмотря на то, что некоторые функции чрезвычайно узконаправлены и используются в редких случаях, я обнаружил множество интересных функций, которые являются элегантными вариантами решения для различных типичаных операций, которые датасаентисты обычно выполняют вручную.
Итак, я решил составить список самых элегантных и важных функций и кратко объяснить их, чтобы вы могли значительно расширить свой набор инструментов Sklearn. Наслаждайтесь!
▪ Читать
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥4❤2🤔1
Как я улучшил производительность своего кода Python на 371%?
Вам надоело, что производительность вашего кода не показывает каких-либо высоких результатов? Вам не нравится, что ваш код долго работает? В таком случае мной была написана статья, в которой я делюсь несколькими способами, позволяющими улучшить производительность кода на Python. К тому же, всё это я делаю на собственном примере, чтобы вам было проще усвоить все процессы.
В итоге мне удалось ускорить код с 29,3 секунд до 6,3 без какой-либо внешней библиотеки!
▪Читать
@machinelearning_ru
Вам надоело, что производительность вашего кода не показывает каких-либо высоких результатов? Вам не нравится, что ваш код долго работает? В таком случае мной была написана статья, в которой я делюсь несколькими способами, позволяющими улучшить производительность кода на Python. К тому же, всё это я делаю на собственном примере, чтобы вам было проще усвоить все процессы.
В итоге мне удалось ускорить код с 29,3 секунд до 6,3 без какой-либо внешней библиотеки!
▪Читать
@machinelearning_ru
👍6🔥2❤1👎1
🔥 100 датасетов для скачивания
Огромный набор датасетов, которые вы можете скачать и начать пользоваться прямо сейчас.
📌Список
@machinelearning_ru
Огромный набор датасетов, которые вы можете скачать и начать пользоваться прямо сейчас.
📌Список
@machinelearning_ru
❤9👍2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Выпущен код DragGAN, который позволяет преобразовать изображения простым перетаскиванием.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤5👍5
Граф управления потоком (Control Flow Graph, CFG) – это граф, где узлы представляют базовые блоки кода, а ребра представляют переходы между ними. В статическом анализе кода, CFG может быть использован для обнаружения потенциальных проблем в коде. Например, CFG может помочь выявить «мертвый» код (код, который может быть исполнен, но результаты его вычислений не влияют на дальнейшую программу) или недостижимые части программы. CFG также может быть использован для оптимизации кода. Например, CFG может помочь выявить повторяющиеся участки кода, которые могут быть заменены на вызов функции. CFG используется во многих языках программирования, в том числе в C, C++, Java, Python и других. Они могут быть созданы вручную или автоматически с помощью инструментов, таких как библиотека
Staticfg на языке Python.Staticfg — это Python библиотека, которая позволяет создавать графы управления потоком, или простыми словами, схемы взаимодействия блоков кода. Использование staticfg может быть полезно для: исследования кода, разработки инструментов для статического анализа кода, анализа производительности кода, анализа безопасности кода. Она поддерживает большинство основных конструкций языка, таких как условные операторы, циклы и вызовы функций.
pip install staticfgStaticfg визуализирует граф с помощью Graphviz. Поэтому не забудьте его установить, и путь до него добавить в переменную среды. Это можно сделать следующим кодом:
import os
os.environ["PATH"] += os.pathsep + r'C:\Program Files (x86)\Graphviz2.38\bin'
Одним из примеров использования Staticfg может быть следующий код:
#импортируем нужный модуль
from staticfg import CFGBuilder
#создаем объект класса CFGBuilder
cfg = CFGBuilder().build_from_file('example','example.py')
#сохраняем визуализацию
cfg.build_visual('example','png')Этот код создаст граф потока управления для файла example.py и сохранит его в формате png с названием example.
На рисунке представлены граф тестовой программы (слева) и граф функции факториал (справа в прямоугольнике). Овалом выделены блоки кода, стрелками обозначено взаимодействие между ними, а маленьким прямоугольником выделена стандартная функция print, стрелка с прерывистой линией обозначает вызов стандартной функции.
Граф программы демонстрирует, что сначала объявляется функция
factorial, затем в цикле по i от 0 до 9 вызывается стандартная функция print, которая выводит пары: число i+1 и результат работы функции factorial, которой подается на вход число i+1.📌 Подробнее
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥3❤2
🔥 Google’s New AI: Next-Level Virtual Worlds!
https://www.youtube.com/watch?v=31oxj6mcsOM
https://jonbarron.info/zipnerf/
@machinelearning_ru
https://www.youtube.com/watch?v=31oxj6mcsOM
https://jonbarron.info/zipnerf/
@machinelearning_ru
YouTube
Google’s New AI: Next-Level Virtual Worlds!
❤️ Check out Weights & Biases and say hi in their community forum here: https://wandb.me/paperforum
📝 The paper "Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields" is available here:
https://jonbarron.info/zipnerf/
📝 The paper "PhotoMat: A Material…
📝 The paper "Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields" is available here:
https://jonbarron.info/zipnerf/
📝 The paper "PhotoMat: A Material…
👍4🔥2❤1
Коллекция полезных материалов по Data Science вместе со статьями, видео и кодом.
git clone https://github.com/khuyentran1401/Data-science
▪ Github
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍4❤1
Здесь собраны немногочисленных инструменты, приложения, датасеты, библиотеки, платформы и пакеты для визуализации данных.
▪308 постов
▪52 примера графиков
▪68 примеров с кодом
и многое другое
▪Смотреть
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤3🔥3
Исследователи из института Карнеги-Меллон, Google Research и Университета Джорджии представили модель MAGVIT (Masked Generative Video Transformer) для генерации видео.
MAGVIT - это единая модель, которая может улучшать частоту кадров видео, создавать кадры вне границ кадров, заполнять пропущенные участки видео и генерировать видео в соответствии с заданными условиями. MAGVIT показал значительное улучшение результатов по сравнению с последними достижениями на трех бенчмарках по генерации видео. В частности, на датасете Kinetics-600 MAGVIT улучшил результаты на 39%.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤3🔥1
Stable Diffusion: 8 New Amazing Results!
https://www.youtube.com/watch?v=DaLS4Baiqgk
@machinelearning_ru
https://www.youtube.com/watch?v=DaLS4Baiqgk
@machinelearning_ru
YouTube
Stable Diffusion: 8 New Amazing Results!
❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambdalabs.com/papers
📝 The paper "Diffusion Self-Guidance for Controllable Image Generation" is available here:
https://arxiv.org/abs/2306.00986
Try it out!
ControlNet - https://github.…
📝 The paper "Diffusion Self-Guidance for Controllable Image Generation" is available here:
https://arxiv.org/abs/2306.00986
Try it out!
ControlNet - https://github.…
❤4
🔗 CodeBert для автогенерации комментариев к коду
Код программ отличается от естественного языка из-за его формализма и строгости, однако ничто не мешает воспринимать его как последовательность токенов и работать с ним, как с обычным языком. Существуют исследования, которые показали, что модель BERT, обученная на большом наборе данных, неплохо справляется с некоторыми задачами, связанными с обработкой программного кода.
В этом посте я буду решать задачу автогенерации комментариев к нему. Вы узнаете, как подготовить данные для обучения, настроить нейросеть и получить результат.
Данные
Данные представлены в виде набора пар [функция — комментарий] для различных языков программирования (awesome Code Search Net Challenge dataset). Кстати говоря, этот набор изначально был создан не для этой задачи, однако его можно легко перепрофилировать под свои нужды.
Мы не будем очищать данные, это описано здесь. Мы же буду использовать уже предварительно обработанные данные в объеме 1 % от общего количества образцов в наборе, так как обучение модели занимает довольно много времени. Но, как можно будет убедиться в будущем, генерация комментариев даже на 1 % данных выглядит неплохо. Если у вас есть время и ресурсы, можете обучить модель на всём наборе и получить результаты получше.
▪ Читать
@machinelearning_ru
Код программ отличается от естественного языка из-за его формализма и строгости, однако ничто не мешает воспринимать его как последовательность токенов и работать с ним, как с обычным языком. Существуют исследования, которые показали, что модель BERT, обученная на большом наборе данных, неплохо справляется с некоторыми задачами, связанными с обработкой программного кода.
В этом посте я буду решать задачу автогенерации комментариев к нему. Вы узнаете, как подготовить данные для обучения, настроить нейросеть и получить результат.
Данные
Данные представлены в виде набора пар [функция — комментарий] для различных языков программирования (awesome Code Search Net Challenge dataset). Кстати говоря, этот набор изначально был создан не для этой задачи, однако его можно легко перепрофилировать под свои нужды.
Мы не будем очищать данные, это описано здесь. Мы же буду использовать уже предварительно обработанные данные в объеме 1 % от общего количества образцов в наборе, так как обучение модели занимает довольно много времени. Но, как можно будет убедиться в будущем, генерация комментариев даже на 1 % данных выглядит неплохо. Если у вас есть время и ресурсы, можете обучить модель на всём наборе и получить результаты получше.
▪ Читать
@machinelearning_ru
👍2❤1
📌 10 основных диаграмм для анализа данных
Я работаю аналитиком данных уже более десяти лет. На протяжении всего своего пути я пришел к выводу, что диаграммы играют решающую роль в понимании и эффективной передаче данных. Они способны раскрыть идеи, скрытые в сложных наборах данных, и представить их в визуально привлекательной форме.
Сегодня я хочу поделиться с вами десятью наиболее важными видами диаграмм для анализа данных. Это диаграммы, которые я использую чаще всего, и я считаю, что они являются строительными блоками для любого проекта анализа данных.
▪ Читать
@machinelearning_ru
Я работаю аналитиком данных уже более десяти лет. На протяжении всего своего пути я пришел к выводу, что диаграммы играют решающую роль в понимании и эффективной передаче данных. Они способны раскрыть идеи, скрытые в сложных наборах данных, и представить их в визуально привлекательной форме.
Сегодня я хочу поделиться с вами десятью наиболее важными видами диаграмм для анализа данных. Это диаграммы, которые я использую чаще всего, и я считаю, что они являются строительными блоками для любого проекта анализа данных.
▪ Читать
@machinelearning_ru
👍7🔥3❤1
Введение для Python-разработчиков в Prompt Engineering GPT-4
Это пошаговое руководство, использующее примеры, представляет собой введение в Prompt Engineering в этих трех областях.
Цель состоит в том, чтобы помочь вам понять, как эффективно управлять GPT-4 для достижения оптимальных результатов в процессе разработки Python.
▪ Читать
@machinelearning_ru
Это пошаговое руководство, использующее примеры, представляет собой введение в Prompt Engineering в этих трех областях.
Цель состоит в том, чтобы помочь вам понять, как эффективно управлять GPT-4 для достижения оптимальных результатов в процессе разработки Python.
▪ Читать
@machinelearning_ru
👍8🔥2❤1
Google’s New AI: Blurry Photos No More!
https://www.youtube.com/watch?v=3Hs-tyr4FFA
@machinelearning_ru
https://www.youtube.com/watch?v=3Hs-tyr4FFA
@machinelearning_ru
YouTube
Google’s New AI: Blurry Photos No More!
❤️ Check out the Gradient Dissent podcast by Weights & Biases: http://wandb.me/gd
📝 The paper "DC2: Dual-Camera Defocus Control by Learning to Refocus" is available here:
https://defocus-control.github.io/
The paper I am 🙌📜-ing in the intro:
https://u…
📝 The paper "DC2: Dual-Camera Defocus Control by Learning to Refocus" is available here:
https://defocus-control.github.io/
The paper I am 🙌📜-ing in the intro:
https://u…
👍5❤2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 NEURAL NETWORKS A VISUAL INTRODUCTION
Интерактивная визуализация нейросетей, которая представляет интерактивное устройство нейросети, где все элементы описываются простым и последовательным образом, включая структуру, вычислительные элементы, нейроны и слои.
Анимация в проекте на очень высоком уровне, а объяснения основных терминов, понятны любому.
https://mlu-explain.github.io/neural-networks/
@machinelearning_ru
Интерактивная визуализация нейросетей, которая представляет интерактивное устройство нейросети, где все элементы описываются простым и последовательным образом, включая структуру, вычислительные элементы, нейроны и слои.
Анимация в проекте на очень высоком уровне, а объяснения основных терминов, понятны любому.
https://mlu-explain.github.io/neural-networks/
@machinelearning_ru
👍7🔥5❤3
Пугающее противостояние: утечка данных в машинном обучении
Все знают общее значение утечки данных: ситуация, когда без разрешения или соблюдения мер безопасности передают конфиденциальную информацию третьим лицам. Попросту говоря, сливают. Но в машинном обучении при утечке информация из тестового датасета ошибочно попадает в обучающий.
Нашел на Хабре статью о том, какими могут быть подобные утечки и как с ними бороться. Спойлер – метода всего три: проверка вручную, пайплайны, перекрёстный контроль.
▪️ Читать
@machinelearning_ru
Все знают общее значение утечки данных: ситуация, когда без разрешения или соблюдения мер безопасности передают конфиденциальную информацию третьим лицам. Попросту говоря, сливают. Но в машинном обучении при утечке информация из тестового датасета ошибочно попадает в обучающий.
Нашел на Хабре статью о том, какими могут быть подобные утечки и как с ними бороться. Спойлер – метода всего три: проверка вручную, пайплайны, перекрёстный контроль.
▪️ Читать
@machinelearning_ru
👍4❤2🔥2
10 бесплатных курсов машинного обучения от лучших университетов
1. Introduction to Machine Learning - UC Berkeley
2. Introduction to Machine Learning - Carnegie Mellon University
3. Machine Learning - Stanford University
4. Machine Learning & Data Mining - Caltech
5. Learning from Data - Caltech
6. Machine Learning for Intelligent Systems - Cornell University
7. Large Scale Machine Learning - University of Toronto
8. Machine Learning with Large Datasets - Carnegie Mellon University
9. Foundations of Machine Learning and Statistical Inference - Caltech
10. Algorithmic Aspects of Machine Learning - MIT
@machinelearning_ru
1. Introduction to Machine Learning - UC Berkeley
2. Introduction to Machine Learning - Carnegie Mellon University
3. Machine Learning - Stanford University
4. Machine Learning & Data Mining - Caltech
5. Learning from Data - Caltech
6. Machine Learning for Intelligent Systems - Cornell University
7. Large Scale Machine Learning - University of Toronto
8. Machine Learning with Large Datasets - Carnegie Mellon University
9. Foundations of Machine Learning and Statistical Inference - Caltech
10. Algorithmic Aspects of Machine Learning - MIT
@machinelearning_ru
👍11🔥5❤1😁1
This media is not supported in your browser
VIEW IN TELEGRAM
SkyPilot - платформа для запуска LLM и ИИ в облаке.
• Задачи могут быть описаны в YAML или на Python и запущены в любом облаке. Инструкции для новой модели LLaMA 2 уже подготовлены авторами.
С помощью одной команды пользователи могут развернуть частного чат-бота LLaMA 2 со SkyPilot в своем облаке.
SkyPilot для LLaMA 2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥2❤1
Собрание бесплатных курсов по Python и машинному обучению.
1. Основы Python для анализа данных — программирование на Python.
2. Ускоренный курс по машинному обучению — видеолекции от исследователей Google содержат основы машинного обучения.
3. Основы R — как обрабатывать, анализировать и визуализировать данные.
4. Введение в Data Science и аналитику — все основы Data Science и Data Science Life Cycle.
5. Линейная регрессия — как применять R для осуществления линейной регрессии, одного из популярных методов статистического моделирования.
6. Визуализация — принципы визуализации данных и применение ggplot2 для них вкратце.
7. Введение CS50 в программирование на Python, май 2023 г.
8. Python для всех: Getting Started with Python - предлагаемый на Coursera, этот курс для начинающих знакомит с программированием на Python через пошаговые учебные пособия и практические упражнения. Курс ведет известный преподаватель доктор Чарльз Северанс.
@machinelearning_ru
1. Основы Python для анализа данных — программирование на Python.
2. Ускоренный курс по машинному обучению — видеолекции от исследователей Google содержат основы машинного обучения.
3. Основы R — как обрабатывать, анализировать и визуализировать данные.
4. Введение в Data Science и аналитику — все основы Data Science и Data Science Life Cycle.
5. Линейная регрессия — как применять R для осуществления линейной регрессии, одного из популярных методов статистического моделирования.
6. Визуализация — принципы визуализации данных и применение ggplot2 для них вкратце.
7. Введение CS50 в программирование на Python, май 2023 г.
8. Python для всех: Getting Started with Python - предлагаемый на Coursera, этот курс для начинающих знакомит с программированием на Python через пошаговые учебные пособия и практические упражнения. Курс ведет известный преподаватель доктор Чарльз Северанс.
@machinelearning_ru
❤9👍4🔥2