StackOverflow: интересные вопросы за неделю (ccxxvii)
http://python-weekly.blogspot.com/2020/05/ccxxvii-stackoverflow-python-report.html
http://python-weekly.blogspot.com/2020/05/ccxxvii-stackoverflow-python-report.html
Groupby aggregation в pandas
https://habr.com/ru/post/501214/?utm_campaign=501214&utm_source=habrahabr&utm_medium=rss
Агрегация является одной из самых частых операций при анализе данных. Разные технологии предлагают нам кучу способов эффективно группировать и агрегировать интересующие нас поля(столбцы, признаки). В этой статье будет рассказано про реализацию агрегации в pandas.
По своей специализации я очень мало работаю с python, но часто слышу про плюсы и мощь этого языка, в особенности когда речь заходит про работу с данными. Поэтому я проведу здесь параллель операций с T-SQL и приведу некотрые примеры кода. В качестве данных я буду использовать наверное самый популярный data set — Ирисы Фишера (https://archive.ics.uci.edu/ml/datasets/Iris).
https://habr.com/ru/post/501214/?utm_campaign=501214&utm_source=habrahabr&utm_medium=rss
Агрегация является одной из самых частых операций при анализе данных. Разные технологии предлагают нам кучу способов эффективно группировать и агрегировать интересующие нас поля(столбцы, признаки). В этой статье будет рассказано про реализацию агрегации в pandas.
По своей специализации я очень мало работаю с python, но часто слышу про плюсы и мощь этого языка, в особенности когда речь заходит про работу с данными. Поэтому я проведу здесь параллель операций с T-SQL и приведу некотрые примеры кода. В качестве данных я буду использовать наверное самый популярный data set — Ирисы Фишера (https://archive.ics.uci.edu/ml/datasets/Iris).
Домашний кластер на Dask
https://habr.com/ru/post/499086/?utm_campaign=499086&utm_source=habrahabr&utm_medium=rss
Я недавно проводил исследование, в рамках которого было необходимо обработать несколько сотен тысяч наборов входных данных. Для каждого набора — провести некоторые расчеты, результаты всех расчетов собрать вместе и выбрать "лучший" по некоторым критериям. По сути это bruteforce перебор. Тоже самое происходит при подборе параметров ML моделей с помощью GridSearch.
Однако, с некоторого момента размер вычислений может стать для одного компьютера великоват, даже если запускать ее в несколько процессов с помощью joblib. Или, если сказать точнее, он становится слишком долгим для нетерпеливого экспериментатора.
https://habr.com/ru/post/499086/?utm_campaign=499086&utm_source=habrahabr&utm_medium=rss
Я недавно проводил исследование, в рамках которого было необходимо обработать несколько сотен тысяч наборов входных данных. Для каждого набора — провести некоторые расчеты, результаты всех расчетов собрать вместе и выбрать "лучший" по некоторым критериям. По сути это bruteforce перебор. Тоже самое происходит при подборе параметров ML моделей с помощью GridSearch.
Однако, с некоторого момента размер вычислений может стать для одного компьютера великоват, даже если запускать ее в несколько процессов с помощью joblib. Или, если сказать точнее, он становится слишком долгим для нетерпеливого экспериментатора.
Пишем Pandas конструкции эквивалентные SQL
https://towardsdatascience.com/introduction-to-pandas-equivalents-of-various-sql-queries-448fb57dd9b9
https://towardsdatascience.com/introduction-to-pandas-equivalents-of-various-sql-queries-448fb57dd9b9
Apple TimeCapsule/AirPort Extreme. Root доступ и побег из привязанного региона
https://habr.com/ru/post/501404/?utm_campaign=501404&utm_source=habrahabr&utm_medium=rss
Наверняка многие владельцы сетевых устройств Apple, которые читают эту статью, таких как TimeCapsule или Airport Extreme, рано или поздно задумывались почему у купленных в России устройств нет поддержки beamforming (https://en.wikipedia.org/wiki/Beamforming) и максимальная ширина канала 40МГц? И как следствие максимальная скорость приема и передачи данных – 600 Мбит/с (вместо заявленных 1300 Мбит/с).
https://habr.com/ru/post/501404/?utm_campaign=501404&utm_source=habrahabr&utm_medium=rss
Наверняка многие владельцы сетевых устройств Apple, которые читают эту статью, таких как TimeCapsule или Airport Extreme, рано или поздно задумывались почему у купленных в России устройств нет поддержки beamforming (https://en.wikipedia.org/wiki/Beamforming) и максимальная ширина канала 40МГц? И как следствие максимальная скорость приема и передачи данных – 600 Мбит/с (вместо заявленных 1300 Мбит/с).
Настройка Debian, Nginx и Gunicorn для Django проекта
https://habr.com/ru/post/501414/?utm_campaign=501414&utm_source=habrahabr&utm_medium=rss
Была задача поднять свой Debian сервер на Nginx для проектов Django 3.х. Перерыв кучу информации в интернете, удалось это сделать соединив рекомендации с нескольких разных сайтов. Если вам интересно почитать, как настроить свой первый сервер для Django-проекта, то — добро пожаловать.
https://habr.com/ru/post/501414/?utm_campaign=501414&utm_source=habrahabr&utm_medium=rss
Была задача поднять свой Debian сервер на Nginx для проектов Django 3.х. Перерыв кучу информации в интернете, удалось это сделать соединив рекомендации с нескольких разных сайтов. Если вам интересно почитать, как настроить свой первый сервер для Django-проекта, то — добро пожаловать.
Podcast.__init__: Managing Distributed Teams In The Age Of Remote Work
https://www.pythonpodcast.com/sourcegraph-remote-work-episode-262/
Audio
https://www.pythonpodcast.com/sourcegraph-remote-work-episode-262/
Audio
Визуализация сетевых топологий, или зачем еще сетевому инженеру Python #2
https://habr.com/ru/post/501164/?utm_campaign=501164&utm_source=habrahabr&utm_medium=rss
Эта статья написана по мотивам решения задания на недавно прошедшем онлайн-марафоне DevNet (https://rrc.ru/events/onlajn-devnet-marafon-ot-cisco) от Cisco. Участникам предлагалось автоматизировать анализ и визуализацию произвольной сетевой топологии и, опционально, происходящих в ней изменений.
Задача является не самой тривиальной, и в блогосфере встречается довольно мало статей на эту тему. Ниже представляю разбор собственной реализации, а также описание используемых инструментов и подходов.
https://habr.com/ru/post/501164/?utm_campaign=501164&utm_source=habrahabr&utm_medium=rss
Эта статья написана по мотивам решения задания на недавно прошедшем онлайн-марафоне DevNet (https://rrc.ru/events/onlajn-devnet-marafon-ot-cisco) от Cisco. Участникам предлагалось автоматизировать анализ и визуализацию произвольной сетевой топологии и, опционально, происходящих в ней изменений.
Задача является не самой тривиальной, и в блогосфере встречается довольно мало статей на эту тему. Ниже представляю разбор собственной реализации, а также описание используемых инструментов и подходов.
Повторяем когортный анализ, выполненный в Power BI, силами Python
https://habr.com/ru/post/501492/?utm_campaign=501492&utm_source=habrahabr&utm_medium=rss
Поводом для написания данной публикации послужил вебинар, который я посмотрел на Youtube. Он был посвящен когортному анализу продаж. Автор использовал для работы с данными платформу Power BI Desktop. Ссылку на указанное видео приводить не буду, чтобы эта статья не была расценена как реклама, но по ходу повествования постараюсь делать спойлеры к первоисточнику, чтобы лучше объяснять логику собственного решения. Данный вебинар натолкнул меня на идею, что интересно было бы повторить возможности формул DAХ функциями библиотеки Pandas.
https://habr.com/ru/post/501492/?utm_campaign=501492&utm_source=habrahabr&utm_medium=rss
Поводом для написания данной публикации послужил вебинар, который я посмотрел на Youtube. Он был посвящен когортному анализу продаж. Автор использовал для работы с данными платформу Power BI Desktop. Ссылку на указанное видео приводить не буду, чтобы эта статья не была расценена как реклама, но по ходу повествования постараюсь делать спойлеры к первоисточнику, чтобы лучше объяснять логику собственного решения. Данный вебинар натолкнул меня на идею, что интересно было бы повторить возможности формул DAХ функциями библиотеки Pandas.
MASK-RCNN для поиска крыш по снимкам с беспилотников
https://habr.com/ru/post/500752/?utm_campaign=500752&utm_source=habrahabr&utm_medium=rss
Все чаще можно слышать про планы правительства провести полную инвентаризацию объектов недвижимости с целью уточнения кадастровых данных. Для первичного решения этой задачи можно применить простой способ, основанный на расчете площади крыш капитальных строений по аэрофотоснимкам и дальнейшее сопоставление с кадастровыми данными. К сожалению, ручной поиск и расчет занимает много времени, а поскольку новые дома сносятся и строятся непрерывно, то расчет требуется повторять снова и снова. Сразу возникает гипотеза, что этот процесс можно автоматизировать с помощью алгоритмов машинного обучения, в частности, Computer Vision. В этой статье я расскажу о том, как мы в «НОРБИТ» (https://www.norbit.ru/) решали эту задачу и с какими сложностями столкнулись.
https://habr.com/ru/post/500752/?utm_campaign=500752&utm_source=habrahabr&utm_medium=rss
Все чаще можно слышать про планы правительства провести полную инвентаризацию объектов недвижимости с целью уточнения кадастровых данных. Для первичного решения этой задачи можно применить простой способ, основанный на расчете площади крыш капитальных строений по аэрофотоснимкам и дальнейшее сопоставление с кадастровыми данными. К сожалению, ручной поиск и расчет занимает много времени, а поскольку новые дома сносятся и строятся непрерывно, то расчет требуется повторять снова и снова. Сразу возникает гипотеза, что этот процесс можно автоматизировать с помощью алгоритмов машинного обучения, в частности, Computer Vision. В этой статье я расскажу о том, как мы в «НОРБИТ» (https://www.norbit.ru/) решали эту задачу и с какими сложностями столкнулись.
Внутри виртуальной машины Python. Часть 1
https://habr.com/ru/post/501338/?utm_campaign=501338&utm_source=habrahabr&utm_medium=rss
Я решил наконец-то разобраться, как работает интерпретатор Python. Для этого стал изучать одну статью-книгу и задумал заодно перевести её на русский язык. Дело в том, что переводы не дают тебе пропустить непонятное предложение и качество усвоения материала увеличивается). Заранее прошу извинить меня за возможные неточности. Я всегда стараюсь переводить максимально правильно, но одна из главных проблем: упоминание некоторых терминов в русском эквиваленте просто отсутствует.
https://habr.com/ru/post/501338/?utm_campaign=501338&utm_source=habrahabr&utm_medium=rss
Я решил наконец-то разобраться, как работает интерпретатор Python. Для этого стал изучать одну статью-книгу и задумал заодно перевести её на русский язык. Дело в том, что переводы не дают тебе пропустить непонятное предложение и качество усвоения материала увеличивается). Заранее прошу извинить меня за возможные неточности. Я всегда стараюсь переводить максимально правильно, но одна из главных проблем: упоминание некоторых терминов в русском эквиваленте просто отсутствует.
Talk Python to Me: #264 10 tips every Flask developer should know
https://talkpython.fm/episodes/show/264/10-tips-every-flask-developer-should-know
Audio
https://talkpython.fm/episodes/show/264/10-tips-every-flask-developer-should-know
Audio
Visual Studio Code – May 2020 Release
https://devblogs.microsoft.com/python/python-in-visual-studio-code-may-2020-release/
https://devblogs.microsoft.com/python/python-in-visual-studio-code-may-2020-release/
Мобильный eye-tracking на PyTorch
https://habr.com/ru/post/501412/?utm_campaign=501412&utm_source=habrahabr&utm_medium=rss
Рынок eye-tracking'а, как ожидается, будет расти и расти: с $560 млн в 2020 до $1,786 млрд в 2025 (https://www.marketsandmarkets.com/Market-Reports/eye-tracking-market-144268378.html). Так какая есть альтернатива относительно дорогим устройствам? Конечно, простая вебка! Как и другие, этот подход встречает много сложностей, будь то: большое разнообразие устройств (следовательно, сложно подобрать настройки, которые будут работать на всех камерах одинаково), сильная вариативность параметров (от освещения до наклона камеры и ее положения относительно лица), порядочные вычислительные мощности (несколько cuda-ядер и Xeon — самое то)...
https://habr.com/ru/post/501412/?utm_campaign=501412&utm_source=habrahabr&utm_medium=rss
Рынок eye-tracking'а, как ожидается, будет расти и расти: с $560 млн в 2020 до $1,786 млрд в 2025 (https://www.marketsandmarkets.com/Market-Reports/eye-tracking-market-144268378.html). Так какая есть альтернатива относительно дорогим устройствам? Конечно, простая вебка! Как и другие, этот подход встречает много сложностей, будь то: большое разнообразие устройств (следовательно, сложно подобрать настройки, которые будут работать на всех камерах одинаково), сильная вариативность параметров (от освещения до наклона камеры и ее положения относительно лица), порядочные вычислительные мощности (несколько cuda-ядер и Xeon — самое то)...
Alembic migrations autogeneration
https://medium.com/@art.vasilyev/alembic-migrations-autogeneration-1696f0cade22?source=friends_link&sk=2f7c39a78b47a3b99dc8129a8e44e8dc
Django-like migrations autogeneration in Alembic
https://medium.com/@art.vasilyev/alembic-migrations-autogeneration-1696f0cade22?source=friends_link&sk=2f7c39a78b47a3b99dc8129a8e44e8dc
Django-like migrations autogeneration in Alembic
Пилим веб-опросник как у Meduza: пошаговый гайд для начинающих
https://habr.com/ru/post/501570/?utm_campaign=501570&utm_source=habrahabr&utm_medium=rss
Меня зовут Егор, я Full-stack разработчик в Leader-ID. В этой статье я хочу поделиться простым рецептом по созданию красивого и удобного веб-опросника наподобие тех, что делает Meduza. Он умеет показывать статистику после ответа на отдельные вопросы, подсчитывать общий балл, выдавать комментарии, выгружать данные для анализа и шарить результаты в соцсети. Для реализации этой задачи я выбрал Django, DRF, Python и базу данных PostgreSQL.
https://habr.com/ru/post/501570/?utm_campaign=501570&utm_source=habrahabr&utm_medium=rss
Меня зовут Егор, я Full-stack разработчик в Leader-ID. В этой статье я хочу поделиться простым рецептом по созданию красивого и удобного веб-опросника наподобие тех, что делает Meduza. Он умеет показывать статистику после ответа на отдельные вопросы, подсчитывать общий балл, выдавать комментарии, выгружать данные для анализа и шарить результаты в соцсети. Для реализации этой задачи я выбрал Django, DRF, Python и базу данных PostgreSQL.
Пагинация для телеграм бота на Python
https://habr.com/ru/post/501812/?utm_campaign=501812&utm_source=habrahabr&utm_medium=rss
Недавно встала передо мной задача сделать пагинацию списка элементов в телеграм боте. И с удивлением обнаружила, что для такой, казалось бы типовой задачи в PyPi нет ни одной библиотеки. Поэтому решено было исправить это досадное упущение и опубликовать свою реализацию.
https://habr.com/ru/post/501812/?utm_campaign=501812&utm_source=habrahabr&utm_medium=rss
Недавно встала передо мной задача сделать пагинацию списка элементов в телеграм боте. И с удивлением обнаружила, что для такой, казалось бы типовой задачи в PyPi нет ни одной библиотеки. Поэтому решено было исправить это досадное упущение и опубликовать свою реализацию.