​​Бесплатный онлайн курс от ЕУ Спб "Введение в пространственный анализ и моделирование в R"

Передаю слово организаторам, в лице Дмитрия Серебренникова.

———————————————
Друзья, после майских в рамках наших митапов мы решили организовать целый мини-курс по введению в пространственный анализ и моделированию в R!
По многочисленным просьбам мы также делаем его с онлайн трансляциями.

Итак, расписание:

📍 14 мая (оффлайн вместе с трансляцией)
Дмитрий Серебренников (ИПП ЕУ СПб) сделает введение в тему пространственного анализа и расскажет о специфике используемых данных, а также базовых операциях с библиотекой sf.

Материалы: Видео + конспект

📍21 мая (оффлайн вместе с трансляцией)
Преподаватель совместной программы ЕУ СПб и Яндекса ПАНДАН Карен Валитов более подробно остановится на разнообразных пространственных операциях, применяемых при подготовки данных для анализа.

Материалы: Видео + конспект

📍28 мая (только онлайн)
Аспирант ЕУ СПб Павел Сивохин начнёт тему пространственного моделирования. Павел расскажет о таких моделях как spatial autocorrelation, spatial lag model, spatial error model и, если будет хватать времени, spatial random forest.

Материалы: Видео

📍4 июня (только онлайн)
Преподаватель Факультета городского и регионального развития ВШЭ Егор Котов продолжит тему пространственного моделирования с темами spatial lag/autoregressive model, spatial error model и расскажет про пакеты spdep, spatialreg, rgeoda.

Материалы: Видео

...

Первый митап уже в эту субботу!
Шпалерная 1 (здание ЕУСПб), 212 аудитория.
14 мая в 18:00
Ссылку пришлём в чате не за долго до начала мероприятия.

До встречи!
———————————————

Ссылки на онлайн трансляции будут публиковать в чате Горячая линия R, и по возможности я буду дублировать их в канал.

#курсы_по_R

​​ЕУ Спб "Введение в пространственный анализ и моделирование в R"

Начало: 14.05.2022 18:00

Лекция 1:

Дмитрий Серебренников (ИПП ЕУ СПб) сделает введение в тему пространственного анализа и расскажет о специфике используемых данных, а также базовых операциях с библиотекой sf.

Видео + конспект

#курсы_по_R

​​Видео первой лекции курса "Введение в пространственный анализ и моделирование в R"

Автор: Дмитрий Серебренников

Описание:
Дмитрий Серебренников (ИПП ЕУ СПб) сделает введение в тему пространственного анализа и расскажет о специфике используемых данных, а также базовых операциях с библиотекой sf.

План лекции:
● Типы пространственных данных;
● Особенности геоданных;
● R и пространственный анализ;
● Практика - находим геоданные разных форматов и учимся с ними работать;
● Бонус
● Что можно почитать и посмотреть по теме.

Ссылки:
- Видео + конспект лекции
- Информация о курсе

#курсы_по_R

​​Главная ценность сегодня – это информация, и если вы хотите стать специалистом по обработке и анализу данных, без SQL не обойтись.

Этот простой и выразительный язык запросов поддерживается всеми современными базами данных, инструментами анализа и программирования.

Когда вы начнёте использовать SQL для анализа данных, то поймёте, что он хорош для одного, а язык R для другого.

И чтобы лучше разобраться в возможностях SQL , подписывайтесь на канал Базы данных и SQL, где вы найдете:
▪️ интересные статьи;
▪️ обучающие материалы;
▪️ профессиональную литературу;
▪️ шпаргалки;
▪️ новости

А если вы хотите чуть больше узнать о жизненном цикле разработки ПО и какое место в нем занимают аналитики, заглядывайте на канал Заметки Аналитика.

-----

​​Как исправить перекрывающие друг друга текстовые метки в ggplot2

Пакет ggrepel позволяет вам избежать перекрытия текстовых меток на графиках при работе с ggplot2. При использовании слоёв ggrepl тестовые метки отталкиваются друг от друга, от точек данных и от краев области построения.

Пакет предоставляет вам дополнительно 2 слоя:

● geom_text_repel() - распределяет текстовые метки так, что бы они не накладывались друг на друга, и не выходили за пределы графика.
● geom_label_repel() - помещает текстовые метки в прямоугольники, повышая их читаемость, и следит за их расположением аналогично geom_text_repel().

Следующий пример хорошо иллюстрирует разницу между обычным geom_text() и geom_text_repel().

 
library(ggrepel)
set.seed(42)

dat <- subset(mtcars, wt > 2.75 & wt < 3.45)
dat$car <- rownames(dat)

p <- ggplot(dat, aes(wt, mpg, label = car)) +
  geom_point(color = "red")

p1 <- p + geom_text() + labs(title = "geom_text()")

p2 <- p + geom_text_repel() + labs(title = "geom_text_repel()")

gridExtra::grid.arrange(p1, p2, ncol = 2)

Предоставляемые пакетом ggrepel слои под капотом основаны на встроенных в ggplot2 geom_text и geom_label. Но были доработаны таким образом, что бы при изменении масштаба графика, положение меток так же изменялось.

Ссылки:
- пример кода взят из официальной документации ggrepel

Смотрите другие посты по теме:
- Обращаемся к ggplot2 на естественном языке
- Как добавить ярлыки данных в ggplot2

#заметки_по_R

Ускоряем dplyr: бекенды dtplyr, dbplyr и multidplyr

dplyr один из наиболее популярных пакетов для языка R, основным преимуществом которого является удобочитаемый и понятный синтаксис.

Из недостатков данного пакета можно отметить, что при работе с данными большого объёма он значительно уступает в скорости вычислений например data.table.

В этом видео мы разберёмся как можно ускорить вычисления на dplyr, за счёт бекендов dtplyr и multidplyr, а так же узнаем о том, как и зачем можно использовать бекенд dbplyr, предназначенный для работы с базами данных с использованием синтаксиса dplyr.

Тайм коды:
00:00 Вступление
00:59 Какие бекенды мы рассмотрим
01:48 Цель dtplyr
02:30 Синтаксис dtplyr
03:33 Пример работы с dtplyr
05:38 Как осуществляется перевод глаголов dplyr в синтаксис data.table
07:51 Функция show_query()
11:27 Почему dtplyr медленнее чем data,table
13:24 Цель dbplyr
13:40 Синтаксис dbplyr
14:37 Пример работы с dbplyr
16:54 Перевод dplyr глаголов в SQL запросы
17:53 Как реализованы подзапросы в dbplyr
18:25 Перевод неизвестных R функций и инфиксных операторов в SQL запрос
19:48 Проброс SQL команд в запросы
20:15 Как происходит перевод функций внутри dplyr глаголов в SQL запросы, функция translate_sql()
21:26 Введение в multidplyr
22:17 Варианты применения multidplyr
22:50 Пример работы с multidplyr
28:24 Какой пакет использовать dtplyr или multidplyr
29:27 Заключение

Ссылка на конспект к уроку + видео.

Подписывайтесь также на YouTube канал!

Смотрите другие посты по теме:
- Программирование с dplyr
- Видео курс "Введение в dplyr 1.0.0"

#видео_уроки_по_R

​​Визуализируй это: визуализация данных в R

Автор: Балтыжакова Татьяна

Материалы с воркшопа. По сути это шикарная шпаргалка по работе с ggplot2, и построению всех основных типов графиков с его помощью, очень рекомендую закинуть в закладки.

Содержание:
● Основные понятия и философия пакета
● Виды графиков
● Диаграмма рассеяния (scatter plot)
● Пузырьковая диаграмма (bubble plot)
● Столбчатая диаграмма (bar plot)
● Столбчатая диаграмма с накоплением
● Сгруппированная столбчатая диаграмма
● Lolipop chart
● Графики распределения
● Гистограмма (histogram)
● График плотности распределения (density plot)
● Ящик с усами и его вариации
● Линейный график (line graph)
● График области (area graph)
● Потоковый график
● Тепловая карта (heatmap)
● Матрица корреляции

#статьи_по_R

​​Вторая лекция бесплатного онлайн курс от ЕУ Спб "Введение в пространственный анализ и моделирование в R"

Друзья, вторая лекция курса пройдёт сегодня 20.05.2022 в 18:00.

Передаю слово организаторам:

На второй встрече мы будем разбираться с основными видами операций с пространственными данными в библиотеке sf и узнаем, как подготавливать геоданные для моделирования.

Спикер: Карен Валитов (преподаватель совместной программы ЕУ СПб и Яндекса ПАНДАН)

Время и место:
Шпалерная 1 (здание ЕУСПб), 212 аудитория.
21 мая в 18:00
Во время встречи также будет вестись зум-трансляция. Ссылка:
https://us02web.zoom.us/j/81529793127?pwd=_IYNX_DE1sXF3keQ0HKpIhZt_H0XU8.1

#курсы_по_R

​​Основы работы с языком R

Автор: Артём Голубничий

- Основы языка
- Основные функции
- Типы данных
- Основы рабочего окружения

#видео_уроки_по_R

Рекомендую канал датасаентиста Рената Алимбекова. Ренат пишет про карьеру, применение и обучение data science.

Крутые посты:
- О полезных инструментах в Python, например, о том, как выбрать логгер.
- О новых библиотеках: например, для анализа тональности текстов на русском или для поиска дубликатов в наборе картинок.
- О новостях data science , например, в computer vision.
- Даёт советы начинающим.

Хотите быть в курсе? Подписывайтесь на Пристанище Дата Саентиста.

​​Видео урок "Рисуем график GGPLOT2"

Автор: Илья Быков

40 минутный вводный урок, рассчитан на новичков, которые хотят ознакомится с основами построения визуализации на языке R с помощью пакета ggplot2.

#видео_уроки_по_R

​​Курс "Язык R для интернет маркетинга" теперь в открытом доступе

Друзья, одной из целей, которые я преследовал запуская этот канал было продвижение моего курса "Язык для интернет маркетинга".

Курс был записан в 2018 году, и с тех пор продавался на платформе NeedForData. С момента старта продаж курс неоднократно дорабатывался и расширялся, тем не менее частично он утратил актуальность. Но он по прежнему будет полезен веб аналитикам и интернет маркетологам для автоматизации своих рутинных, ежедневных задач с помощью языка R.

За идею записи курса отдельная благодарность Максу Уварову (@Maxim_Uvarov)!

Курс не требует от вас наличия навыков программирования, и рассчитан на новичков.

Из программы курса я ничего не убирал, опубликовал на канале как есть.

————————————————————
Модуль 1. Основы и введение в синтаксис
1. История, возможности, преимущества и недостатки языка R.
2. Загрузка и установка языка R и среды разработки RStudio.
3. Области применения R скриптов в Power BI.
4. Применение пользовательских параметров Power BI в R скриптах
5. Знакомство со средой разработки RStudio.
6. Основные данных в R
7. Работа со строками
8. Чтение csv, json, excel файлов
9. Агрегирующие функции, пакеты data,table и tidyr
10. Манипуляция данными в R с помощью SQL запросов, пакет sqldf
11. Работа с датой и временем в базовом R и с помощью lubridate
12. Работа с периодами с помощью пакета timeperiodsR
13. Условные конструкции, циклы и функции в языке R
14. Обработка ошибок
15. Рекомендации по оформлению кода

Модуль 2. Работа с API рекламных систем
1. Что такое API
2. Насколько безопасно использовать пакеты для работы с API
3. Google AdWords API
4. Яндекс Директ API
5. Facebook Marketing API
6. API Вконтакте
7. MyTarget API
8. Google Analytics API (пакет RGA)
9. Google Analytics API (пакет googleAnalyticsR)
10. API Яндекс Метрики
11. Google Search Console API
12. Google Trends API
13. YouTube API
14. Парсинг сайтов (веб скрепинг)
15. Отправка HTTP запросов

Модуль 3. Работа с собранными данными
1. Google Spreadsheets API
2. Визуализация с помощью ggplot2
3. Работа с базами данных
4. Рассылка почты с помощью mailR
5. Настройка расписания запуска R скриптов
6. Разработка telegram ботов

————————————————————
Ссылки:
● Плейлист со всеми видео уроками
● Конспект + видео уроки + материалы (требуется регистрация, бесплатная)
● Репозиторий с материалами

#курсы_по_R

​​Курс "Введение в пространственный анализ и моделирование в R" от ЕУ Спб. Запись второй лекции и анонс третей.

Запись прошлой лекции "Пространственные операции, применяемые при подготовки данных для анализа", вместе с конспектом доступна по ссылке.

План второй лекции:

1. Работа с геометриями
2. Система координат для городов
3. Геометрические операции
4. Пространственные операции
5. Пространственные соотношения
6. Пространственные преобразования
7. Сетки и симуляция карт плотности показателя

———————————
Анонс третей лекции:

В эту субботу мы продолжим разбираться с этой темой и наконец-то перейдём к различным пространственным моделям. Аспирант ЕУ СПб Павел Сивохин расскажет о таких моделях как spatial autocorrelation, spatial lag model, spatial error model и, если будет хватать времени, spatial random forest.

Митап будет оффлайн с онлайн трансляцией (но лучше приходить очно, если вы можете).

Шпалерная 1 (здание ЕУСПб), 212 аудитория.
28 мая в 18:00
Ссылка на трансляции:
https://us02web.zoom.us/j/81529793127?pwd=_IYNX_DE1sXF3keQ0HKpIhZt_H0XU8.1

Смотрите так же:
- Анонс курса "Введение в пространственный анализ и моделирование в R"
- Запись первой лекции

#курсы_по_R

​​Вакансия "Senior Web & Data Analyst" в Netpeak Group

Формат работы: Удалёнка

Друзья, не смотря на сложное время в данный момент одна из компаний Netpeak Group, холдинг в котором я работаю с 2014 года, находится в поисках аналитика. В данном случае речь идёт о продуктовой компании Netpeak Software, которая поддерживает и продвигает такие SEO продукты как Netpeak Spider (для поиска SEO-ошибок на сайте) и Netpeak Checker (для сбора данных с топовых SEO-сервисов и результатов поисковой выдачи).

Требования:
1. Уверенные знания SQL.
2. Глубокое понимание монетизации и UX-аналитики.
3. Расширенные навыки работы с Google Analytics API и пользовательскими отчетами.
4. Опыт внедрения системы сбора данных через GTM в Google Analytics.
5. Базовые знания HTML, CSS, JS/jQuery.
6. Понимание маркетинговой атрибуции и опыт работы с данными для маркетинговых команд.
7. Опыт работы с веб-аналитикой и отслеживанием событий через Google Tag Manager.
8. Опыт настройки и сбора инсайдов с A/B тестов.
9. Организованность и способность выполнять практическую работу и анализ с минимальным контролем и хорошо работать с персоналом любого уровня.

По всем вопросам можно обращаться к @ab_beast.

Подробно ознакомится с вакансией, и заполнить анкету можно по ссылке.

#вакансия

​​Воссоздаём табло результатов Евровидения 2022 с помощью ggplot2

Georgios Karamanis воссоздал практически точную копию табло Евровидения 2022 в рамках TidyTuesday.

Ниже краткое пошаговое описание того, как он это сделал от первого лица.

1. Расставить позиции, флаги, названия стран и очки было довольно просто. Я использовал ggimage для флагов после получения кодов iso2c из названий стран с помощью countrycode.

2. Для заполнения полосы позади каждой страны градиентной заливкой был создан прямоугольник с помощью grid, функция linearGradient() была использована для заливки. Затем с помощью функцию geom_grob() из ggpp был изменён размер прямоугольников.

3. Подсветка фона была сделана с помощью круга, на этот раз заполненного с помощью radiusGradient(). Я снова использовал функцию geom_grob(), чтобы поместить их в две разные позиции с разными размерами.

4. Последнее, что я хотел исправить, это флаги Швейцарии и Бельгии, выбивающиеся из фоновых полос. Я думал изменить соотношение сторон или размер этих двух флагов в geom_image(), но это либо исказило бы их, либо сделало бы их слишком маленькими. Поэтому я решил замаскировать флаги. Используя для этого with_mask() из ggfx.

Результат работы вы видите на изображении к этому посту.

Ссылки:
- Код для построение табло на GitHub.
- Репозиторий с кодом и изображением
- Статья на блоге автора с пошаговым описание (использовалось в посте)
- Ссылка на твит автора, так же с пошаговым описанием построения.
- Описание задания TidyTuesday

#заметки_по_R

​​Решение конфликта имён функций между пакетами

Не редко вы можете столкнуться с ситуацией, когда в используемых вами пакетах присутствуют функции с одинаковым именем. При подключении пакетов, по умолчанию R отдаёт преимущество функции, экспортируемой из пакета, который был подключён последним. Например если вы подключили два пакета, сначала pack1, потом pack2, и в обоих присутствует функция fun(), то в ходе сеанса fun() будет использовать из pack2, т.к. он был подключён последним.

Такое поведение логично, но не всегда удобно. поэтому есть несколько способов управлять политикой приоритетности функций между пакетами, сейчас мы рассмотрим несколько таких вариантов.

Пакет conflicted позволяет установить приоритет с помощью функции conflict_prefer():

 
library(conflicted)
library(dplyr)
conflict_prefer("filter", "dplyr")

Посмотреть существующие конфликты текущей сессии можно так:

 
conflict_scout()
#> 2 conflicts:
#> * `filter`: [dplyr]
#> * `lag`   : dplyr, stats

Более гибкую возможность управления конфликтами предоставляет пакет modules, он создаёт отдельное окружение под каждый пакет, этот подход очень похож на то, как происходит импорт пакетов в python:

 
dplyr <- modules::import_package('dplyr')
dplyr$filter(mtcars, cyl == 8)

Пакет import ожидает, что вы явно присвоите новые имена конфликтным функциям:

 
import::from(dplyr, select, arrange, dplyr_filter = filter)
dplyr_filter(mtcars, cyl == 8)

В базовом синтаксисе для управление приоритетами можно использовать опцию conflicts.policy или функцию conflictRules():

 
options(conflicts.policy =
            list(error = TRUE,
                 generics.ok = TRUE,
                 can.mask = c("base", "methods", "utils",
                              "grDevices", "graphics",
                              "stats"),
                 depends.ok = TRUE))

Где:
● error - Если TRUE, то конфликты приводят к ошибкам;
● generics.ok - Если установлено, то определяет, считается ли маскирование обобщённых (дженерик) функций S4 конфликтом. По умолчанию - FALSE, строгая проверка - TRUE;
● can.mask - Вектор имен пакетов, которые разрешено маскировать без возникновения ошибки;
● depends.ok - Если TRUE, то разрешить все конфликты, возникающие при загрузке пакета;
● warn - Устанавливает значение по умолчанию для аргумента warn.conflicts в library() и require().

#заметки_по_R

​​Бесплатный матер-класс "Автоматизация создания отчётов в R"

Спикер: Кораблин Александр Игоревич

Дата и время: 09.06.2022 (18:30 — 19:15) онлайн

С чем вы познакомитесь
На мастер-классе вы разберете на конкретном примере, как автоматизировать создание отчетов в R. Преподаватель покажет несколько способов создания отчетов.

Почему это важно?
Язык программирования R - популярный скриптовый язык программирования, который стал мощным инструментом статистического анализа данных. С его помощью можно выполнять визуализацию данных и результатов анализа, генерировать отчёты.

Ссылки:
- Записаться на вебинар
- Информация о вебинаре

#вебинары_по_R

​​Рекомендательная система комиксов на R

Автор: Пономарев Павел-Рафаэль

Цели и Задачи:
Цель проекта - создать рекомендательную систему для комиксов, которая бы предсказывала, какие книги будут интересны пользователю, имея информацию о книгах, которые он предпочитает. Оценка качества модели будет основана на внутренней пользовательской оценке и проверке на адекватность модели.

План проекта:
- Текстовый анализ описания книг и рецензий на них
- Построение рекомендательной системы на основе коллаборативной фильтрации
- Оценка качества построения первой модели
- Построение рекомендательной системы на основе содержательной оценки книг
- Оценка качества построения второй модели
- Проверка моделей на основе внешних сценариев
- Общие выводы
- Ответы на вопросы

#статьи_по_R

​​Видео третей лекции, и анонс четвёртой лекции курса "Введение в пространственный анализ и моделирование в R" от ЕУ Спб.

Видео третей лекции
Предыдущая, третья лекция была посвящена подготовке к пространственному моделированию, пространственной автокорреляции и тесту Морана.

Конспект и видео этой лекции уже доступны по ссылке.

Анонс четвёртой лекции
В эту субботу преподаватель Факультета городского и регионального развития ВШЭ Егор Котов продолжит тему моделирования с темами spatial lag/autoregressive model, spatial error model и расскажет про пакеты spdep, spatialreg, rgeoda.

Митап будет только онлайн!
4 июня в 18:00
Ссылка на трансляции: https://us02web.zoom.us/j/81529793127?pwd=_IYNX_DE1sXF3keQ0HKpIhZt_H0XU8.1

Смотрите так же:
- Анонс и программа курса "Введение в пространственный анализ и моделирование в R"
- Конспект и видео первой лекции
- Конспект и видео второй лекции
- Ссылка на трансляцию четвёртой лекции

#курсы_по_R

​​Визуализация: 100 дней войны

Визуализацию прислал один из подписчиков канала.

 
library(calendR)
library(tidyverse)
# Data
data <- c(55:154)
weekdays_lbls <- c("Пн", "Вт", "Ср", "Чт", "Пт", "Сб", "Вс")
calendR(year = 2022, title = "100 days of war", text.size = 10, 
        day.size = 3, weeknames = weekdays_lbls,
        lty = 0, papersize = "A5", font.family = "Open Sans", 
        days.col = "gray90", 
        title.size = 28, title.col = "red", 
        text.col = "gray90",
        special.days = data,
        special.col = "black",
        orientation = "portrait")
ggsave("100days.png", dpi = 150, width = 7, height = 9)

#заметки_по_R

​​Видео урок "Работа с пространственными объектами с помощью пакета sp"

sp - сокращение от Spatial Poligons (пространственные полигоны), данный пакет предоставляет методы для манипулирования пространственными данными.

Автор: Артём Голубничий

Ссылки:
- видео лекция
- практика

Смотрите так же:
- Работа с картами с помощью пакета tmap
- Учебник "Пространственная статистика и моделирование на языке R"

#видео_уроки_по_R