Несколько лет жесткого и, иногда, бездумного регулирования Интернета в России оказалось достаточно чтобы теперь при любом намеке на госрегулирование крупные игроки сбегались в СРО. Вот и с "большими данными" такая же история. Mail.ru, Яндекс, Ростелеком и многие банки собираются создать профильное СРО чтобы лоббировать свои интеерсы [1].

Шаг для них правильный, возможно, единственно возможный. Но, как и во всех подобных ситуациях важно помнить что их интересы - это интересы крупного бизнеса. Давний вопрос, а кто же представит интересы граждан? Остается без ответа.

Среди депутатов нет тех кто понимает что такое "большие данные", Общественная палата тоже не является таким институтом.

А структуры защищающие права потребителей в России также неживые. Может опять оказаться так что государство, со всеми его избыточными регуляторными амбициями окажется единственным защитником общественных интересов.

Возможно.

Ссылки:
[1] http://kommersant.ru/doc/3260507

#opendata #personaldata #bigdata

Простой консольный скрипт для выбора N случайных файлов из папки

ls Tuesday-28-March-2017 |sort -R |tail -$1 |while read file; do

    echo $file

    # Something involving $file, or you can leave

    # off the while to just get the filenames

done

#ubuntu

Подборка постов с канала на тему Data Science.
Список в основном старых постов. Относительно новые пока не включены в список.

0 Все из разряда "задротить" собирается по мере анализа в файл https://goo.gl/5VGU5A. Тут описано все из разряда "просто прочитать", а не "задротить"
1 Matlab на питоне https://xn--r1a.website/snakers4/37
2 Что такое data science https://xn--r1a.website/snakers4/121
3 Конец теории и переход к новой парадигме науки https://xn--r1a.website/snakers4/135
4 То, как 20 лет назад делали машины с автопилотом в NASA https://xn--r1a.website/snakers4/161 - https://xn--r1a.website/snakers4/163
5 История реляционных баз и их автор https://xn--r1a.website/snakers4/197
6 Ошибка на очень больших данных https://xn--r1a.website/snakers4/203
7 Предрассудки и data science https://xn--r1a.website/snakers4/263
8 Сравнение спутниковых снимков днем и ночью для определения бедности https://xn--r1a.website/snakers4/303
9 Наивные модели байесовых сетей https://xn--r1a.website/snakers4/313
10 Как лгут полицеские https://xn--r1a.website/snakers4/355
11 Съем звука с пакетика чипсов https://xn--r1a.website/snakers4/356
12 Распознавание образов через rpi https://xn--r1a.website/snakers4/384
13 Список умных списков https://xn--r1a.website/snakers4/395
14 Как работает gradient boosting https://xn--r1a.website/snakers4/405
15 На пальцах про нейросети https://xn--r1a.website/snakers4/418
16 Рисовалка криповых котов https://xn--r1a.website/snakers4/420
17 Визуализация градиентного спуска https://xn--r1a.website/snakers4/421
18 Reinforcement learning https://xn--r1a.website/snakers4/426
19 Semi supervised learning https://xn--r1a.website/snakers4/424
20 Автоматическая генерация треш кликбейта https://xn--r1a.website/snakers4/429 https://xn--r1a.website/snakers4/431
21 Машинки которые сами ездят в браузере https://xn--r1a.website/snakers4/433
22 Цикл статей на хабре про DS https://xn--r1a.website/snakers4/434
23 Пояснения про Gradient Boosting https://xn--r1a.website/snakers4/444
24 Блог про анализ данных https://xn--r1a.website/snakers4/455
25 Копи-паста для DS на питоне - прогресс индикаторы - https://xn--r1a.website/snakers4/456
26 Простые факты про распределение Пуассона (20-80) - https://xn--r1a.website/snakers4/459
27 Книга про статистику для прогеров https://xn--r1a.website/snakers4/460
28 Лайфхаки про питон и jp notebooks https://xn--r1a.website/snakers4/462
29 Machine learning cheat sheet https://xn--r1a.website/snakers4/466
30 Рисование карт за секунды https://xn--r1a.website/snakers4/472
31 Визуализации на питоне https://xn--r1a.website/snakers4/483
32 Сводные таблицы на питоне https://xn--r1a.website/snakers4/493
33 Starter код для детекции аномалий https://xn--r1a.website/snakers4/496
34 Замены PCA https://xn--r1a.website/snakers4/504
35 Примеры решения бизнес задач на jpn https://xn--r1a.website/snakers4/530
36 Копипаста на питоне - корреляция - https://xn--r1a.website/snakers4/578
37 SJ data science day выжимка https://xn--r1a.website/snakers4/580
==> Маркер тут <==

#data_science

Если кому нужно - выборка из фотографий 50к проезжающих за окном автомобилей (неразмеченная) за 7 дней. Принцип сохранения фото - наличие движения раз в три кадра.
- https://goo.gl/1gAQy4

#data_science

Мало кто из Москвы знает про 2GIS.
В регионах пользуются им. А еще в регионах есть такси Максим. Такси опять сейчас на хайпе.

А вот цитаты, которые мне понравились:

"
По его информации, через Rutaxi, развивающую бренд «Везет», в 2016 году осуществлялось около 1 млн поездок в день. У компании «Максим» было 700–800 тыс. поездок, у Fasten (развивает бренды «Сатурн» и RedTaxi) — 200–300 тыс. поездок. У Rutaxi мобильное приложение появилось в 2011 году, у «Максима» — в 2012-м, у Fasten — в 2016-м.
"

"
Яндекс.Такси — 500 тыс. поездок в сутки по всей России
Uber — 150–170 тыс. поездок
Gett — 150 тыс. поездок.
"

Количество поездок не пропорционально пиару =)

https://xn--r1a.website/internetanalytics/1053
http://www.rbc.ru/technology_and_media/07/03/2017/58becbcd9a79475c283d884f

#internet

Использование телефонов в США молодым поколением
- Веб https://goo.gl/6FUF8D
- Pdf https://goo.gl/HcHk69

#internet

Топовые американские блоги + рассылки про новости в сфере машинного обучения:
- http://www.wildml.com/
- https://www.getrevue.co/profile/wildml/
- https://jack-clark.net/import-ai/

#data_science

6 неделя курса про ML на хабре
- https://habrahabr.ru/company/ods/blog/325422/

#data_science

Из полезного (не сразу нагуглишь):
- Библиотека для работы с картинками в питоне http://pillow.readthedocs.io/en/3.1.x/index.html
- Сборник word2vec готовых моделей https://github.com/3Top/word2vec-api#where-to-get-a-pretrained-models
- pytesseract для простого OCR в питоне

#data_science

Добрый человек (не оставивший координат, но спасибо ему!) добавил 1 ссылку на www.fast.ai в файл с источниками. Информация такая же топовая, как курс от Andrew Ng (sic!).

Оказалось, что это сайт людей, которые закоптились в нейросети и хотят рассказать про это в доступной форме миру и сделали бесплатный MOOC про нейросети, который идет от практики и рассказывает про абстракции и про их суть как будто раскрывая слои лука. По факту люди в интро и своем блоге еще и рассказывают про такой аспект как "moral bankruptcy" долины. Под это я даже решился обновить GPU и закончить хобби-проект с распознаванием картинок с нуля (не соревнование, а полностью построить пайплайн) (AWS очень дорого на самом деле, и железо там уже устарело).

Рекурсивно изучил все из статьи из блога и основные ссылки, выше приводил ссылки на топовые bleeding edge блоги по тематике (https://xn--r1a.website/snakers4/731).

Вот ссылки на разного рода "избранное", если не верите
- Лендинг курса - http://course.fast.ai/
- Их блог - http://www.fast.ai/
- Полистать картиночки оттуда - https://goo.gl/O9Wh2G
- Как не покупать AI-bullshit - https://goo.gl/znzJZP
- Статья, которая им очень нравится - https://goo.gl/pnP54b
- Глобальные тренды в AI - https://goo.gl/wcVMCZ
- Философия образования - инклюзивность и доступность всем - https://goo.gl/f0fyS8
- Как научиться DS "hard way" - https://goo.gl/tcM3YI
- Как не надо учиться DS + срач - https://goo.gl/6UZU0Y
- Отзывы - https://goo.gl/MTVnp3
- Отличный блог, который нагуглился в поиске советов по GPU - https://goo.gl/shc5SX
- TLDR совет для сборки компа - http://prntscr.com/esojeg , полный вариант - https://goo.gl/gIAlTY

#data_science

Сверточные нейросети простыми словами
- http://timdettmers.com/2015/03/26/convolution-deep-learning/

#data_science

ЦР ВШЭ про экономики стран СНГ
- Сам центр - https://dcenter.hse.ru/
- Первоисточник - https://goo.gl/V1V6Db (тут все их выпуски)
- Беларусь
-- https://goo.gl/A99Q4Q
-- https://goo.gl/q9yOCd
-- https://goo.gl/WcKPkT
- Казахстан
-- https://goo.gl/g2XQg3
- Украина
-- https://goo.gl/yVT1ns
-- https://goo.gl/jEJvcZ
-- https://goo.gl/eFAC0E

#statistics

Benedict Evans про машины с автопилотом
- http://ben-evans.com/benedictevans/2017/3/20/cars-and-second-order-consequences

#data_science
#internet

Сегодня о редактировании команд. Про дополнение с помощью TAB известно всем. Помимо этого есть много других полезных сочетаний.

ctrl+d — аналог delete; для пользователей Мака может быть удобнее, чем fn+backspace

alt+t — меняет местами слово до курсора со словом после. Если применить в конце строки, то переставит два последних слова.

alt+u — перевести в верхний регистр от текущей позиции до конца слова
alt+l — перевести в верхний регистр от текущей позиции до конца слова
alt+c — перевести в верхний регистр первый символ (capitalize) слова от текущего курсора, т.е. если находимся в середине слова, то в верхний регистр переведётся текущая буква

ctrl+k — удалить от текущей позиции до конца строки
ctrl+u — удалить от текущей позиции до начала строки

alt+d — удалить от текущей позиции до конца слова
ctrl+w — удалить от текущей позиции до начала слова

Если вы часто делаете опечатки в командах, то есть замечательная утилита с говорящим названием The Fuck, которая старается за вас.
https://github.com/nvbn/thefuck

Иллюстрация пробок на дорогах, даже если места достаточно - просто люди медленно реагируют
- https://www.youtube.com/watch?v=7wm-pZp_mi0

Не кошки с собаками, но размеченный датасет с проезжающими за окном автомобилями, ~7000 автомобилей за 1 неделю.
- https://goo.gl/RLsKBZ

Играйтесь, кому полезно.

#data_science

Пользователи Android первыми получат функцию видеосообщений в Telegram. С владельцам iOS-устройств в этот раз всё будет иначе: https://goo.gl/JfiCqP

Простой лайфхак - копировать файлы и выполнять команды для создания случайных выборок можно прямо в питоне в jupiter notebook
- https://goo.gl/Et0olR

Проще, чем писать что-то такое на баше

rm -r $3/$1
mkdir $3/$1
echo 'Folder cleaned and re-created'
ls original_dataset/$1 |sort -R |tail -$2 |while read file; do
        cp original_dataset/$1/$file $3/$1
        # Something involving $file, or you can leave
        # off the while to just get the filenames
done
echo 'Files copied'

#data_science

«Живой журнал» возложил на блогеров ответственность за чужие комментарии

http://vedomosti.ru/technology/articles/2017/04/04/684128-zhivoi-zhurnal

#прокрустика