Важная новость для всех кто собирает данные из публичных источников. Суд в США обязал Microsoft разблокировать доступ компании HiQ Labs к открытой части социальной сети Linked In [1]

HiQ Labs занимаются анализом поведения сотрудников и занимались сбором данных (scraping) с сайта LinkedIn, после чего получили письмо предупреждение от LinkedIn и, также, LinkedIn предприняли технические меры по их блокировке [2].

После чего HiQ Labs в июне обратились в суд и суд принял решение что LinkedIn нарушает антимонопольное законодательства и не может подтвердить что именно они владеют теми данными которые находятся на их сайте.

История показательна и является примером того что не только компании владельцы соц сетей могут подавать в суд на тех кто собирает их данные, но и возможна обратная ситуация - когда их ограничения приводят к судебным разбирательствам.

Ссылки:
[1] http://www.zdnet.com/article/judge-orders-linkedin-to-unblock-startup-from-scraping-public-profile-data-report/
[2] http://jolt.law.harvard.edu/digest/hiq-labs-v-linkedin-is-scraping-public-data-protected-speech

#opendata #scraping #microsoft #linkedin

В США заработал в бета-режиме US Crime Data Explorer [1], аналитический сайт-навигатор по преступности с США, разработанный ФБР совместно с командой 18F и основанный на данных которые в ФБР собирает Crime Statistics Management Unit [2] добровольно предоставляемых полицейскими подразделениями отдельных штатов и графств в США.

Уровень детализации данных на портале достигает конкретного полицейского подразделения, а для отдельных штатов можно увидеть не только общую статистику, но и в разрезе расы, национальности и пола.

У проекта есть API к данным [3] и базы в виде наборов данных [2]

Это хороший пример того что хотелось бы сделать в России на данных криминальной статистики.

Ссылки:
[1] https://crime-data-explorer.fr.cloud.gov/
[2] https://crime-data-explorer.fr.cloud.gov/downloads-and-docs
[3] https://crime-data-explorer.fr.cloud.gov/api

#opendata #opengov

Можно ли предсказать голосование по фотографии? А если это панорамная фотография?

Исследователи из Стенфордского университета проанализировали 50 миллионов фотографий из Google Street View [1]
и научились определять типы автомобилей и, соответственно, предсказывать голосования в местах где они сделаны.
Всего система умеет предсказывать с высокой точностью уровень доходов, расовые признаки, образование и привычки в голосовании с детальностью до почтового индекса (ZIP кода).

Все это социологам и в России на заметку, кроме Google Street View в России ещё есть Яндекс Панорамы и алгоритмы позволили бы провести реальные исследования устройства российского общества.

Подробнее об исследовании [2]

Ссылки:
[1] https://www.nytimes.com/2017/12/31/technology/google-images-voters.html
[2] http://www.pnas.org/content/114/50/13108.full.pdf

#opendata #data #algorithms

Много напоминаний про день открытых данных в Москве (http://msk.opendataday.ru/)

1. ОДД в этом году организуют Информационная культура, ФРИИ и Ассоциация участников рынка данных и значительное время будет посвящено коммерческому использованию данных. А всего нас будет много госорганов рассказывающих о том что они делают в теме открытых данных, будет бизнес который расскажет как открытые данные помогают, исследователи о том как на открытых данных находят новое и активисты/эксперты рассказывающие о чём-то своем.

2. Хотите выступить? Знаете крутого докладчика ? Пишите нам на infoculture@infoculture.ru .

3. У ОДД небольшой бюджет, мы финансируем его из спонсорской поддержки, нам помогает Комитет гражданских инициатив в рамках тех проектов по открытым данным которые мы делаем, но нам всегда нужна Ваша помощь. Это бесплатное мероприятие и мы не планируем делать его другим, но если Вы коммерческая компания и заинтересованы в том чтобы открытых данных было бы больше и лучше - то даже 50 тысяч пожертвование будет к делу. Также можно пожертвовать напрямую Инфокультуре вот тут - https://www.infoculture.ru/donation/
Всё что мы собрали ранее и что будет собрано - всё пойдет на ОДД.

4. Не будет скучных долгих лекций и не будет резких коротких выступлений. Мы подберем удобный для всех тайминг.

5. В этом году всё пройдет на площадке ФРИИ в центре Москвы. Эта площадка востребованная огромным числом стартапов, к ней удобнее добираться и высокая вероятность что зарегистрируется очень и очень много людей и нам придется останавливать регистрацию когда будет набрана критическая масса. Поэтому не откладывайте, регистрируйтесь пораньше чтобы точно успеть.

6. День открытых данных не только в Москве. В мире проходит много дней открытых данных на сайте http://opendataday.org/ собрана карта. Если Вы не можете приехать - организуйте митап в своем городе, мини-лекторий и не только. Пишите нам на infoculture@infoculture.ru и мы поможем продвинуть Ваше мероприятие среди нашей аудитории.

7. Сейчас, когда Открытое правительство более не существует, нам особенно важна поддержка журналистов. Мы будем рады всем журналистам которые напишут об ОДД и посетят мероприятие. А мы поможем взять интервью, расскажем что такое открытые данные и тд.

#opendata #odd2019

В РБК вышла статья за авторством Ольги Пархимович с небольшой моей помощью, статья о том насколько всё плохо с качеством данных в государтсвенных информационных системах [1].

Тема заслуживает не то что статьи, по ней можно защищать диссертации и открывать исследовательские институты. С качеством данных всё плохо, с принятием решений на их основе тоже, так себе. Впрочем почитайте статью.

Ссылки:
[1] https://www.rbc.ru/opinions/society/20/12/2019/5dfb4e169a79470b46b4f98c

#opendata #dataquality

До дня открытых данных [1] осталось 45 дней и ещё не поздно зарегистрироваться и принять участие!

Каждый год день открытых данных мы проводим как негосударственное некоммерческое мероприятие проходящее по всему миру и конкретно в Москве организуем его мы в @infoculture

Если Вы хотите принять участие как докладчик, партнер, а может быть даже и спонсор(!) напишите на infoculture@infoculture.ru обязательно. Если Вы решите провести мероприятие у себя в регионе, тоже напишите нам и мы поможем привлечь больше участников.

В дне открытых данных принимают участие представители НКО, преподаватели, чиновники, представители бизнеса, активисты и все кто деятельно работает с данными во всех их формах и ипостасях.

Помните что открытость - это то что мы делаем своими руками!

Ссылки:
[1] https://opendataday.ru/msk

#opendata #opengov

Вдогонку к моему предыдущему посту про свежий контракт Мосгортелекома и Максимателеком.
Спасибо коллегам, подсказали что документ на сайте мэрии Москвы. Вот тут [1] можно обнаружить что 28 февраля 2020 года был опубликован документ распоряжение "Об утверждении Порядка взаимодействия органов исполнительной власти города Москвы и подведомственных им государственных учреждений города Москвы, государственных образовательных организаций высшего образования, осуществляющих деятельность на территории города Москвы, а также отдельных автономных некоммерческих организаций, созданных Правительством Москвы или органами исполнительной власти города Москвы, при обеспечении их услугами по беспроводному широкополосному доступу в информационно-телекоммуникационную сеть Интернет по технологии Wi-Fi" подписанный 27 марта 2020 года

Вообще чертовски интересно узнавать что люди способные перемещаться во времени работают рядом с нами. Вот живёшь себе и думаешь как же всё скучно мы живём, а в органах власти так совсем рутинно. А тут такое рядом. Если бы в России была тайная спецслужба захватывающая экстрасенсов, шаманов, магов и прочих людей с суперспособностями для секретных опытов, я уверен что тот кто смог проделать такой трюк давно бы трудился на благо родины где-то в менее известных местах.

Но более реалистичный сценарий что дату размещения документа на сайте подкрутили, а его реквизиты 64-16-141/20 "забыли" указать чтобы его не могли найти интересующиеся жители города. Учитывая как организован поиск по документам на сайте mos.ru, это совсем не удивительно.

Но, хорошая новость, это означает что если есть желание поискать документы которые власти любимого города хотят скрыть от жителей то мы знаем теперь два важных признака:
- отсутствие реквизитов документа при его публикации
- дата публикации ранее (значительно ранее) даты его фактического подписания

А пока всячески стоит внимательно прочитать что написано в этом распоряжении и узнать как именно происходит мониторинг граждан подключающихся к городской системе Wi-Fi.

Ссылки:
[1] https://www.mos.ru/dit/documents/normativnye-pravovye-akty-departamenta/view/237288220/

#москва #moscow #opendata #opengov

В Север.Реалии статья о реалиях прохождения переписи населения, "Цена таким данным нулевая". Фальсификации при переписи населения [1], на ту же темы в Deutsche Welle Всероссийская перепись населения: чем опасна фальсификация данных [2] и выступление Натальи Зубаревич на Эхо Москвы [3].

Перепись у нас в стране очень политизирована, в ней выражается многое, и замороженные национальные конфликты [4] и общей уровень недоверия государству граждан и ещё много чего.

Но в чем права Наталья Зубаревич и экономисты и демографы так в том что данные переписи необходимы, насколько возможно качественные, насколько возможно подробные, насколько возможно локализованные, но анонимизированные. Да, государство и так владеет базами данных о граждан в виде данных в ФНС, в Пенсионном фонде, в ФСС, в ФОМС, а также базы данных SIM карт и передвижения есть у сотовых операторов и ещё у ряда коммерческиз и государственных структур есть разной степени актуальности, полноты и достоверности базы данных.

Перепись - это один из немногих дата-продуктов государства который хотя бы частично предоставляется исследователям, бизнесу и самим гражданам в виде аналитики, официальной статистики и иных срезов данных.

Поэтому то что граждане не доверяют переписчикам, то перепись охватывает не всё, это, конечно, скорее трагедия для всех кто потом эти данные будет использовать при принятии решений и мне не хочется злорадствовать в стиле "опять ничего не получается". Да лучше бы получалось и лучше бы в российские данные были доступны с раскрытием до муниципалитета и переписного участка, например, как в Австралии [5] или США и в других странах доступны данных до уровне блока (block level).

Ссылки:
[1] https://www.severreal.org/a/tsena-takim-dannym-nulevaya-falsifikatsii-pri-perepisi-naseleniya/31557044.html
[2] https://www.dw.com/ru/perepis-naselenija-rossii-chem-opasna-falsifikacija-dannyh/a-59801766?maca=rus-yandex_new_politics_mm-9641-xml
[3] https://echo.msk.ru/programs/personalno/2926988-echo/
[4] https://kazan.mk.ru/social/2021/11/11/ilnar-garifullin-po-tatarskim-rayonam-bashkortostana-ezdyat-bashkirskie-agitbrigady.html
[5] https://www.abs.gov.au/census/find-census-data

#opendata #data #census