Что будет если отобразить города на земле в виде "гор света" где высота горы - это интенсивность всего того света что исходит из этой точки?

Победитель конкурса Information is Beautiful 2019 [1] года
Jacob Wasilkowski сделал именно это и теперь на картах можно найти не только хорошо узнаваемые города, но и многие источники света не из столь известных мест.

С помощью интерактивной карты [2] можно сравнить города, найти неизвестные источники света (незаконные рубки, рудники, места добычи нефти и газа, неизвестные поселения), увидеть уровень заселенности любой территории.

Ссылки:
[1] https://www.informationisbeautifulawards.com/showcase/4257
[2] https://jwasilgeo.github.io/esri-experiments/earth-at-night/

#data #dataviz #visualization #earth

#data #arch
Тут вот приехал лонгрид в двух частях про дата платфому LinkedIn'а(это тот который сделал Kafka, Goblin и Voldemort). Очень занимательное чтиво раз и два! Вот вы, например, знали, что Линкедин в Ажур заезжает?

#data
Тут вот огненный выпуск software engineering daily(как всегда есть транскрипция) с Майклом Армбрустом из DataBricks про спарк, стриминг и их новый продукт Delta, который позиционируется как Data Warehouse поверх Data Lake. При этом они обещают не просто SQL поверх HDFS как в Hive и SparkSQL а даже ACID транзакции! Кароч очень интересненько, рекомендую

#data
Шикарный лонгрид с обзорами и сравнением DWH и DataLake
Одна картинка чего стоит, хех. Кмк, это самое емкое определение data governance

#data
Ну и заодно, DataBricks решили, что вот этот вот ваш DWH поверх Hadoop теперь называется DataLakehouse.
Статья не особо примечательная, но есть несколько интересных ссылок касательно технологий(в том числе и OSS) заточенных прямо под такую архитектуру данных

#data #s3
Очень интересный пейпер про DeltaLake.
TLDR: Databricks построило и заопенсорсило ACID поверх S3! Для того что бы достичь всех необходимых гарантий они придумали писать WAL для Parquet'а в Parquet))
Звучит безумно, но у них это в проде с 2017

#arch #db #data https://www.youtube.com/watch?v=fU9hR3kiOK0

#db #ravendb #data
Оказывается у RavenDb есть онлайн-книжка "Inside RavenDb", где написано как это все работает.
На секундочку, у них мультимастер, но они обещают работу даже при падении всех нод кроме одной. Более того, у них ACID транзакции и еще куча других фич

#data #sql
Котаны, вчера Jim Walker из CockroachDb прочитал шикарнейший доклад про архитектуру их NewSql базы. Все что нужно знать про современные распределенные Sql базы он ухитрился уместить в 1 час. Категорически рекомендую!

#data #spark #arch
Нашел тут у себя в закладках очень миленькую статью про внутренности спарка и hdfs. Очень совету почитать для тех кто интересуется распределенными системами

#data
Отличный курс лекций про данные от Ростелека и вендоров: https://www.youtube.com/playlist?list=PLlCP3a0hjY50I5mumo_YCu7IEDjiUpEWO
З.Ы. лекции 1.1-1.3 вводные, их можно пропустить

#data #cdc
Как-то пропустил новость про CDC-фреймворк от Netflix. Кажется у дебезиума теперь есть достойный конкурент)