Scaling Uber’s Apache Hadoop Distributed File System for Growth
Post on how #Uber team handles #Hadoop challenges.
https://eng.uber.com/scaling-hdfs/
#BigData #HDFS
🔗 Scaling Uber’s Hadoop Distributed File System for Growth
Uber's Data Infrastructure team overhauled our approach to scaling our storage infrastructure by incorporating several new features and functionalities, including ViewFs, NameNode garbage collection tuning, and an HDFS load management service.
Post on how #Uber team handles #Hadoop challenges.
https://eng.uber.com/scaling-hdfs/
#BigData #HDFS
🔗 Scaling Uber’s Hadoop Distributed File System for Growth
Uber's Data Infrastructure team overhauled our approach to scaling our storage infrastructure by incorporating several new features and functionalities, including ViewFs, NameNode garbage collection tuning, and an HDFS load management service.
Uber Engineering Blog
Scaling Uber’s Apache Hadoop Distributed File System for Growth
Uber's Data Infrastructure team overhauled our approach to scaling our storage infrastructure by incorporating several new features and functionalities, including ViewFs, NameNode garbage collection tuning, and an HDFS load management service.
Как геокодировать миллион точек на Spark по-быстрому?
#BigData,
В моем предыдущем проекте перед нами встала задача провести обратное геокодирование для множества пар географических координат. Обратное геокодирование — это процедура, которая паре широта-долгота ставит в соответствие адрес или название объекта на карте, к которому принадлежит или близка заданная координатами точка. То есть, берем координаты, скажем такие: @55.7602485,37.6170409, и получаем результат либо «Россия, Центральный федеральный округ, Москва, Театральная площадь, дом такой-то», либо например «Большой театр».
Если на входе адрес или название, а на выходе координаты, то эта операция — прямое геокодирование, об этом мы, надеюсь, поговорим позже.
В качестве исходных данных у нас на входе было примерно 100 или 200 тысяч точек, которые лежали в кластере Hadoop в виде таблицы Hive. Это чтобы был понятен масштаб задачи.
В качестве инструмента обработки в конце концов был выбран Spark, хотя в процессе мы попробовали как MapReduce, так и Apache Crunch. Но это отдельная история, возможно заслуживающая своего поста.
🔗 Как геокодировать миллион точек на Spark по-быстрому?
В моем предыдущем проекте перед нами встала задача провести обратное геокодирование для множества пар географических координат. Обратное геокодирование — это про...
#BigData,
В моем предыдущем проекте перед нами встала задача провести обратное геокодирование для множества пар географических координат. Обратное геокодирование — это процедура, которая паре широта-долгота ставит в соответствие адрес или название объекта на карте, к которому принадлежит или близка заданная координатами точка. То есть, берем координаты, скажем такие: @55.7602485,37.6170409, и получаем результат либо «Россия, Центральный федеральный округ, Москва, Театральная площадь, дом такой-то», либо например «Большой театр».
Если на входе адрес или название, а на выходе координаты, то эта операция — прямое геокодирование, об этом мы, надеюсь, поговорим позже.
В качестве исходных данных у нас на входе было примерно 100 или 200 тысяч точек, которые лежали в кластере Hadoop в виде таблицы Hive. Это чтобы был понятен масштаб задачи.
В качестве инструмента обработки в конце концов был выбран Spark, хотя в процессе мы попробовали как MapReduce, так и Apache Crunch. Но это отдельная история, возможно заслуживающая своего поста.
🔗 Как геокодировать миллион точек на Spark по-быстрому?
В моем предыдущем проекте перед нами встала задача провести обратное геокодирование для множества пар географических координат. Обратное геокодирование — это про...
Хабр
Как геокодировать миллион точек на Spark по-быстрому?
В моем предыдущем проекте перед нами встала задача провести обратное геокодирование для множества пар географических координат. Обратное геокодирование — это про...
Для чего нам в СИБУРе продвинутая аналитика
Наш телеграм канал - https://tele.click/ai_machinelearning_big_data
#Машинноеобучение
Когда у вас возникает какая-то проблема, вы начинаете искать способы ее решения, параллельно думая, как бы снова не пройтись по этим же самым граблям в следующий раз. Что бы вы ни делали, от небольших мобильных приложений до громоздких информационных систем, у ошибки всегда есть цена, и чем более критична отрасль, в которой используется ваш продукт, тем выше цена этой ошибки. Поэтому идеальной видится ситуация, когда вы работаете на опережение, а именно — пытаетесь предсказать возникновение проблемы до ее фактического наступления.
https://habr.com/ru/company/sibur_official/blog/442910/
#BigData,
#Python,
🔗 Для чего нам в СИБУРе продвинутая аналитика
Когда у вас возникает какая-то проблема, вы начинаете искать способы ее решения, параллельно думая, как бы снова не пройтись по этим же самым граблям в следующий...
Наш телеграм канал - https://tele.click/ai_machinelearning_big_data
#Машинноеобучение
Когда у вас возникает какая-то проблема, вы начинаете искать способы ее решения, параллельно думая, как бы снова не пройтись по этим же самым граблям в следующий раз. Что бы вы ни делали, от небольших мобильных приложений до громоздких информационных систем, у ошибки всегда есть цена, и чем более критична отрасль, в которой используется ваш продукт, тем выше цена этой ошибки. Поэтому идеальной видится ситуация, когда вы работаете на опережение, а именно — пытаетесь предсказать возникновение проблемы до ее фактического наступления.
https://habr.com/ru/company/sibur_official/blog/442910/
#BigData,
#Python,
🔗 Для чего нам в СИБУРе продвинутая аналитика
Когда у вас возникает какая-то проблема, вы начинаете искать способы ее решения, параллельно думая, как бы снова не пройтись по этим же самым граблям в следующий...
Хабр
Для чего нам в СИБУРе продвинутая аналитика
Когда у вас возникает какая-то проблема, вы начинаете искать способы ее решения, параллельно думая, как бы снова не пройтись по этим же самым граблям в следующий раз. Что бы вы ни делали, от...
Встала задача перейти в облако? 7 советов, как не накосячить
Компании по всей планете переходят в облака — настоящий «техтонический» сдвиг. Изменения происходят не только из потребности использовать в облаках софт, но и благодаря тому, что компании переосмысливают свои корпоративные стратегии, размещение своих внутренних данных и контента, политику конфиденциальности, системы, безопасность и даже культуру. Исследовательская компания Gartner, основываясь на данных рынка, оценивает затраты на переход в облака в IT сфере в 1,3 трлн. долларов к 2020-му году. Большая часть этих расходов ведёт к достижению целей компаний по улучшению эффективности, увеличению денежного потока и общей экономии.
Наш телеграм канал - https://tele.click/ai_machinelearning_big_data
#bigdata
https://habr.com/ru/company/cloud4y/blog/443472/
Компании по всей планете переходят в облака — настоящий «техтонический» сдвиг. Изменения происходят не только из потребности использовать в облаках софт, но и благодаря тому, что компании переосмысливают свои корпоративные стратегии, размещение своих внутренних данных и контента, политику конфиденциальности, системы, безопасность и даже культуру. Исследовательская компания Gartner, основываясь на данных рынка, оценивает затраты на переход в облака в IT сфере в 1,3 трлн. долларов к 2020-му году. Большая часть этих расходов ведёт к достижению целей компаний по улучшению эффективности, увеличению денежного потока и общей экономии.
Наш телеграм канал - https://tele.click/ai_machinelearning_big_data
#bigdata
https://habr.com/ru/company/cloud4y/blog/443472/
Хабр
Встала задача перейти в облако? 7 советов, как не накосячить
Компании по всей планете переходят в облака — настоящий «техтонический» сдвиг. Изменения происходят не только из потребности использовать в облаках софт, но и благодаря тому, что компании...
Дайджест статей машинного обучения и искусственного интеллекта
Программирование,
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного обучения и искусственного интеллекта. Всем приятного чтения!
1. Проекты искусственного интеллекта, с которыми можно поиграться уже сегодня. Что вы знаете про искусственный интеллект и машинное обучение? Современный тренд или потенциально мощная сила, способная убивать людей? Эти модные понятия всё чаще на слуху, но далеко не все знают, что же это на самом деле. Пришло время изучить эти технологии с помощью простого и интересного подхода — попробовать искусственный интеллект и нейросети самостоятельно на практике.
#DataMining,
#BigData
#Машинноеобучение
#Искусственныйинтеллект
https://habr.com/ru/post/458804/
🔗 Дайджест статей машинного обучения и искусственного интеллекта
Хабр, привет. Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного о...
Программирование,
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного обучения и искусственного интеллекта. Всем приятного чтения!
1. Проекты искусственного интеллекта, с которыми можно поиграться уже сегодня. Что вы знаете про искусственный интеллект и машинное обучение? Современный тренд или потенциально мощная сила, способная убивать людей? Эти модные понятия всё чаще на слуху, но далеко не все знают, что же это на самом деле. Пришло время изучить эти технологии с помощью простого и интересного подхода — попробовать искусственный интеллект и нейросети самостоятельно на практике.
#DataMining,
#BigData
#Машинноеобучение
#Искусственныйинтеллект
https://habr.com/ru/post/458804/
🔗 Дайджест статей машинного обучения и искусственного интеллекта
Хабр, привет. Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного о...
Хабр
Дайджест статей машинного обучения и искусственного интеллекта
Хабр, привет. Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного обучения и искусственного интеллекта....
Как сравнить: «изумительный авто» и «уродливый барак», в маркетинговом опросе и в больших данных
#BigData
Все мы участвовали в опросах, онлайн или в реальной жизни. А когда начинаем новый проект, то без опросов не обойтись. Но иногда есть результаты опросов, с которыми непонятно что делать, кроме как улыбнуться, ниже, на картинке, результат опроса Всероссийского центра изучения общественного мнения (ВЦИОМ).
https://habr.com/ru/post/459052/
🔗 Как сравнить: «изумительный авто» и «уродливый барак», в маркетинговом опросе и в больших данных
Все мы участвовали в опросах, онлайн или в реальной жизни. А когда начинаем новый проект, то без опросов не обойтись. Но иногда есть результаты опросов, с которы...
#BigData
Все мы участвовали в опросах, онлайн или в реальной жизни. А когда начинаем новый проект, то без опросов не обойтись. Но иногда есть результаты опросов, с которыми непонятно что делать, кроме как улыбнуться, ниже, на картинке, результат опроса Всероссийского центра изучения общественного мнения (ВЦИОМ).
https://habr.com/ru/post/459052/
🔗 Как сравнить: «изумительный авто» и «уродливый барак», в маркетинговом опросе и в больших данных
Все мы участвовали в опросах, онлайн или в реальной жизни. А когда начинаем новый проект, то без опросов не обойтись. Но иногда есть результаты опросов, с которы...
Хабр
Как сравнить: «изумительный авто» и «уродливый барак», в маркетинговом опросе и в больших данных
Все мы участвовали в опросах, онлайн или в реальной жизни. А когда начинаем новый проект, то без опросов не обойтись. Но иногда есть результаты опросов, с которы...