Spark in me
2.68K subscribers
1.54K photos
81 videos
119 files
3.08K links
Lost like tears in rain. DS, ML, a bit of philosophy and math. No bs or ads.
Download Telegram
Интересное в мире интернета
- Рассылка Ben Evans - https://goo.gl/6ycnvj;
- Мнение, что через несколько лет алгоритмы ML будут восприниматься как стандартная технология типа реляционной СУБД - https://goo.gl/62LYHw;
- Штраф гугла на US$2.4bn в Европе - https://goo.gl/mTusmz;
- Краткая история музыкальной индустрии
-- Статья - https://goo.gl/NpdEoz
-- Динамика оф. продаж музыки за последние 30 лет по носителям - https://goo.gl/5SVnAn
-- Синглы vs. альбомы - https://goo.gl/2KZ4oG
-- В США за последние 10 лет в 3 раза выросла индустрия концертов за счет малых исполнителей - https://goo.gl/c2aoeU
-- Падение цены альбома - https://goo.gl/P5kPpe

#internet
Если кому-то нужен опен-сорсный OCR из коробки, то нашел небольшой гайд по установке
- http://www.pyimagesearch.com/2017/07/03/installing-tesseract-for-ocr/

Обзор аналогичных API от крупных компаний
- https://habrahabr.ru/post/312714/
Интересное в мире ML
- Import AI - https://goo.gl/j4KfTY
-- Sony тоже хочет выпустить библиотеку для ML - https://goo.gl/pSfTxZ
-- Andrew Ng анонсировал свой проект - https://goo.gl/xAGiBS
-- Andrew Ng также взяли на борд этой компании - drive.ai
-- Приложение NotHotdog из сериала Кремниевая Долина - https://goo.gl/wbZUgT
-- То, как оно было сделано с помощью SqueezeNet - https://goo.gl/W4ZZoq
-- Amazon планирует запустить сервисо по переводу - https://goo.gl/7HQ3K5
-- Размышления The Economist на тему ложных новостей - https://goo.gl/uV7GBT

#data_science
Третья статья из цикла статей про анализ сайтмапов.
А сможете ли вы понять, чем в реальности отличаются кластеры слов?
Я не смог =)

https://spark-in.me/post/sitemap-scraping-part-3

#data_science
Ну и картинка для острастки
https://goo.gl/ys2VYT
Разбирая кое-что на работе, собрал небольшую подборку материалов про кеширование контента и оптимизацию времени загрузки на веб-сайтах. Может быть полезно как для анализа страниц, так и собственно для их оптимизации.

Тулзы для тестирования
- Средства разработчика любого современного браузера
- Два - https://goo.gl/Bz4sfw
- Три https://goo.gl/EisuhH
- Четыре - https://goo.gl/wKf3P9
- У гугла тоже есть тул, но он не учитывает асинхронность и совсем современные способы загрузки сайтов
- Ничто не заменяет здравый смысл и реальное понимание какие запросы когда высылаются, кем и как

Полезное в документация от гугла
- Оптимизация картинок https://goo.gl/c6TXSQ
- Кеширование картинок https://goo.gl/8GrDmR

Сжатие картинок через консольные скрипты
- Программа https://goo.gl/7frHQU
- Пример https://goo.gl/K5MEbE
- Установка https://goo.gl/qxYSQS

Установка заголовков для кеширования для разного вида контента в nginx
- https://goo.gl/voSwAa

#internet
То, что показалось интересным из презентаций Avito Data Science Meetup.

То, что используется для предсказания популярности статей:
- Embeddings - https://goo.gl/zb9G7X
- Используемые модели и методы - https://goo.gl/jzzkaE

Способы построения рекомендаций Озоном:
- Технологии - https://goo.gl/YTu47r
- Модели - https://goo.gl/mMXJ4s
- Какие логия парсятся - https://goo.gl/9mpVAv
- Как считают сопутствующие товары - https://goo.gl/BnCSPd
- Персональные рекомендации (по сути коллаборативный фильтеринг) - https://goo.gl/E818ab
- Аксуссуары (по сути декартово расстояние) - https://goo.gl/wL9a97


#data_science
#internet
Внезапно один раз проснулся утром и нашел в чате в телеграме ssh-доступ к компьютеру с 1.5м фото и проброшенной в виртуалку видеокартой.

(Решил попробовать написать по-английски)

Вот что из этого получилось:
https://spark-in.me/post/neural-net-used-for-flats

#data_science
Что думаете про статьи на английском?

1 Нравится – 67
👍👍👍👍👍👍👍 67%

2 Не нравится – 17
👍👍 17%

3 Без разницы – 14
👍 14%

4 Своё (в личку) – 2
▫️ 2%

👥 100 people voted so far.
Нашел ссылку на библиотеку scikit-cuda для использования sklearn вместе с cuda
- Поддерживаемые функции - https://goo.gl/BGgn7C
- Установка - https://goo.gl/6qMcrb

Кто пробовал, поделитесь опытом.

#data_science
Занятная статья про компанию, которая применяет смешанный подход к управлению грузовиками - https://goo.gl/c1wgbB
- Автопилот используется на шоссе
- Водители удаленно управляют машинами в городе и на развязках

#internet
Сегодня нам задонатил еще один подписчик
- http://yasobe.ru/na/spark_in_me
Спасибо!
Вот как оказывается фейсбук определяет лица на фото
- Сначала картинки упрощаются с использованием градиентов
- Потом картинки лиц поворачиваются с использованием специального алгоритма
- Потом тренируются embeddings для лиц
- Потом с помощью "простых" алгоритмов типа SVM выбираются нужные классы для лиц

Ссылка
- https://goo.gl/zeeNBi

Библиотека для определения лиц
- https://github.com/ageitgey/face_recognition#face-recognition

#data_science