настенька и графики

Как текстовый анализ может вам помочь

Начнем с того, что такое вообще текстовый анализ. Думаю, итак понятно, что это просто анализ текстовых данных, но условно его можно разделить на качественный и количественный - или когда текст обрабатывается вручную и с помощью программирования. Собственно, на втором способе я и хочу остановиться.

Сейчас, когда все активно используют анализ данных в бизнесе, текстовую информацию тоже пытаются обработать. Причем полезно это маркетологам, контентщикам, SEOшникам и всем-всем-всем. Самое сложное в работе с текстами (особенно русскими) - это их чистка. В самом начале обязательно нужно убрать пунктуацию, стоп-слова. Стоп-слова - это зачастую слишком частотные или слишком редкие, союзы, междометия, местоимения - все то, что не несет никакой смысловой нагрузки. Прямо ну вообще. Встроенные списки стоп-слов есть в пакетах для текстового анализа, поэтому можно за основу брать их и расширять. Следующим этапом всегда идет лемматизация (приведение к начальной форме) или стемминг (нахождение основы слова). Лучше первое и благодаря Яндексу можно это делать и на русском тоже. После этого уже можно что-то делать.

1. Подсчет частотности
Самое простое, что есть в текстах. Вывод даже просто частотных слов может уже дать небольшое понимание о текстовых данных. Например, если вы возьмете отзывы к своим продуктам, то самые частотные слова по отзывам к продуктам уже дадут какую-то информацию о том, что пишут в отзывах. Это не самый надежный способ, но простой и сделать это все можно практически по первой ссылке в гугле. Также можно выделять n-граммы (последовательности из слов) и считать частотность уже по ним.

2. Сентимент-анализ (или анализ тональности текста)
В бизнесе его в основном используют для понимания мнения об организации или продукте. Самое сложное здесь найти правильный словарь для оценки сентиментов, где слова размечены как позитивные, негативные или нейтральные. Это будет полезно, если вы соберете все тексты с упоминаниями компании и проведете сентимент анализ, сравнив количество негативно и позитивно окрашенных слов. Есть сервисы, которые собирают упоминания названия компании и проводят такой анализ автоматически.

3. Тематическое моделирование
Это то, что поможет вам узнать суть текста, не читая его. Работает только на больших данных и самый популярных алгоритмов на данный момент - LDA (Латентное размещение Дирихле). Алгоритм ищет слова, которые часто встречаются вместе в текстах и группирует их в темы. В свою очередь, каждый документ состоит из различных тем, в зависимости от слов, которые в нем встречаются. Самое сложное подобрать нужное количество тем и натренировать модель. Например, если вы хотите посмотреть, про что пишут ваши конкуренты, то можно скачать их тексты и посмотреть, про что они пишут.

Из последнего про контент мне особенно понравилась идея Дэвида Робинсона про анализ статей на Medium и какие из них получают больше клэпов. Я потом сделала такое же только для Хабра и статей, которые находятся там в сохраненках. Сеточки и тексты вместе - штука поистине необыкновенная. Так получились сеточка связей между словами (нахождение друг за другом), размер узла слова означал частотность, а цвет - количество сохранений. То есть слова с самым темным цветом и маленького размера, это, скажем так, редкие, но очень "в тему" статьи. А из этого можно целый контент план про актуальность тем построить!
Короче тексты - это сила, особенно, когда их много. Это, конечно, лишь маленький кусочек, чего разного прикольного можно делать с текстами и как это визуализировать. Если в программирование не хочется, то есть куча разных сервисов, где так или иначе можно реализовать эти и другие методы.

Лучшее про тексты на R от Джулии Силдж и Дэвида Робинсона https://www.tidytextmining.com
Мы с Алексеем Горадзе чуть-чуть про тексты на R User Group https://youtu.be/7YykViYej4E
MyStem от Яндекса https://yandex.ru/dev/mystem/
Мой копипсат Дэвида Робинсона с Хабром https://vk.com/wall-171735433_122

Если есть вопросы - я всегда рада на них ответить!

1.42K viewsedited 15:20