🤢 К сожалению, вслед за ePayments - для жителей РФ заканчивает свою работу Payoneer. Только что пришло письмо, краткое содержимое которого гласит, что по требованию местного законодательства - они вынуждены приостановить работу своих карт Mastercard (нельзя будет снять деньги или перевыпустить/заказать карту) с 27 мая 2020 года. До 27 мая есть возможность снять деньги, а дальше можно будет только выполнить банковский перевод на свой счёт.

😶 Скриншот письма: https://i.imgur.com/Kthf08F.png

🌹 Уже давно пользуюсь прекрасным сервисом Sentry.io для отлова ошибок на всех своих проектах/доменах с прелендингами и на тестовых pet-project'ах. Даже не знаю почему не рассказывал вам о нём, нужно это срочно исправлять!

🐞 Суть в том, что никто не защищён от багов в коде или недоступности сторонних сервисов, с которыми идёт общение. Но только настоящие джедаи 🔨 мониторят эти ситуации и исправляют свои косяки. Данный сервис помогает интегрировать отлов ошибок в очень удобный дешборд, где будет вся необходимая информация по эксепшену (скрин: https://raw.githubusercontent.com/openlabs/trytond-sentry/develop/images/event.png).

🏁 Существует множество интеграций, с помощью которых можно сделать что-то вроде composer require sentry/sdk, или pip install sentry-sdk, а может даже и go get github.com/getsentry/sentry-go - всё зависит от того, на чём вы пишите 😉 А после этого обычно достаточно воткнуть пару строчек в самом начале вашего главного файла (с которого стартует запуск чего бы там ни было, хоть 🚀). И всё! 😧

😴 Дальше можете забыть об этом сервисе, пока на почту не упадёт письмо о вылезшей баге...

PS: всем хватит лимитов на бесплатном тарифе. А когда захочется создать новый проект и внедрить Sentry и туда, то есть небольшой лайфхак, чтоб не плодить десятки аккаунтов: заходите в настройки, создаёте новую Team, затем новый Project, и берёте данные для подключения из него. И у вас совершенно легально трекаются события с различных сервисов в разные проекты, навигация через которые осуществляется через выпадающий список сверху. И-Идеально! 😤

😲 Как-то так вышло, что я пропустил грандиозную новость, которая должна быть освещена для всех, кто использует софт, где есть обход антибота на CloudFlare (ZennoPoster, CapMonster2, A-Parser, XRumer, GSA SER и др).

🤖 В конце прошлой недели там за место reCaptcha - поставили новой сервис - hCaptcha (https://www.hcaptcha.com/). По содержимому внутри - это почти как рекапча, только без знаний ББ о всех. Поэтому если вам придётся решать картинки - вы заебетесь их тыкать. К сожалению, пока что автоматического решения для неё не существует. Но вангую, что после CF - это говно поставят себе все крупные сервисы, где есть большой поток боторег.

🤐 Советую задуматься о смене схем, если есть минимальный риск встрять с этой хуяпчей (отличный перевод на русский, как думаете?).

UPD: залили её на https://lessons.zennolab.com/captchas/

⏳ Всю прошлую неделю я разгребал свой 🐊🐼 зоопарк доменов для TDS и прелендингов, потому что наконец закончилась лицензия на кейтару, которую я продлевал ~3 года назад перед повышением цен.

🤔 С конца прошлого года думал, что возьму мануал камрада chesser'а (https://www.gofuckbiz.com/showthread.php?t=43720) и просто поставлю nginx, настроив его по-красоте с помощью nginxconfig (https://www.digitalocean.com/community/tools/nginx), а потом буду просто ручками менять в конфигах ссылку на ПП и красивую стату смотреть с помощью https://goaccess.io/ (не юзал, но выглядит ок - напишите, если тестили или есть что-то пизже).

☃️ Но недавно понял, что пока я поднимаю это добро и прикручиваю все это к зоопарку - наступил зима. Нет смысла тратить так впустую время, нужно делать то, что приносит деньги (а не пилить новые велосипеды). Поэтому в итоге решил перелезть на BossTDS (http://bosstds.com/), где пока ещё нет абонентской платы и продаётся пожизненная лицензия. И даже учитывая что там все было готово с точки зрения самой тдс (установил в 2 команды, создал схемы и пошёл лить трафик) - всё равно пришлось повозиться. Ибо какие-то из моих 🐴 пони сливали трафик на домены кейтары напрямую, какие-то делали это через API с рекапчей в виде антибота, а большинство просто через API, но проверяя ответ от кейтары (бот/не бот). Когда все это запускалось - я особо не парился, делал по-быстрому и выкидывал в прод.

❤️ Сейчас же задумался, что TDS - это сердце всех схем, поэтому нужно сделать максимально отказоустойчивую систему. Для этого под TDS я купил VPS у одного известного хостера, который точно гарантирует высокий аптайм на уровне 99.9%. А под домены - взял сервер у безабузного хостера, и с этих доменов - я буду долбить TDS через API (чтоб не светить её). За счёт правильно выбранных локаций - пинг между этими серверами составляет менее 5 мс, что весьма не дурно.

🤖 На всех доменах-прелендингах (которые, к слову, нужны чтоб собирать органический траф) - я тоже поменял общение с TDS и сделал всё через API с использованием простого самописного антибота, чтоб отсеять всех самых тупых краулеров (к слову, антибот я вешал только на урл слива - чтоб не мучаться с разруливанием белых ботов). Там везде используется Sentry (о которой я писал ранее), чтоб в случае багов - я знал где и что отвалилось. А если так случится, что TDS лежит, то будет редирект на запасной URL (об этом я расскажу в следующем посте).

👷🏿 После таких масштабных инфраструктурных изменений - можно снова садиться пилить доры и тестировать новые ниши. С опытом, конечно, приходит много интересных моментов 🙂

☝️ Как и обещал в предыдущем посте - выкладываю пример работы с API Keitaro TDS v6, где в случае падения/недоступности самой тдски - редирект будет отрабатывать и идти по запасной ссылке (план "Б").

🎯 Вытащил этот код из своих скриптов, сам использовал его долгое время и ни разу не возникло ситуаций, что мои доры льют трафик в никуда (а кейтара ложилась отдыхать пару раз из-за проблем с mysql). Единственное что стоит задуматься куда будет редирект в запасном варианте, я ставил ссылку на стабильную и старую ПП, в которой уверен.

⛏ Keitaro v6 тут только для примера, вроде бы у версий старше - есть отличия в API. В любом случае не так сложно там что-то допилить или переписать вообще под какую-то другую TDS.

🔦 Скрипт с подробным описанием лежит тут: https://gist.github.com/lord-alfred/d52f8d975ee103be143bf8fe14110b24

🔑 Запилил шаблон для решения хуяпчи через капча-сервисы: hCaptchaGnizer - прямой потомок моего ReCaptchaGnizer, который за 3 года жизни ни разу не подвёл и работает стабильнее чем сама рекапча)) Хоть hCaptchaGnizer и в Beta версии, но работоспособность проверена на своих проектах.

🤝 Буду рад, если эта инициатива снова спасёт кучу нервов многим шаблонописцам. Ознакомиться с полным описанием и найти ссылку для скачивания можно тут: https://zennolab.com/discussion/threads/77084/

🔥 https://cpa.rip/stati/antidetect-palivo/

🏎 Подъехали два доклада с прошлогодней конфы HighLoad++ об антифроде и антиспаме ☠️ С момента самих выступлений прошло уже более года, но всё равно между слов есть интересные мысли, которые должны быть актуальны и сейчас.

🔥 Антиспам в почте мейлру: https://youtu.be/H9U91WfgLYA

☄ Детекция ботов в одноклассниках: https://youtu.be/nwgdBQAkYJs


🍓 И ещё плюсом по теме:
- Антифрод в метрике (определение ботовых визитов): https://xn--r1a.website/Lord_Alfred/21
- Как поиметь Google и Яндекс: https://xn--r1a.website/Lord_Alfred/28
- Как боролись со спамом разработчики из Badoo: https://youtu.be/VknD3bQXuYU

✌️

​​🤑 (не)много угорел и спарсил список всех стран и очень много регионов/городов мира с охватом (❗️) по Google Ads.
Данные актуальны на текущий месяц, поэтому будет полезно переориентироваться исходя из этих цифр, а не смотреть старьё в википедии и https://www.internetworldstats.com/stats7.htm

🌎 Все данные тут (делайте копию себе для возможности редактирования): https://docs.google.com/spreadsheets/d/1_T_bmMfxsOifvxyz8bjWlmXzkFwPUicDgmd0NzE9hf4/edit?usp=sharing

🙌 Делитесь с коллегами этой табличкой, чтоб они тоже искали инсайты. Мне будет приятно 🙃

🍾 Ютуб подкинул просто шикарнейший доклад об антиспаме 👹 от авторов поисковика MailRu! Оказывается, у них уже много лет есть целая учебная программа о работе поисковых алгоритмов. Люто советую посмотреть хотя бы следующее видео из этого курса (особенно белым сеошникам, чтоб они развеяли все свои мифы).

🎞 Видео доклада: https://www.youtube.com/watch?v=HT5OWjIN4PI

📚 Программа курса:
• Информационный поиск, часть 1 (2020): https://sphere.mail.ru/curriculum/program/discipline/923/
• Информационный поиск, часть 2 (2020): https://sphere.mail.ru/curriculum/program/discipline/926/

🎥 Видео докладов (повторяются, но между делом может быть сказано что-то интересное):
• Инфопоиск, часть 1 (весна 2017): https://www.youtube.com/playlist?list=PLrCZzMib1e9o_BlrSB5bFkLq8h2i4pQjz
• Инфопоиск, часть 2 (весна 2017): https://www.youtube.com/playlist?list=PLrCZzMib1e9o7YIhOfJtD1EaneGOGkN-_
• Инфопоиск (весна 2016): https://www.youtube.com/playlist?list=PLrCZzMib1e9rvpoVamQnoBnRTudh3zoX0
• Инфопоиск (осень 2014): https://www.youtube.com/playlist?list=PLrCZzMib1e9rIikWB2NlBUF1z7HvaO_IO

🛸 Прилетело НЛО и забрало меня.

Первый пост о правильном резервном копировании PostgreSQL: https://habr.com/ru/post/506610/

🚷 Сделал bash-скрипт для массовой установки 301-редиректа на указанных доменах в CloudFlare через Page Rules, чтобы можно было в два прихлопа и три притопа перекинуть остатки трафа с пары сотен доменов, которые были зарегистрированы в прошлую черную пятницу.

Америку этим не открыл, но снова немного поупражнялся в баш-магии, да и поделиться не грех (авось кто-то ещё тоже захочет странного и поленится делать редирект у себя в nginx или нужно будет избавиться от серверов, а домены перепривязывать на другой IP – лень).

🔥 Забрать сие чудо можно отсюда: https://gist.github.com/lord-alfred/8ae23c6bcb4b2d8422c4f9dc428770a7

😴 Случайно наткнулся на очень познавательное интервью с Мэтью Уокером о сне и проблемах из-за недосыпа. В середине видео несколько лайфхаков как научиться быстрее засыпать - маст хев для всех, кто целый день пырит в экран.

Есть ощущение что это видео может помочь многим кто меня читает)))

🌚 https://www.youtube.com/watch?v=itgQRal2od0

​​Как спалить ПБН через поисковик🐣

О том, что через панель бинг для вебмастеров можно посмотреть беклинки своего сайта — уже написали многие.

Однако в своем докладе на 8p Дмитрий Мазурян озвучил интересную мысль — ПБН закрывают от краулеров сервисов по анализу обратных ссылок, но не от поисковых систем.

А Бинг — поисковая система, которая позволяет вам посмотреть обратные ссылки не только для своего сайта, но и для любого другого.

Алгоритм:
1. добавляем какой-то ваш сайт в панель вебмастеров;
2. заходим в раздел Backlinks;
3. жмем "Add a site to compare".

Все. Вы получили доступ ко всем данным Бинг об обратных ссылках сайта конкурента.

Поторопитесь, так как думаю, многие владельцы ПБН скорее предпочтут пренебречь Бингом, нежели дать ему информацию и подвергаться дополнительному риску.

by @rudnyk

🔥 Свежие доклады по тематике Антифрод с datafest 2020 👀

1️⃣. Вводный рассказ (Алексей Тощаков, Яндекс): https://youtu.be/CGCt023ck3Y

2️⃣. Детектирование порнографии в видеопотоке (Олег Саитов, МТС): https://youtu.be/zws7w8HMq5c

3️⃣. Антифрод для Беру (Алексей Савостин, Яндекс): https://youtu.be/Gns0C4wRvN4

4️⃣. Антиробот на CatBoost и не только (Анто Гой, Почта@Mail.ru): https://youtu.be/by9vFMOqnfc

5️⃣. ML антифрод для интернет платежей (Андрей Мельников, Тинькофф): https://youtu.be/xF-4MlNvNrk

6️⃣. Поиск похожих изображений в модерации (Юлия Лукашкина, Avito): https://youtu.be/k2Z0bloKhNQ

by @Lord_Alfred

​​🎃 Решил устроить небольшой беспроигрышный "конкурс" для раскрутки своего telegram-канала. А то годноту пишу, а подписчики не прибавляются 🤷

🤔 В начале лета я задумался над вопросом перенаправление прокси: использовать 1 прокси-провайдера с привязкой по IP на нескольких серверах, чтоб не платить за несколько тарифов. Сделать свою "прослойку", на которую купить 1 жирный тариф и подключаться через неё. Кто-то даже с помощью таких штук устраивает "складчины" на прокси 😉 Но по этой теме информации не так много, а уж готовых решений – и подавно нет (чтоб привязал прокси к серверу, выставил в скрипте URL для скачивания прокси-листа и после запуска получил список туннелированных проксюх).

🤗 Суть конкурса: вы делитесь этим постом в любом чате / канале в телеге, копируете ссылку или делайте скрин (где видно название чата!), и отправляйте мне в личку: https://vk.com/im?sel=-43106145 . Я проверяю и если всё ок (пост не удалили) – отправляю вам архив с инструкцией и скриптом как запустить туннелирование прокси на своём сервере (Ubuntu/Debian) с помощью 3proxy и bash-магии. Скрипт на столько автоматизирован, что всё необходимое скачается в первый запуск и скрипт сам пропишет себя в cron для периодического перезапуска (чтоб не нужно было передергивать его после смены прокси в списке).

💫 Ну что, погнали?) Попробуюем навести движуху и получить win-win!

by @Lord_Alfred

🤙 Случайно наткнулся на офигенный сервис и продукт: https://tailscale.com/ – он нужен для создания приватной сети между устройствами буквально в пару кликов.

⚙ Например, если у вас сервер для ZP стоит дома и за NAT, то благодаря этой штуке вы можете подключиться к нему откуда угодно: достаточно только поставить приложение на сервере и нужном устройстве, залогиниться через гугл (это крайне удобно и безопасно), а затем просто взять приватный IP адрес сервера и установить коннект через RDP/ssh/что угодно.

🖥 Я протестил у себя и действительно всё заработало с пол тычка, плюс по ощущениям скорость как будто я работаю напрямую (там внутри WireGuard). Но самый жир: не нужен отдельный сервер, через который все устройства будут ходить к друг другу в гости (как если это делать руками/pritunl). Не разбирался нужен ли он вообще или его "дают в пользование" tailscale, но учитывая что они разрешают подключить до 100 устройств бесплатно – думаю, у них всё посчитано и наши объемы для них ни по чём.

PS: на макоси пришлось ребутаться чтоб залогиниться в программе, но видимо это связано с установкой сервисов для добавления VPN.

😧 Прошел почти месяц с поста, где я решил устроить беспроигрышный конкурс с раздачей скрипта для туннелирования прокси, и почти каждый день кто-то писал мне в личку и рассказвал что пропиарил мой канал! Спасибо всем Вам за это 👍

👨🏻‍🎨 В итоге я решил заопенсорсить его, чтобы снять с себя груз ответственности.
Да, теперь вы можете просто зайти и скачать его к себе без квеста с пиаром моего телеграм-канала: @Lord_Alfred

👉 https://github.com/lord-alfred/ProxyTunneler

🦊 Но! Возникла другая идея)
У меня в закромах есть такой же офигенный и простой скрипт для поднятия IPv6 прокси от туннельных брокеров (я использую их для решения рекапчи). Тоже самое делают всякие щитпрокси, но только за деньги. И да, уже есть похожие скрипты в продаже/по частям разобранные в виде статей, но никто из них не скрестил несколько брокеров в рамках одного сервера 😤

✊ Если к концу ноября на канале будет больше 2500 подписчиков, то я также выложу в OpenSource и этот скрипт 🔥 Помогите мне достичь этой цели 😜
Если не наберется, то скорее всего устрою такой же беспроигрышный конкурс. Только, пожалуйста, не засыпайте канал фейками – я всё равно чищу подписчиков)

​​💔 Карты от Advcash тютю. Только что пришло письмо, аттачу скрин оттуда.

👾 Гугл снова адово прошелся по серверам, проиндексил кучу страниц (что аж SSD трещали), а потом в очередной раз выебнул половину доров. Не правда ли знакомая ситуация?

🤥 Что делать после такого – каждый решает сам: кто-то идёт на завод, кто-то ищет ответ в скрижалях футпринтах, а кто-то снова донастраивает сервера, чтобы качели в следующий раз брали ещё большую амплитуду, и индекса (а значит и трафа) выходило ещё больше.
Если вы тоже из последних, то следующий набор ссылок будет явно полезен:

💥 Тюнинг OS (я всегда юзаю Ubuntu если что):
– https://medium.com/@pawilon/tuning-your-linux-kernel-and-haproxy-instance-for-high-loads-1a2105ea553e
– https://web.archive.org/web/20200226020255/http://fx-files.ru/archives/704
– https://ma.ttias.be/linux-increase-ip_local_port_range-tcp-port-range/
- https://medium.com/@muhammadtriwibowo/set-permanently-ulimit-n-open-files-in-ubuntu-4d61064429a
– https://askubuntu.com/questions/1012912/systemd-logs-journalctl-are-too-large-and-slow

🔥 Тюнинг NGINX:
– https://github.com/denji/nginx-tuning
– https://www.nginx.com/blog/tuning-nginx
– https://ruhighload.com/Оптимальная+настройка+nginx
– http://nginx.org/ru/docs/ngx_core_module.html#timer_resolution

🌪 Лимитирование запросов в NGINX:
– https://nginx.org/ru/docs/http/ngx_http_limit_req_module.html
– https://www.freecodecamp.org/news/nginx-rate-limiting-in-a-nutshell-128fe9e0126c/
– https://www.nginx.com/blog/rate-limiting-nginx/
– https://ospi.fi/blog/nginx-rate-limiting-unlimited-edition.html

🤘 Заделитесь своими закладочками в комментах (ага, ради такого случая я их даже включил).

🚴 Решил заопнесорсить свой небольшой контейнер с парой полезных в хозяйстве ручек:

1️⃣ Определение языка текста (с помощью fastText);
2️⃣ Разделение текста на предложения (не тупо по точкам, а нормальная токенизация из NLTK).

Эдакая вводная в NLP для дорвейщиков 👹 Когда-то запилил для себя, юзаю по сей день, но (к сожалению) не нашел сил туда напичкать чего-то ещё. Возможно, братья-змееусты зашлют PR с нужной фичей. Все тогда будут вдвойне рады и довольны 😜

✌️ Рассказывать как/зачем/почему нет смысла, тем кто парсит тексты – будет и так понятно. А остальное можно узнать в самом репе:
👉 https://github.com/lord-alfred/dnlp

PS: память не жрёт, работает даже на 1-м ядре, отвечает мгновенно 🌪