Как WayBack Machine помог мне стать мидл-программистом

Многие знают, что с помощью WayBack Machine можно посмотреть, как выглядел сайт в прошлом. Но мало кто догадывается, что этот инструмент может быть полезен для поиска скрытых возможностей ресурсов, включая API и другие данные. Сегодня я хочу поделиться историей, как WayBack Machine помог мне в карьере.

📖 Пять лет назад я работал младшим программистом и занимался разработкой ETL-пайплайнов. Основные задачи заключались в автоматизированном сборе данных с различных ресурсов и их последующей обработке. Однажды, с одним из ресурсов возникла проблема: почти на каждый запрос выскакивала капча, а сайт был напичкан сложным JavaScript, что делало невозможным сбор данных через стандартные инструменты вроде requests и Selenium. Через некоторое время эту задачу поручили мне.

После нескольких неудачных попыток я понял, что "в лоб" задачу не решить. Тогда я вспомнил о WayBack Machine . Я ввёл URL ресурса в поисковую строку и добавил в конце /*, чтобы получить список всех когда-либо обработанных URL. Среди результатов оказался URL, ведущий на скрытый от поисковиков API этого ресурса.
Это был настоящий клад: никаких капч, никакого JavaScript, только чистый JSON с данными. После согласования использования этой находки с владельцем ресурса, я смог использовать найденный API для сбора данных. Задача была выполнена за пару дней, а через несколько недель я получил повышение до мидл-программиста.

С того момента этот способ очень часто помогал и помогает мне в решении различных задач.

Его также можно использовать в Bug Bounty для поиска скрытых возможностей ресурсов, которые не отображаются в поисковиках. Однажды я нашёл кейс, где у ресурса несколько лет назад был открытый Swagger с описанием всего функционала. Хотя доступ к Swagger позже закрыли, API остался прежним.


🎯Вывод
WayBack Machine — это не только инструмент для просмотра старых версий сайтов, но и мощный ресурс для поиска скрытых данных, API и других возможностей. Он может стать вашим секретным оружием в решении сложных задач, будь то автоматизация, Bug Bounty или просто поиск информации. Не ограничивайтесь стандартными подходами — иногда стоит копнуть глубже!
Не бойся искать нестандартные пути. Иногда именно они приводят к самым крутым результатам.🔥

P.S. приведу описанный выше способ поиска на примере сайта Microsoft (см. скрин)

#WayBackMachine #Программирование #Автоматизация #BugBounty #API #DataScience #КарьераИТ #MiddleDeveloper #Лайфхаки

Если твоё резюме не нашёл ни один OSINT-специалист —
значит, ты плохо искал работу

Пару лет назад ко мне обратился одногруппник за помощью. Ему нужно было провести аналитику по вакансиям с hh.ru для написания научной работы, но он не знал, как собрать данные. Оказалось, всё довольно просто — у HeadHunter есть открытый API, где за деньги можно получить тонны данных: резюме соискателей, информацию о компаниях, вакансии конкурентов и многое другое.

Но кое-что можно вытащить и бесплатно:
✅ Информацию о вакансиях
✅ Информацию о компаниях

Документация
Полный список API-методов — https://github.com/hhru/api

Как это сделать?
Для примера покажу, как извлекать содержимое вакансий, которые опубликованы на текущий момент. Например, чтобы получить вакансии Яндекса можно использовать следующий запрос:

https://api.hh.ru/vacancies?employer_id=1740&page=1

Где:
- employer_id — ID компании (можно найти в URL страницы работодателя, например: https://hh.ru/employer/1740 — значит, ID = 1740)
- page — номер страницы (по умолчанию API отдаёт по 100 вакансий за раз)

Но есть ограничение: бесплатно можно получить не более 2000 вакансий из одного запроса.

💡 Как обойти лимит в 2000 вакансий?
Можно разбить запросы по дополнительным параметрам. Например, добавить фильтр по профессиональным ролям (параметр professional_role).

Допустим, что у Яндекса (employer_id=1740) имеется 3000 вакансий. Чтобы получить их все, добавим фильтр по роли (например, "Программист" — professional_role=96):

https://api.hh.ru/vacancies?employer_id=1740&professional_role=96&page=1

Затем перебираем все доступные значения параметров professional_role (полный список ролей) и page. Перебор параметров позволяет собрать все данные, поскольку для каждой роли в компании вряд ли будет больше 2000 открытых вакансий. Если же такая ситуация когда-нибудь возникнет, то можно добавить дополнительные параметры фильтрации, которые аналогично будут перебираться в процессе сбора.

Зачем это нужно?
1️⃣ Разведка технологий компаний
→ Вакансии часто содержат стек технологий (полезно для IT-специалистов, пентестеров и маркетологов).

2️⃣ Подготовка к собеседованию
→ Собрать требования из вакансий, передать их AI (вместе с имеющимися у вас навыками) — получить идеальное резюме под конкретную компанию.

3️⃣ Сравнение профессий
→ Хотите выбрать между двумя специальностями? Можно сравнить, какая чаще встречается и лучше оплачивается (хотя зарплаты в вакансиях указывают не всегда).

4️⃣ Анализ рынка труда
→ Исследовать тренды, зарплатные вилки, востребованные навыки.

#BritLab #HeadHunter #API #Парсинг #Аналитика