Один из участников нашего чатика попросил написать про свой пет проект, напрямую связанный с он-чейн аналитикой да еще и какой. На все вопросы он готов ответить, можно тегать в чате @ioterw


TracEVM

github.com/ioterw/tracevm

Тулза для частичного символьного трекинга состояния эвм. С помощью ее можно смотреть то каким образом любое значение было посчитано.

Например, можно узнать инфу о слотах. TracEVM показывает всю формулу того как адрес был посчитан и выдает данные как оно было в солидити (это все без исходников).

Также можно тречить эвенты и результат выполнения транзакции.

Подходит для детального изучения контракта на локальной ноде. В будущем планируется трейсинг ончейн транзакций.

Отличается от прочих дебагеров тем, что хранит данные формульно. Тобишь не возникает вопроса как было посчитано значение. Любое значение так или иначе было высчитано из поданых юзером коллдаты или иниткода.

Вкатываемся в Flipside (аналог дюны с бесплатным апи)
Пост 2 из 4

📈 Более нежное знакомство с ончейн анализом можно начать с инструментов, таких как Dune или Flipside. Эти платформы бесплатно предобрабатывают сырые ончейн данные, структурируют их по таблицам, формируют схемы данных и позволяют пользователям самим формировать запросы с помощью языка SQL для обработки данных. Также они предоставляют возможность визуализировать данные и создавать интерактивные дашборды.

🔍 В этом эпизоде мы рассмотрим работу с Flipside. Принцип работы этого инструмента схож с Dune, однако схемы данных отличаются, и каждый инструмент использует свой диалект SQL (Flipside работает на Snowflake, а Dune использует собственный диалект). Поэтому построение одного и того же запроса в этих инструментах будет отличаться.

⚠️ Стоит отметить, что для работы с данными в режиме реального времени Flipside не подходит. Данные приходят с задержкой, и для каждого блокчейна эта задержка разная. Возможно, с подпиской ситуация лучше. Лично я вижу этот инструмент полезным для общей аналитики, такой как анализ доходов протокола, объемов сделок, активности пользователей – ситуаций, где фактор времени не играет особой роли. Также Flipside отлично подходит для старта, когда необходимо понять основы и нужен дружелюбный интерфейс.

👥 Кроме того, у Flipside есть очень активное сообщество – присоединяйтесь!
https://discord.gg/XjxxcwVF

📚Содержимое постов также добавлено в гайд по ончейн аналитике

Индексер сделок Raydium/pump.fun Solana с прямым доcтупом к базе clickhouse

Вкатываемся в Flipside (аналог дюны с бесплатным апи)
Пост 3 из 4

📊 В данном уроке мы попробуем получить новые токены в сети Ethereum за последние 7 дней и построить таблицу активности по указанному токену в формате, схожем с тем, что есть у Dextools.

Для создания таблицы новых токенов мы воспользуемся таблицей из раздела DeFi данных эфира, а именно ethereum.defi.dim_dex_liquidity_pools, которая хранит данные о пулах ликвидности на различных DEX'ах в сети эфира, включая данные о создании данного пула ликвидности, чем мы и воспользуемся.

Из упомянутой выше таблицы возьмем дату создания пула, блок, в котором он был создан, адрес смарт-контракта и распарсим токены, которые хранятся в таблице в формате JSON. Также отфильтруем созданные токены по времени - за последнюю неделю.

select 
    distinct creation_time::date creation_date,
    creation_block, 
    pool_address,
    case when tokens:token0 = '0xc02aaa39b223fe8d0a0e5c4f27ead9083c756cc2' then tokens:token1 
      else tokens:token0 end  token_address,
    case when symbols:token0 = 'WETH' then symbols:token1 
      else symbols:token0 end  symbol  
  from 
    ethereum.defi.dim_dex_liquidity_pools
  where creation_time::date >= current_date - 7

Полученный набор данных будем использовать далее для анализа сделок на DEX'ах. На что стоит обратить внимание: для чего создавалась таблица выше? Во-первых, чтобы узнать сам факт создания новых токенов, а во-вторых, сама по себе таблица сделок на DEX'ах очень объемная, и чтобы отфильтровать сделки, где не участвуют интересующие токены, нужно отбросить лишнее.

У каждой транзакции в таблице ethereum.defi.ez_dex_swaps есть столбец contract_address, который указывает на контракт, с которым происходило взаимодействие при свапе. В нашем случае это и есть смарт-контракт пула ликвидности. Поэтому мы отфильтруем операции, связанные с пулами, полученными ранее, объединив таблицы по переменной contract_address (или pool_address). После этого мы получим интересующие нас данные, включая адреса трейдеров, хэши транзакций, количество проданных и купленных токенов и прочее. Далее останется дело за фантазией - какие метрики обсчитать и синтаксисом SQL.

📚Содержимое постов также добавлено в гайд по ончейн аналитике

Индексер сделок Raydium/pump.fun Solana с прямым доcтупом к базе clickhouse

Вкатываемся в Flipside (аналог дюны с бесплатным апи)
Пост 4 из 4

📝 Для создания таблицы активности по конкретному токену на основе сделок на DEX'ах, мы подготовим две вспомогательные таблицы: одну для покупок (raw_buys), другую для продаж (raw_sells). Эти таблицы будут содержать информацию о сделках, где пользователи покупали или продавали указанный токен за ETH.

В таблице сделок есть две очень важных переменных - token_in и token_out т.е. токен на входе, который отправлял пользователь (продавал) в обмен на токен, который получал на выходе, который он купил. Для нашей задачи:

- raw_buys будет содержать сделки, где пользователи покупали указанный токен за ETH.
- raw_sells будет содержать сделки, где пользователи продавали указанный токен за ETH.

Поскольку Flipside обрабатывает данные с задержкой и цены в долларах для сделок не появятся сразу, нам нужно будет подтянуть цены WETH из другой таблицы и умножить их на количество токенов WETH для каждой сделки, чтобы получить сумму сделки в долларах.

with eth_prices as(
select 
  hour,
  token_address,
  symbol,
  price
from 
  ethereum.price.ez_prices_hourly
where 
  token_address = '0xc02aaa39b223fe8d0a0e5c4f27ead9083c756cc2'
and 
  hour::date >= current_date - 7
),
raw_sells as(
  select 
    block_number,
    tx_hash,
    block_timestamp,
    origin_from_address wallet,
    '🔴 sell' type,
    symbol_in sold_token,
    amount_in sold_amount,
    symbol_out bought_token,
    amount_out bought_amount,
    round(amount_out * last_value(price) ignore nulls over (order by eth_prices.hour desc), 2) as amount_usd
  from 
    ethereum.defi.ez_dex_swaps swaps
  left join 
    eth_prices
  on 
    date_trunc('hour', swaps.block_timestamp) = eth_prices.hour
  and 
    swaps.symbol_out = eth_prices.symbol
  where 
    token_in = '{{token_address}}'
),
raw_buys as(
select 
  block_number,
  tx_hash,
  block_timestamp,
  origin_from_address wallet,
  '🟢 buy' type,
  symbol_in sold_token,
  amount_in sold_amount,
  symbol_out bought_token,
  amount_out bought_amount,
  round(amount_in * last_value(price) ignore nulls over (order by eth_prices.hour desc), 2) as amount_usd
from 
  ethereum.defi.ez_dex_swaps swaps
left join 
  eth_prices
on 
  date_trunc('hour', swaps.block_timestamp) = eth_prices.hour
and 
  swaps.symbol_in = eth_prices.symbol
where 
  token_out = '{{token_address}}'
)

select * from raw_buys
union all
select * from raw_sells
order by block_timestamp desc

Я объединил указанные запросы в дашборде, который вы можете самостоятельно протестировать после входа на сайт и настроить под свои данные. В таблицах также можно провалиться и изучить код. Все таблицы и графики интерактивные, данные из таблиц можно копировать. В самой таблице в левом нижнем углу есть строка поиска, которая поможет найти значения любого столбца (важно: адреса в Flipside хранятся в нижнем регистре, поэтому если вы введете адрес с большими буквами, таблица не отфильтруется).

📚Содержимое постов также добавлено в гайд по ончейн аналитике

Индексер сделок Raydium/pump.fun Solana с прямым доcтупом к базе clickhouse

Набросим так сказать, кто хочет подискутировать - велком в чат. Тема интересная

Методолгия из гитхаба Ники (по ссылочкам будете переходить прям на нужный фрагмент кода на питоне, хз как это было сделано, но круто) :
TL:DR on the methdology:
1 Collect all txns with a known sandwicher as the signer(Ec9xymGeMuURLQfpMsMPkEwy5ktAiQSaFSjF5oJ3kERa)
2 filter out txns that make a tip to any jito tip collector
3 filter out txns that aren’t raydium trades
4 group txns that are in the same slot and have a net positive post balance on the same trading pair
5 group identified sandwich txns and leader slots against leader schedule.
Some of the txns might not be sandwiches but upon spot checking the sandwich groupings it's clear that most of these are sandwich txns.
One could also spot check the hashes to see if they are a part of any bundles at https://explorer.jito.wtf/

Я выложила дату по ~240 валидаторам которые сэндвичили

Если кого-то сэндвичили и затем вы чувствовал боль/грусть/апатию
Мне было бы очень приятно если кто-то поддержит/зашейрит

https://x.com/0xsucxub/status/1826028442028224839?s=46&t=VQ63tRf9FX0O7FO21zG_NQ

IDE — Cursor

GitHub Copilot уже не тот, и появляется множество новых автокомплитов для VSCode. Я тестировал некоторые из них:

- StarCoder (хорошо работает с локальными моделями)
- Supermaven (его активно шиллил Theo, популярный frontend ютубер)

Но только совсем ленивый не видел миллиард упоминаний Cursor за последние 3 месяца, так что я так же решил его попробовать

Перейти на Cursor очень легко - он автоматически импортирует все настройки из VSCode, включая расширения и историю открытых проектов

Впечатления первое время были странными. Автокомплит ничем не отличался от других, а добавлять импорты с Typescript даже проще, чем использовать LLM для этого. Мое мнение изменилось только с появлением Composer внутри Cursor

Composer - это как хорошо настроенный чат в Claude для работы с проектом, но с сохранением контекста в длительной переписке и индексированием кодовой базы проекта by default

Главное преимущество в сравнении с использованием чатов - автоматическое подставление нового кода в проект. Когда ты работаешь в Claude и загружаешь ему файл на 500 строк и просишь изменить какую-то логику, иногда достаточно трудно глазами найти конкретное место, где он внес изменения, при том часть кода он возвращает в изначальном формате, а где-то пишет existing code there

👀 Хороший пример того, как я использую Composer можно посмотреть на прикрепленной к посту демке. Здесь я показываю, как за 2-3 минуты получилось решить прилетевший баг о проблемах отображения данных в телеграм боте, о котором я еще расскажу немного позднее

Улучшаем работу Cursor:

1.Добавьте .cursorrules в проект с базовым объяснением правил, паттернов и используемых технологий. Пример из популярного opensource fullstack starter kit

2. Используйте .ai директорию для работы с Composer в любом проекте, которая включает в себя несколько часто повторяющихся задач, такие как review, документация, работа над структурой проекта и трекинг рабочих сессий для описания изменений. Мне не хватило репозитория для понимания работы, поэтому стоит посмотреть примеры использования в иксе у автора

Happy coding and Happy Programmer's day! 🚀💻

Пока далеко не ушли, в Курсоре можно заиндексировать для него любую справку из интернета, чтобы он вам ответы с ее учетом выдавал

https://x.com/dshukertjr/status/1833886970231091305?s=46&t=CL2hzNewmd3gLOMUwv3Etg

Последнее время начал замечать, что много людей приходит в чат, кто есть в сообществе https://xn--r1a.website/chaoticgooddao. Как я сам туда попал уже не помню

Потом еще и пересылки годноты оттуда попадаться начали. Решил узнать, что это такое, оказалось приятое и с любовью модерируемое сообщество где много людей и из нашего чата. Админ @iamlonga согласился друг про друга написать, что я и делаю с большим удовольствием

Там банану ломанули, пока непонятно как. Ну не целиком, а часть кошельков сдрэйнили. Возможно через gateway бота, но это не точно. Если у кого есть бабки там, переведите на свежие кошельки

статистика торговых ботов посчитанная на транзах с ПФ примерно за час

Последние пару дней в чате прям горячо было, захотелось аж выжимками поделиться

Большое спасибо и огромное уважение всем участникам дискуссий

📆 Что обсуждалось вчера 21.09.2024

🔗 Сравнение Layer 2 решений (9 сообщений)
💸 Обсуждение раг пулов ликвидности (6 сообщений)
📈 Инструменты для анализа транзакций и PNL (6 сообщений)
🚀 Тестирование новых проектов и дропы (3 сообщений)
⚖️ Обсуждение легальности раг-пуллов (20 сообщений)
💻 Выбор языка программирования для ончейна (20 сообщений)
🔍 Сравнение языков Python и JavaScript (16 сообщений)
🖥️ Критика интерфейсов в C# и Delphi (10 сообщений)
🖥️ Обсуждение нод и мемпула (10 сообщений)

Интересные ссылки:

🔗 Статья о том, как определяются скам-пулы и их влияние на рынок.
🔗 Плагин для улучшения интерфейсов в WinForms.
🔗 Платформа для анализа децентрализованных бирж и оценки прибыли и убытков.
🔗 Сайт тестнета Kakarot, обсуждаемого в контексте возможных дропов.

#dailysummary

📆 Что обсуждалось вчера 22.09.2024

🔄 Изменения в механизмах торговли (9 сообщений)
🤖 Использование ботов в торговле (7 сообщений)
🔍 Анализ транзакций и их источников (5 сообщений)
📊 Несоответствие данных между сервисами (4 сообщений)
🎯 Снайпинг и его эффективность (22 сообщений)
🪙 Обсуждение эфир и солана (14 сообщений)
💰 Проблемы с ценами и комиссионными (10 сообщений)
🤖 Крутка объемов и боты (10 сообщений)
🔍 Поиск прибыльных кошельков на Солане (1 сообщений)
📊 Инструменты для анализа данных (1 сообщений)

Интересные ссылки:

🔗 Ссылка на tonviewer для проверки данных о холдерах токена $NOT.
🔗 Ссылка на Dune для поиска прибыльных кошельков, которые торговали мемами на Солане.
🔗 Данные о торговых кошельках для анализа снайперов на платформе Solana.
🔗 API для агрегирования аккаунтов в блокчейне, позволяющее анализировать данные о транзакциях.

#dailysummary

Позалипать норм

Тем, кто торгует или интересуется мемами, очень рекомендую почитать дискуссию за 24 число