AWS Notes

Есть база данных AWS RDS(8.0.mysql_aurora.3.08.0) + RDS Proxy.
К базе подключено N клиентов-приложений. Допустим их 10. Все подключены через прокси.

Появилась задача понять "кто из приложений кушает больше всего коннекшнов и отобразить это на графике".

Большее обсервабилити, большая детализация. Больше SRE👏
Однако штатно таких метрик не существует(ну или же я просто не нашёл).
Вариант с лямбдой и

SELECT usename, count(*) 
FROM pg_stat_activity 
GROUP BY usename;

Мне показался туповатым.

❕Я не знаю как это делают правильные инженеры, опишу свой вариант решения, который сделал в выходные.

- создаем в базе данных 10 новых пользователей с нужными правами
- добавляем креды новых юзеров в secret manager
- добавляем аксесс этих юзеров на RDS proxy кредами из secret manager

resource "aws_db_proxy" "this" {
...
  auth {
    auth_scheme               = "SECRETS"
    iam_auth                  = "DISABLED"
    client_password_auth_type = "MYSQL_NATIVE_PASSWORD"
    secret_arn                = aws_secretsmanager_secret.user1_credentials.arn
  }
  auth {
    auth_scheme               = "SECRETS"
    iam_auth                  = "DISABLED"
    client_password_auth_type = "MYSQL_NATIVE_PASSWORD"
    secret_arn                = aws_secretsmanager_secret.user2_credentials.arn
  }
...
}

- создаем новые rds proxy endpoint для каждого из приложений/юзера

resource "aws_db_proxy_endpoint" "this" {
...
  db_proxy_endpoint_name = "${var.project}-${var.environment}-user1"
  target_role            = "READ_WRITE"
...
}

resource "aws_db_proxy_endpoint" "this" {
...
  db_proxy_endpoint_name = "${var.project}-${var.environment}-user2"
  target_role            = "READ_WRITE"
...
}

- переключаем каждое из приложение на свой собственный RDS proxy endpoint через переменные окружения

Отлично, теперь у нас каждый микросервис подключен к отдельному RDS proxy endpoint с отдельными кредами.
Теперь идём в AWS CloudWatch в Dashboards.
У нас есть метрики и мы их можем смело раскинуть по каждому из RDS proxy Endpoint

- ClientConnections 
- DatabaseConnections 
- AvailableConnectionPercent
- ConnectionAttempts
- QueryRequests
- QueryRequestsPerSec

Смело строим графики и видим все интересующие параметры по каждому пользователю/приложению.

Итог:
На выходе у нас дашборд, который показывает массу деталей по конкретно каждому юзеру/приложению, что очень важно понять например кто больше делает нагрузки на БД.

Дополнительно:
- перед реализацией не забывайте про ограничения:
https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_Limits.html
- всё тоже самое можно сделать создав несколько RDS proxy для каждого приложения, но и платить придётся сильно больше
- есть вы подключили в своей Grafana datasource=CloudWatch, то он пока не умеет выводить метрики дименшна по endpoint, только по отдельным RDS proxy. Пока красивые графики только в CloudWatch Dashboard.

#AWS #observability #cloudwatch

Please open Telegram to view this post

VIEW IN TELEGRAM

👍26❤2

2K views19:43

AWS Notes

Forwarded from Make. Build. Break. Reflect.

#AWS #RDS

1.93K views19:43

AWS Notes

Preventing Data Leaks in RAG Pipelines with Bedrock

🔹 Securing the RAG Ingestion Pipeline

https://aws.amazon.com/blogs/security/securing-the-rag-ingestion-pipeline-filtering-mechanisms/

🔹 Hardening the RAG Chatbot Architecture

https://aws.amazon.com/blogs/security/hardening-the-rag-chatbot-architecture-powered-by-amazon-bedrock-blueprint-for-secure-design-and-anti-pattern-migration/

🔹 Building Secure and Scalable RAG Applications with Bedrock

https://aws.amazon.com/blogs/machine-learning/building-scalable-secure-and-reliable-rag-applications-using-amazon-bedrock-knowledge-bases/

#Bedrock #security

Amazon

Securing the RAG ingestion pipeline: Filtering mechanisms | Amazon Web Services

Retrieval-Augmented Generative (RAG) applications enhance the responses retrieved from large language models (LLMs) by integrating external data such as downloaded files, web scrapings, and user-contributed data pools. This integration improves the models’…

👍3

2.31K views14:03

AWS Notes

This media is not supported in your browser

VIEW IN TELEGRAM

🆕 Step Functions + auto-complete

#StepFunction

🔥2❤1

2.11K viewsedited 12:39

AWS Notes

But the prices are totally inadequate.

Too slow, but OK.

https://aws.amazon.com/about-aws/whats-new/2025/02/amazon-guardduty-malware-protection-s3-price-reduction/

$0.60 → $0.09 per GB

#GuardDuty

Amazon

Amazon GuardDuty Malware Protection for S3 announces price reduction - AWS

Discover more about what's new at AWS with Amazon GuardDuty Malware Protection for S3 announces price reduction

👍1

2.3K views19:19

AWS Notes

🚀 Join our AWS Demo Presentation! 🚀

We are excited to welcome you to the demo presentation on How to deploy your web page in AWS, leveraging Amazon Q to assist you in CDK implementation.

During this session, an AWS Solutions Architect will elaborate on the role of Amazon Q in your daily routine and share tips and tricks to make the development process as smooth and enjoyable as possible.

The demo session will be led by Egor Miasnikov and Anton Kovalenko, both Senior Solutions Architects at AWS, and Anton Kustikov, a Systems Engineer and AWS DevOps Engineer at EPAM Systems.

👉 To get the most out of the session, we recommend registering your AWS Builder ID in advance to be able to run tests in parallel. You can create your Builder ID here:
https://docs.aws.amazon.com/signin/latest/userguide/create-aws_builder_id.html

Find out more details and register for the event via the link below:
https://wearecommunity.io/events/amazon-q-deploying-web-app-via-cdk

❤4

2.45K viewsDzm Var, 08:45

AWS Notes

CloudFormation + разбиение стэков и переименование ресурсов 🎉

https://aws.amazon.com/blogs/devops/introducing-aws-cloudformation-stack-refactoring/

Теперь можно разбить толстый существующий CloudFormation Stack на маленькие, то есть перекинуть ресурсы из одного в другой!

А ещё к тому можно переименовать любой ресурс в человеческое название! То есть наконец-то могу закрыть гештальт и переименовать ресурс продовской базы TestDbToDelete, дабы не смущать каждое поколение новых девопсов на проекте, объясняя, кто и в каком состоянии придумал такое название.

P.S. Мои соболезнования Карену (многократный автор Mastering AWS CloudFormation) — опять всё переписывать.

#CloudFormation

Amazon

Introducing AWS CloudFormation Stack Refactoring | Amazon Web Services

Introduction As your cloud infrastructure grows and evolves, you may find the need to reorganize your AWS CloudFormation stacks for better management, for improved modularity, or to align with changing business requirements. CloudFormation now offers a powerful…

😁11💯2🤮1

2.01K views13:20

AWS Notes

Заметка в LinkedIn о том, что сертификация и последующая работа сильно отличаются (первая картинка).

Вторая — ответ автору Yan Cui, что пилит реально хорошие статьи и курсы, действующий AWS Serverless Hero.

#Certification

😁43👍5❤2🔥2🤔1💯1

2.21K views13:50

AWS Notes

Oracle обосновался и теперь можно говорить про четвёрку лидеров.

Четвёрка лидеров в облаках: AWS, Azure, GCP, OCI.

У IDC показано очень полезное обозначения размера каждого облака, что более показательно, чем у Gartner.

Интересно видеть расположение OVHcloud и DigitalOcean.

Отдельно стоит упомянуть про новичка в облачной гонке — облако от Samsung. Всё по-честному, все базовые вещи в наличии и даже заявлено как №1 в Корее.

👍12

3.55K views11:39

AWS Notes

В компании люди делятся на тех, кто понимает, чем они не управляют и тех, кто управляет тем, что они не понимают.

Закон Путта

🔥29👍7🤔3😁2😢1🤪1

2.44K views15:25

AWS Notes

Пользователям 7-Zip стоит обновиться:

https://nvd.nist.gov/vuln/detail/CVE-2025-0411

2.2K views10:46

AWS Notes

Comparison of different WAFs

◽️ AWS WAF
◽️ CloudFlare WAF
◽️ Google Cloud Armor
◽️ F5
◽️ Fortinet FortiWeb
◽️ Imperva Cloud WAF
◽️ Microsoft Azure WAF
◽️ NGINX ModSecurity
◽️ open-appsec

https://www.openappsec.io/post/best-waf-solutions-in-2024-2025-real-world-comparison

To make it easier to understand, I have added clearer captions to the graph.

#security

👍9

2.66K views10:55

AWS Notes

AWS STS SAML Driver for Python — get temporary credentials for AWS CLI without the need to screen scrape or emulate a browser.

https://github.com/awslabs/StsSamlDriver

- Support for IAM Role assumption using SAML assertions
- Optional AWS Console access
- Configurable session duration
- targets specific region
- no screen scraping or browser emulation

GitHub

GitHub - awslabs/StsSamlDriver

Contribute to awslabs/StsSamlDriver development by creating an account on GitHub.

👏7👍1

2.4K views14:34

AWS Notes

2025-й — год AI

2025-й войдёт в историю, как 1997-й, когда Каспаров проиграл Deep Blue. Или 2015 и AlphaGo, выигравший в Го после самообучения. Только там были узкие отдельные вещи, а в 2025-м AI в целом станет умней людей.

Это уже произошло. Просто после 2025-го мы начнём к такому привыкать как к данности. И будем отмечать моменты, где ещё пока это не так. Лишь подтверждая этим общее правило.

Кто пропустил развитие AI и не в курсе возможностей, продолжая его оценивать по своим первым впечатлениям от использования ChatGPT 3.5, стоит поинтересоваться темой — всё уже не так. Вышедшая недавно фича Deep Research от OpenAI позволяет уже сейчас получать научные исследования качественней тех, что может сделать доктор наук. И это просто используя имеющиеся на сейчас модели и доступные в интернете данные.

Причём это не какие-то особенные технологии, для этого даже не требуется платить $200 в месяц. Можно взять Open Source версию и запустить на своём компе в Docker за $1:

https://github.com/dzhng/deep-research

Год назад говорили, что домашним заданиям школьников и студентов пришёл конец, т.к. ChatGPT делает это на ура. Теперь пришёл конец и докторским диссертациям. Нематерные отзывы протестировавших возможности учёных говорят о полном пересмотре подходов к этому уже прямо сейчас.

Актуальная на сейчас версия GPT-4 появилась почти год назад (https://openai.com/index/gpt-4-research/). Однако изменения, которые даёт AI в целом, происходят быстрей, чем предполагалось.

Это не значит, что всех заменят на AI. Не всех, пока это банально дорого. Однако, если вы волнуетесь, то правильно, значит вас точно заменят.

Что же делать? Учиться. И речь не про то, как писать запросы, это сейчас просто базовая грамотность как способность запустить Word. Учиться использовать инструменты в области AI, начать с практики, понять самую базовую теорию.

В идеале — работать на проектах, связанных с AI. Кто может выбить на работе внедрение AI под любым соусом — делайте это прямо сейчас. Кто пилит что-то своё и продолжает игнорировать AI — перечитайте ещё раз этот текст.

Итого. Люди, задумайтесь, 2025-й год на дворе, AI уже наступил!

P.S. 2025-й год — последний год, когда можно удачно переключиться с DevOps на AI Ops и Data Ops.

#AI

GitHub

GitHub - dzhng/deep-research: An AI-powered research assistant that performs iterative, deep research on any topic by combining…

An AI-powered research assistant that performs iterative, deep research on any topic by combining search engines, web scraping, and large language models. The goal of this repo is to provide the s...

🤡30💯10👍7❤2🤣2💩1

2.45K views20:47

AWS Notes

Get secrets from Secrets Manager to EKS using Pod Identity instead of IRSA:

▪️ No need to create and manage service accounts for each application.
▪️ More granular control over permissions at the Pod level.
▪️ Easier to implement in large-scale environments.
▪️ Best practices for security.

https://aws.amazon.com/blogs/security/announcing-ascp-integration-with-pod-identity-enhanced-security-for-secrets-management-in-amazon-eks/

There are examples for a single- and cross-account.

#EKS #SecretsManager

5👍16

2.28K views12:30

AWS Notes

⚡ Euro-StarGate for 200 billion €

https://digital-strategy.ec.europa.eu/en/news/eu-launches-investai-initiative-mobilise-eu200-billion-investment-artificial-intelligence

- Building up AI Factories and GigaFactories
- 12 cutting-edge AI hubs powered by EuroHPC supercomputers
- Democratizing AI computing power (think CERN, but for AI)
- World-class infrastructure accessible to startups & scientists
- Strong focus on trustworthy AI and with a strong objective towards the industrial sector and mission-critical applications

#AI

Shaping Europe’s digital future

EU launches InvestAI initiative to mobilise €200 billion of investment in artificial intelligence

At the Artificial Intelligence (AI) Action Summit in Paris, Commission President Ursula von der Leyen has launched InvestAI, an initiative to mobilise €200 billion for investment in AI, including a new European fund of €20 billion for AI gigafactories.

2.09K views17:01

AWS Notes

PQC (Post-Quantum Cryptography) — планы меняются. Таймлайн внедрения изменяется с 2035-го года на "как можно скорее". Писал в начале 2023-го про взлом RSA с помощью квантовых компьютеров. В конце 2024-го про результаты подготовки к переходу на PQC. И вот…

В копилку ускорения перехода на PQC (Post-Quantum Cryptography):

Oxford scientists teleported a quantum gate between two modules using distributed quantum computing (DQC)—a major first!

They transferred a CZ gate with 86% accuracy, enabling Grover’s algorithm (71% success rate). The experiment, published in Nature, proves quantum modules can connect via optical networks.

This moves us closer to scalable quantum computers, with big impacts on AI, cryptography, and computing power.

https://www.ox.ac.uk/news/2025-02-06-first-distributed-quantum-algorithm-brings-quantum-supercomputers-closer

#PQC

University of Oxford

First distributed quantum algorithm brings quantum supercomputers closer

In a milestone that brings quantum computing tangibly closer to large-scale practical use, scientists at Oxford University’s Department of Physics have demonstrated the first instance of distributed

2.21K views13:45

About

Blog

Apps

Platform