Отправляем VPC flow logs в ES.

#vpc #logs #vpc_flow_logs #ES

На данный момент через #CloudFormation нельзя создавать #ES в #VPC, нужно предварительно создать #IAM #role, для этого выполнить #aws_cli:

aws iam create-service-linked-role --aws-service-name es.amazonaws.com

Полезный шаблон шифрованного #ES в #VPC.

#CloudFormation #templates

⁠О вреде юзеров.

В грамотно спроектированном окружении нет (не должно быть) #IAM юзеров. Почему? Потому что у юзера есть #credentials и они должны быть где-то явно указаны (в отличие от роли, прикреплённой к инстансу).

Если у вас один аккаунт на всех и всё, значит все пользователи заходят через юзеров, что проблема в степени количества этих юзеров. Обязательно включайте MFA для всех юзеров. А лучше переходите на светлую сторону #multi_account_strategy + #SSO.

В легаси-проектах, где ПО не умеет роль (требует наличия AccessKeyId и SecretAccessKey) - приходится заводить юзера. Включайте ему минимальные права - ровно на то, что он должен делать.

Для некоторых ситуаций, например, доступ в #CodeCommit по SSH или в #ES вне #VPC - тоже требуется наличие юзера. Всё это издержки Амазона (фу, как не стыдно), не придумавшего пока, как реализовать это без юзеров.

Во всех остальных случаях - никаких юзеров. Помните, хороший юзер - это роль.

#recomendation

При создании ES (Amazon Elasticsearch Service) кластера, выбирая тип инстанса нужно учитывать, что слабые виртуалки под него имеют ограничения по макимальному размеру диска.

Например, поставив слабенькую t2.medium виртуалку - не получится к ней подцепить диск больше 35 GB. И если в консоли это хоть как-то видно (но тоже плохо), то при написании шаблонов или каких-то скриптов, ошибка вылезет лишь при их отработке.

Потому лучше сразу зайти сюда:

https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/aes-limits.html#ebsresource

И выбрать нужно сочетание «тип виртуалки – объём диска».

#ES

​​T3 инстансы для Amazon Elasticsearch Service:

https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/aes-supported-instance-types.html

В дополнение к дешёвым t2.micro/small/medium.elasticsearch доступны t3.small.elasticsearch и t3.medium.elasticsearch, которые стоят столько же, но быстрей и позволяют использовать до 100ГБ и 200ГБ места соответственно (в отличие от 35ГБ для всех T2).

#ES

SAML аутентификация для Кибаны:

https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/saml.html

#ES

Graviton 2 для Amazon ES:

https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/aes-limits.html#ebsresource

Можно выбрать c6g/m6g/r6g/r6gd от large и выше. Если сравнить стоимость, то Graviton 2 получается на 10% дешевле:

c5.large.elasticsearch $0.125
c6g.large.elasticsearch $0.113
m5.large.elasticsearch $0.142
m6g.large.elasticsearch $0.128

#ES #Graviton

ES — cold хранилище:

https://aws.amazon.com/blogs/big-data/introducing-cold-storage-for-amazon-elasticsearch-service/

Cold storage for Amazon ES – a fully managed, low cost storage tier that makes it easy to durably store historical data and analyze on-demand, at a lower cost than other storage tiers.

#ES