При копіюванні aws s3 cp або aws s3 sync порожні каталоги не створюються, оскільки S3 працює з об’єктами і зовсім не знає каталогів (це лише шлях до об’єкта).

Якщо потрібно отримати саме з порожніми каталогами, то доведеться використовувати сторонні утиліти, наприклад, S3cmd.

Щоб скоріше додати такий функціонал в офіційну версію, можна поставити плюсик тут.

#s3

⁠Доступ до S3 бакета для всіх акаунтів організації

Буває потрібно швидко і просто розшарити якийсь бакет або його частину для всіх, але не "для всіх взагалі" (в інтернеті), а тільки "для своїх всіх".

У разі мульти-аккаунт стратегії дана задача перетворюється в "розшарити для всіх акаунтів організації". Для цього існує спеціальна опція PrincipalOrgID, яку і можна використовувати:

{
 "Version": "2008-10-17",
 "Statement": [
  {
   "Sid": "Full access to path /some-path for all of organization accounts",
   "Effect": "Allow",
   "Principal": {
    "AWS": "*"
   },
   "Action": "s3:*",
   "Resource": [
    "arn:aws:s3:::my-shared-bucket",
    "arn:aws:s3:::my-shared-bucket/some-path/*"
   ],
   "Condition": {
    "StringEquals": {
     "aws:PrincipalOrgID": "o-dtj1bor777"
    }
   }
  }
 ]
}

Це недосконале рішення з точки зору безпеки, але точно краще варіанту зробити S3 бакет публічним.
#S3

⁠SSE-S3 (AES 256) – що дає?

У багатьох виникає питання – що це за шифрування, що просто галочку поставили і все зашифровано. У чому його сенс, якщо нічого не потрібно робити і все запити видаються автоматично, якщо є доступ до S3 бакету?

Це не обман (і це безкоштовно), справа в дотриманні різних compliance. Умовно кажучи, якщо є вимога, щоб дані були зашифровані і вороги не могли підірвати центр обробки даних, перетягнути звідти жорсткі диски і скопіювати з них ваші дані, вони встановлюють цю галочку, і відповідність виконується. Та й це просто гріє душу – дані там не просто без нагляду, а в зашифрованому вигляді.

Не полінуйтеся поставити – це корисно, легко, безкоштовно і навіть відразу дає хоч якесь відчуття захищеності.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingServerSideEncryption.html

#S3 #compliance

Стареньке, але дуже корисне відео для розуміння тонкощів роботи S3:

https://www.youtube.com/watch?v=9_vScxbIQLY?t=253

Посилання на початок відео, в якому трохи пояснюється, як Amazon S3 працює під капотом.

#s3 #video

Коли потрібно перевірити швидкість роботи з S3:

https://github.com/dvassallo/s3-benchmark

Є корисна табличка, ось деякі результати звідти:

Instance Type - S3 Throughput MB/s
c5n.18xlarge 8,003
p3dn.24xlarge 6,269
m5.metal 2,713
m5.24xlarge 2,709
m5.2xlarge 1,133
m5.large 873
t3.xlarge 568
t3.medium 558
t3.small 395
t3.micro 349
t2.micro 46

#S3

​​Використання S3 Object Lambda для обмеження доступу до інформації:

https://aws.amazon.com/blogs/storage/managing-access-to-your-amazon-s3-objects-with-a-custom-authorizer/

Рішення використовує власну авторизацію за допомогою
Amazon S3 Object Lambda Access Points.

#S3

​​s5cmd - ще одна утиліта для роботи з S3:

https://github.com/peak/s5cmd

Подібних утиліт багато, ця варта уваги, тому що в другій версії в ній додалася реалізація sync, причому без так і не виправленої проблеми у офіційній AWS CLI s3 sync. Також можна відзначити відмінну швидкість завантаження завдяки паралелізації.

Загалом, варто спробувати, особливо для швидкої роботи з S3.

#S3