Дешёвая (бесплатная) база данных на AWS для собственных проектов (обучения/попробовать)

#начинающим #интересующимся

Допустим, у вас есть какой-то проектик, например, на условной Django для собственных нужд — как хобби, для обучения и т.п. Он где-то хостится бесплатно или за несколько долларов в месяц.

Вы почитали, что здесь пишут про AWS и загорелись попробовать на него переехать или сразу поднять тут свой, чтобы познакомиться поближе и получить опыт. Расценки на хранение файлов (S3) совершенно комфортны, но вот проблема — у вас есть (реляционная) база данных. Вы смотрите прайс на RDS, а там самая простая начинается от 12 долларов в месяц и желание пробовать AWS резко пропадает.

Разберём варианты, что можно сделать с БД, чтобы она была дешёвой, а лучше бесплатной.

RDS

Обязательно прочтите про бесплатный AWS — открыв себе новый аккаунт, вы получите возможность целый год крутить базу на виртуалке db.t2.micro.

EC2

Можно поднять БД на дешёвой виртуалке, например, на t3a.nano это выйдет 3.4$/мес (плюс стоимость диска и некоторые другие расходы). Примитивный и самый очевидный способ. БД нужно будет поднимать и поддерживать самому, потому вряд ли рекомендуемый.

DynamoDB

Отличная и даже близкая к идеальной БД, по сути бесплатная (и постоянно/бессрочно/всегда) для собственных проектов, т.к. имеет суперовскую ценовую модель. Но есть одно но — не реляционная.

Очень выгодно, если ваш проект/фреймворк умеет с ней работать. Или если можете допилить его до работы с DynamoDB. На выходе получаете крутизну serverless подхода при минимальной цене (обычно совсем бесплатно).

Гляньте видео с последнего реинвента, возможно оно подскажет, как можно переделать свой проектик под DynamoDB:

https://www.youtube.com/watch?v=DIQVJqiSUkE

Aurora Serverless

Вдруг вы пропустили и не знаете, что есть реляционная база данных с ценовой моделью а-ля DynamoDB, где вы платите лишь за реально используемые ресурсы.

https://aws.amazon.com/rds/aurora/serverless/

Её использование подпадает под Free Tier, так что также можно попробовать годик бесплатно.

Задеплоить Django на Aurora Serverless можно так:

https://www.agiliq.com/blog/2019/01/complete-serverless-django/

Cassandra

Не реляционная, но с аналогичной DynamoDB ценовой моделью.

https://aws.amazon.com/ru/mcs/

S3

Речь про файловую БД. Если прикрутить прослойку в виде условной Лямбды, что будет хранить данные не в БД, а на S3, то можно вообще избавиться от БД. Однако, понятно, это обычно требует серьёзной переделки проекта.

Athena

Не БД, но можно делать SQL запросы к S3. Под Django есть djathena.


Итого. Есть разные недорогие варианты прикрутить БД в свой проект на AWS. Реляционные и нет, с переделкой и без. Выбирайте, что подходит сейчас и что будет круто в дальнейшем. Главное — пробуйте!

Этот пост для Medium давно лежал у меня черновиках, но его пришлось заморозить, пока я не закончу работой над книгой.

Теперь, когда у меня появилось в разы больше свободного времени, я смог его закончить.

Этот опус для тех, кто не теряет связи с реальностью и понимает, что одними авсами и куберами сыт не будешь - в погоне за благосостоянием придется начать все больше и больше работать с людьми. В публикации вы найдете мой опыт и советы, которые, я надеюсь, помогут вам принять верное решение.

JWT - супер важная штука для аутентификации в распределенных системах и микросервисных архитекрутах.

В этой статье очень просто описывается что это такое:
https://blog.angular-university.io/angular-jwt/

#async #python
Рекомендую! В каждом языке программирования concurrency реализовано по разному.

В этом видео автор круто и просто рассказывает об ассинхронном Python.

https://www.youtube.com/watch?v=Mj-Pyg4gsPs

#рекомендос #python #pydantic #validation

Pydantic - это способ валидации данных в Питоне. В этом видео докладчик делает доброе дело: простым языком и наглядно показывает и плюсах работы с этой либой, для улучшения своего API

https://www.youtube.com/watch?v=_5kCjRj6bng

#interview #amazon #bloomberg

There are plenty of resources that one can use to prepare for technical interviews at large tech giants. I would even say, that there are tons of information that it becomes even more crucial to spend time on the helpful resources only and do not waste time doing/watching/reading bad info.

I have structured the knowledge and skills by topics that one needs to learn and hone before applying to the interviews. I also added some links that helped me to learn the skills to be able to get two offers to Software Developer Engineering positions— one from Bloomberg and another from Amazon. Grasping the key concepts about CS Fundamentals, data structures and algorithms was sufficient to pass the interviews.

If those topis are normally taught in universities for people studying for Computer science or alike degrees. I am come from financial background and therefore, I am eager to spend my time effectively on the relevant resources only.

These topics are mostly useful for those people who want to start a career as an SDE in large companies and have not studied formally CS.

Of course, I had to demonstrate that I had been eager to learn more and honestly that’s just the beginning or so called top of the iceberg. Since then I’ve learned way more of knowledge and concepts to dig and fix problems of any kind (still did not master it).

If you struggle with making sense of where to start from and have a short question, feel free to drop a comment down below or PM me. I will be glad to guide you where I can.

http://balgabekov.com.s3-website.eu-central-1.amazonaws.com/

#cv #resume #google

In short, keep it simple, X-Y-Z

For details feel free to read a good short article:

https://www.inc.com/bill-murphy-jr/google-recruiters-say-these-5-resume-tips-including-x-y-z-formula-will-improve-your-odds-of-getting-hired-at-google.html?cid=sf01002

#interview #amazon

Дара рассказываето своем опыте прохождения в Амазон

https://youtu.be/ridWXjoPGCY

#video #quantum #computing #blockchain #VR #neuroscience
This night my attention was drawn by this brilliant series of short talks tought concepts like Quantum Computing, Neuroscience, VR, and so on.

What makes these talks unique is that each theme is explained in 5 levels of difficulty. They start from kids and increase the complexity of a topic to an expert level.

https://www.youtube.com/watch?v=opqIa5Jiwuw&list=PLibNZv5Zd0dyCoQ6f4pdXUFnpAIlKgm3N

#system #design #lambda_architecture #big #data

Lambda Architecture (LA) - способ обработки больших данных используя распределенные системы, когда вам нужно, скажем, проиндексировать ваши данные тем или иным способом. Например, посчитать какой из документов у вас более просматриваемый.

На огромном датасете в несколько терабайт ежедневно обычный алгоритм вам точно не подойет. Используя Ламбда Архитектуру можно удовлетворить необходимость запрашивать у системы самые просматриваемые документы (скажем видео на ютуб) в разрезе последних 5 минут или нескольких дней/месяцев.

У каждого способа есть свои плюсы и минусы в точности и скорости, но мы всегда можем их объеденить.

Для этого мы отправляем данные для обработки двумя параллельными процессам: быстрый/speed layer (неточный) и комплексный/batch layer (точнее).

Speed layer работает с данными за короткий период (скажем минута, 5 минут), в то время как, Batch Layer обрабатывает большее количество данных сагрегированных за более длительный период (скажем за час).

Когда клиент дергает данные, то сервис (serving layer) объединяет результат работы обоих процессов.

Почитать можно, например, тут:
https://jameskinley.tumblr.com/post/37398560534/the-lambda-architecture-principles-for
с указанием возможных технологий для релизации

В этом видео автор блестяще раскрывает как, используя эту архитектуру, можно решить поставленную задачу:
https://www.youtube.com/watch?v=kx-XDoPjoHw

#software #architecture

A brilliant talk about when designing a system, to approach every case separately and uniquely. Learning what other companies or teams has applied in their case is helpful and useful, yet it does not mean it must be simply replicated. he makes fun of everyone trying to copy Netflix 😅

It is very important to learn the rationale of patterns applied in this or that case. As none of them is a silver bullet and solves only a sub set of problems that is most crucial for a case.

https://www.youtube.com/watch?v=PzEox3szeRc

На протяжении последних 10 лет я не раз бывал в Америке, открывал и закрывал там компании, участвовал в конференциях, встречах, проектах. Когда-то рассматривал и возможность переезда в Кремниевую долину, но в итоге отказался от этой идеи в пользу других вариантов.

Ниже я описал причины, по которым считаю, что Америка – не лучшее место эмиграции для IT-предпринимателей. Спасибо @yurydud, фильм которого вдохновил меня на этот текст.

#tutorial #makefile
A very simple explanation of how to work with Makefile on the example of a pie recipe

https://github.com/kyclark/make-tutorial

#interview #culture #values #amazon

В крупных компаниях, как правило, набор идёт в соответствии со внутренними ценностями (помимо функциональных навыков)

В этой статье автор делится своей позицией на лидерские принципы Амазона. Если у вас мечта устроиться в Амазон, то это must read

https://www.linkedin.com/pulse/how-interview-amazon-leadership-david-anderson

#deep #learning #youtube

Two brilliant talks about ways to profile and improve performance of your nets

https://www.youtube.com/watch?v=n8tN6pRZBdE

#interview #system #design

Are you preparing for system design interviews? This list can help you master this skills

https://github.com/binhnguyennus/awesome-scalability

#course #free #golang
Бесплатный курс на GoLang

Обзор базы, отличия от других языков разработки

Blueprints, специфика для тех, кто пришел из объектно-ориентированного программирования

Packages & dependency management. Goroutines, synchronisation

Редакторы: анализ, топ-эффективных Profiling, Tracing, Debugging & performance profiling. Как писать высоконагруженные приложения

Линтеры и анализаторы, golangci-lint



https://ozon.dev/goschool

​​Камера смартфона OnePlus 8 Pro может снимать через пластик

Один из режимов камеры смартфона OnePlus 8 Pro позволяет делать фотографии и снимать видео через тонкий пластик.

На это обратили внимание пользователи социальной сети Reddit. Затем информацию проверил техноблогер из Латвии Бен Гескин.

Оказалось, что фотохромный фильтр в OnePlus 8 Pro может фиксировать инфракрасное излучение и таким образом «видеть» сквозь пластик.

Гескин опробовал камеру не только на приставке Apple TV, но и на контроллерах для VR-шлема Oculus Quest. И у него снова получилось.

Журналисты издания AndroidPolice написали, что камера не должна работать с одеждой. Но журналисты другого технологического издания AndroidPIT смогли увидеть спрятанную под темной футболкой записку с помощью этого же фотохромного фильтра.

Журналисты Androidpolice также отметили, что технология, которую используют в смартфонах OnePlus не является чем-то особенным. По такому же принципу работают камеры для биометрической аутентификации.

Practical python от David Beazley
Лет 5 назад смотрел его лекцию, после чего сильно зауважал его

Table of Contents

0. Course Setup (READ FIRST!)

1. Introduction to Python

2. Working with Data

3. Program Organization

4. Classes and Objects

5. The Inner Workings of Python Objects

6. Generators

7. A Few Advanced Topics

8. Testing, Logging, and Debugging

9. Packages



https://dabeaz-course.github.io/practical-python/