#ML #System #Design

This booklet covers four main steps of designing a machine learning system:

Project setup
Data pipeline
Modeling: selecting, training, and debugging
Serving: testing, deploying, and maintaining

https://github.com/chiphuyen/machine-learning-systems-design

#ML #System #Design

"We can characterize the challenges for integrating machine learning within our systems as the three Ds. Decomposition, Data and Deployment."

"The first two components decomposition and data are interlinked, but we will first outline the decomposition challenge. Below we will mainly focus on supervised learning because this is arguably the technology that is best understood within machine learning."

http://inverseprobability.com/talks/notes/the-three-ds-of-machine-learning.html

#System #Design #Study #Guide

Amazing study guide for systems design interviews

https://github.com/donnemartin/system-design-primer

#Book #Microservices #Design

https://www.nginx.com/wp-content/uploads/2015/01/Building_Microservices_Nginx.pdf

Начинаю путаться в тэгах. Пиню для себя и других

Про жизнь в Амазон: #LifeAtAmazon

Architecture:
#systems #design #architecture #systems_design #db #distributed

Language specific:
#python #go

Other:
#ML, #myTechNotes, #DeepDive

About interviews:
Время от времени, преимущественно во время отпуска, провожу Mock интервью.
Все, связанное с интервью, выкладываю по тэгам: #interview #mock #systems_design

Если у тебя будет скоро интервью и тебе нужен Mock Interview, то можешь написать, мне. И если у меня будет получаться по времени, то сможем организовать. Имей в виду, что mock интервью я записываю на видео и выкладываю для других. Также рекомендую посмотреть предыдущие записи, чтобы не допускать примитивные ошибки: https://www.youtube.com/playlist?list=PL3tja-7IZ-wXHY-lvb32-zGnRJaS5yCkU

#systems #design #performance

Уау!

Пару недель назад разбирался с concurrency и прочими вещами. Вышел курс от MIT на тему оптимизации производительности ПО.

Сохраняю для себя, чтобы покопать тему еще глубже в следующий отпуск!

https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-172-performance-engineering-of-software-systems-fall-2018/lecture-videos/index.htm

#systems #design #interview

Один из подходов для прохождения системного дизайна: https://www.youtube.com/watch?v=NtMvNh0WFVM

#interview #systems #design #mock

Еще один Mock Interview по Системному Дизайну

https://www.youtube.com/watch?v=z6fDxUevjRY

#systems #design #architecture

Ого, что нашел! Куча паттернов на исполнения микросервисов на AWS: https://www.jeremydaly.com/serverless-microservice-patterns-for-aws/

В купе с этим репозиторием получается отличный кладезь знаний: https://github.com/cdk-patterns

#interviews #systems #design
https://medium.com/must-know-computer-science/basic-concepts-you-need-to-know-about-building-large-scale-distributed-system-5956a90c7ad2

#interviews #systems #design
http://blog.gainlo.co/index.php/category/google-interview-preparation/

#database #sharding #basics #systems #design #interview

https://www.digitalocean.com/community/tutorials/understanding-database-sharding

#systems #design #interview #availability

Очень крутое чтиво на тему High Availability. Все кто готовятся к интервью по системному дизайну, это маст-рид

#Systems #design

SystemDesign.org:
Textbook for System Design Interviews

https://docs.google.com/document/u/0/d/1pOarvQbjzLd9tz5ZuxktyrYsZ41mbWba5_LUeFj65lI/mobilebasic

#database, #systems, #design
Gorilla: A Fast, Scalable, In-Memory Time Series Database
https://www.vldb.org/pvldb/vol8/p1816-teller.pdf

#systems #design

#systems #design #patterns

https://docs.microsoft.com/en-us/azure/architecture/guide/architecture-styles/

#systems #design #interviews
Какую крутую штуку заопенсорсили ребята, что написали книгу по Системному Дизайну

https://github.com/ByteByteGoHq/system-design-101

#systems #design #interview

Как и в интервью по алгоритмам, вижу, что много кандидатов совершают одну и ту же ошибку - ставить все на технические навыки.

Технические интервью это практически всегда про problem solving. А с чего начинается решение проблемы? С ее четкой формулировки.

Как нам говорили в школе на уроке по геометрии: «сбор данных - это 50% процентов успеха решения задачи»

Поэтому, при подходе к техническим задачам, важно проводить первоначальный анализ и задавать интервьюеру разъясняющие вопросы. Например,

1. Кто конечный пользователь? Какие потребности у него есть, и какие проблемы сервис должен решить?
2. В какой географической зоне будет использоваться сервис, и какие могут быть особенности этой зоны (например, языковые или культурные различия)?
3. Какой объем данных нужно обработать, хранить или передавать? Это поможет определить, насколько задача масштабируема.
4. Какие прочие ограничения существуют?

Чем выше ваш уровень, тем выше от вас будут ожидать наличие навыков работать с неопределенностью

Будет печально, имея сильный технический бэкграунд решить проблему, которую от вас не просили решать

А как вы выстраиваете ваши интервью? Какие еще вопросы можно задать?

#systems #design #interview

☄️☄️☄️5 Top GitHub repos to help you ace systems design interviews:

1. https://github.com/binhnguyennus/awesome-scalability
2. https://github.com/karanpratapsingh/system-design
3. https://github.com/checkcheckzz/system-design-interview
4 https://github.com/mehdihadeli/awesome-software-architecture/blob/main/docs/systems-design/systems-design.md
5. https://github.com/black-shadows/System-Design

Covers algorithms, system design, data structures, and more