#lambda #aws #benchmarking

Benchmarking of AWS Lambda performance using different languages. Who wins: Java or Python? what's your guess?

https://medium.com/the-theam-journey/benchmarking-aws-lambda-runtimes-in-2019-part-i-b1ee459a293d

#system #design #lambda_architecture #big #data

Lambda Architecture (LA) - способ обработки больших данных используя распределенные системы, когда вам нужно, скажем, проиндексировать ваши данные тем или иным способом. Например, посчитать какой из документов у вас более просматриваемый.

На огромном датасете в несколько терабайт ежедневно обычный алгоритм вам точно не подойет. Используя Ламбда Архитектуру можно удовлетворить необходимость запрашивать у системы самые просматриваемые документы (скажем видео на ютуб) в разрезе последних 5 минут или нескольких дней/месяцев.

У каждого способа есть свои плюсы и минусы в точности и скорости, но мы всегда можем их объеденить.

Для этого мы отправляем данные для обработки двумя параллельными процессам: быстрый/speed layer (неточный) и комплексный/batch layer (точнее).

Speed layer работает с данными за короткий период (скажем минута, 5 минут), в то время как, Batch Layer обрабатывает большее количество данных сагрегированных за более длительный период (скажем за час).

Когда клиент дергает данные, то сервис (serving layer) объединяет результат работы обоих процессов.

Почитать можно, например, тут:
https://jameskinley.tumblr.com/post/37398560534/the-lambda-architecture-principles-for
с указанием возможных технологий для релизации

В этом видео автор блестяще раскрывает как, используя эту архитектуру, можно решить поставленную задачу:
https://www.youtube.com/watch?v=kx-XDoPjoHw

#aws #lambda

Пользуешься лямбдами, но не уверен, что делаешь это правильно? Тогда эта статья по оптимизации Лямбд точно до тебя

https://github.com/alexcasalboni/aws-lambda-power-tuning