در چند ماه گذشته از کافکا کلا سوئیچ کرده ام به ردپاندا بابت مسایلی مثل بهینهتر بودن مصرف منابع و طراحی مدرنتر یک سامانه پیام رسان مبتنی بر پروتکل کافکا با امکانات کامل و یکپارچه.
حتی قصد داشتم خلاصه ای از مشاهدات آقای Wu را در کنفرانس ۲۰۲۴ کافکا و داده های جریانی در اینجا به اشتراک بگذارم با این محوریت که کافکا به نقطه حساسی رسیده است و اگر نتواند تغییرات مورد انتظار بازار را برآورده کند، بازار را به رقبا واگذار خواهد کرد و خریدن شرکتهایی مثل WarpStream توسط کانفلوئنت که هزینه نگهداری یک کلاستر کافکا را بسیار کاهش میدهد، باز هم به تنهایی به کافکا کمک نخواهد کرد :
https://medium.com/@yingjunwu/kafka-has-reached-a-turning-point-649bd18b967f
اگر در حوزه مهندسی داده فعالیت میکنید توصیه میکنم مقاله فوق را با دقت مطالعه کنید. .
اما مهمتر ازین مسائل پایه در انتخاب یک ابزار مانند مصرف منابع و سادگی کار با آن و یکپارچه بودن ابزار و اکوسیستم، دید و ویژن شرکت ردپاندا برایم جذاب بود .
دیدی که باعث شد چند ماه پیش، پروژه Benthos را خریده و به RedPanda Connect اضافه کند. یک پروژه عالی، سبک و حرفه ای برای کارهای ETL .
اخیرا هم دیدم ردپاندا، نوع جدیدی از تاپیکها برای کار مستقیم با Apache Iceberg ایجاد کند، به این ویژن و توجه به نیازهای نوین بازار، باور بیشتری دارم.
توصیه میکنم اگر با کافکا کار میکنید، ردپاندا را هم حتما تست کنید (نیاز به تغییر خاصی در کدها ندارید و دقیقا از دید برنامه و ابزار،مثل یک کلاستر کافکا عمل میکند).
مقاله زیر را هم که راجع به افزوده شدن این نوع جدید از تاپیک ها و ذخیره مستقیم پیامها در آپاچی آیسبرگ است را هم حتما نگاهی بیندازید ....
Read “Apache Iceberg Topics: Stream directly into your data lake“ by Redpanda Data on Medium: https://redpanda-data.medium.com/apache-iceberg-topics-stream-directly-into-your-data-lake-0250a8dfdd76
#مهندسی_داده #redpanda #kafka
حتی قصد داشتم خلاصه ای از مشاهدات آقای Wu را در کنفرانس ۲۰۲۴ کافکا و داده های جریانی در اینجا به اشتراک بگذارم با این محوریت که کافکا به نقطه حساسی رسیده است و اگر نتواند تغییرات مورد انتظار بازار را برآورده کند، بازار را به رقبا واگذار خواهد کرد و خریدن شرکتهایی مثل WarpStream توسط کانفلوئنت که هزینه نگهداری یک کلاستر کافکا را بسیار کاهش میدهد، باز هم به تنهایی به کافکا کمک نخواهد کرد :
https://medium.com/@yingjunwu/kafka-has-reached-a-turning-point-649bd18b967f
اگر در حوزه مهندسی داده فعالیت میکنید توصیه میکنم مقاله فوق را با دقت مطالعه کنید. .
اما مهمتر ازین مسائل پایه در انتخاب یک ابزار مانند مصرف منابع و سادگی کار با آن و یکپارچه بودن ابزار و اکوسیستم، دید و ویژن شرکت ردپاندا برایم جذاب بود .
دیدی که باعث شد چند ماه پیش، پروژه Benthos را خریده و به RedPanda Connect اضافه کند. یک پروژه عالی، سبک و حرفه ای برای کارهای ETL .
اخیرا هم دیدم ردپاندا، نوع جدیدی از تاپیکها برای کار مستقیم با Apache Iceberg ایجاد کند، به این ویژن و توجه به نیازهای نوین بازار، باور بیشتری دارم.
توصیه میکنم اگر با کافکا کار میکنید، ردپاندا را هم حتما تست کنید (نیاز به تغییر خاصی در کدها ندارید و دقیقا از دید برنامه و ابزار،مثل یک کلاستر کافکا عمل میکند).
مقاله زیر را هم که راجع به افزوده شدن این نوع جدید از تاپیک ها و ذخیره مستقیم پیامها در آپاچی آیسبرگ است را هم حتما نگاهی بیندازید ....
Read “Apache Iceberg Topics: Stream directly into your data lake“ by Redpanda Data on Medium: https://redpanda-data.medium.com/apache-iceberg-topics-stream-directly-into-your-data-lake-0250a8dfdd76
#مهندسی_داده #redpanda #kafka
Medium
Kafka Has Reached a Turning Point
Is Kafka still relevant in today’s evolving tech landscape? And where is Kafka headed in the future?
👍6👌1
Forwarded from عکس نگار
تحولی بزرگ در Apache Airflow: نسخه ۳ در راه است! 🚀
بعد از سالها تجربه با نسخههای ۱ و ۲، حالا نسخه ۳ با بازطراحی گسترده و حل چالشهای قدیمی در دسترس توسعهدهندگان قرار گرفته — فعلاً بهصورت نسخه کاندید انتشار (Release Candidate).
در ادامه نگاهی داریم به مهمترین تغییرات:
🔁 نسخهبندی DAGها و تاریخچه اجراها
در گذشته بررسی تغییرات در DAGها کاری زمانبر و دشوار بود.
✅ حالا در نسخه ۳، تاریخچهی کامل DAGها از طریق UI (در Grid و Graph View) در دسترس است — حتی حذف یا اضافه شدن Taskها بین نسخهها قابل ردیابی شده است.
🧠 Backfill هوشمند و یکپارچه
Backfillها قبلاً مشکلاتی در عملکرد و مقیاسپذیری داشتند.
✅ اکنون توسط Scheduler مدیریت میشوند و از طریق UI هم قابل اجرا هستند. مناسب برای ML و ETL.
🌐 اجرای وظایف در هر زبان و محیطی
تا قبل از این، فقط Python در دسترس بود.
✅ با Task Execution API، Airflow به معماری Client/Server رسیده.
میتوانید Taskها را از Python، Go (و بزودی زبانهای دیگر) اجرا کنید — حتی در Edge یا Multi-cloud.
📩 زمانبندی بر اساس رویدادها (Event-Driven Scheduling)
در نسخههای قبلی، اجرای DAGها تنها براساس زمان یا وابستگیهای داخلی ممکن بود.
✅ حالا Airflow 3 با معرفی مفهوم «داراییهای دادهای» (Data Assets) و «ناظران» (Watchers) امکان اجرای DAG بر اساس رویدادهای خارجی را فراهم کرده است.
بهصورت پیشفرض، اتصال به AWS SQS فراهم شده است — مثلاً با رسیدن یک پیام به SQS، یک DAG میتواند اجرا شود.
اما نکته مهمتر:
🔄 این ساختار ماژولار است و میتوانید Apache Kafka یا سایر سیستمهای پیامرسان را نیز جایگزین کنید. کافی است یک Watcher مخصوص Kafka بنویسید که روی Topic مشخصی گوش دهد و پیامهای جدید را به Airflow منتقل کند.
این امکان، Airflow را برای سناریوهای real-time در مقیاس بالا، بسیار انعطافپذیر میکند.
🤖 اجرای بلادرنگ برای هوش مصنوعی
تاکنون وابستگی به execution_date مانع اجرای DAGهای Realtime بود.
✅ اکنون میتوانید DAGهایی بدون وابستگی زمانی اجرا کنید — عالی برای Inference و API-based Workflows.
🖥 رابط کاربری کاملاً جدید
UI قدیمی سنگین و محدود بود.
✅ Airflow 3 با React و FastAPI بازنویسی شده. سریع، سبک و قابل توسعه.
همچنین Flask AppBuilder از Core جدا شده و به یک پکیج مستقل تبدیل شده.
🔐 ایزولاسیون وظایف و امنیت بالا
اجرای Taskها در یک محیط مشترک مشکلساز بود.
✅ حالا هر Task میتواند بهصورت ایزوله اجرا شود. CLI هم با airflowctl برای دسترسی از راه دور مجهز شده.
🗳 این نسخه فعلاً در مرحله آزمایشی و بررسی جامعه توسعهدهندگان است. اگر تجربه Airflow دارید، فرصت خوبیه برای تست و ارسال بازخورد قبل از انتشار نهایی.
#مهندسی_داده #ApacheAirflow3 #DataEngineering #MLOps #Kafka #EventDriven #DataOps #Automation 🚀
منبع : https://www.linkedin.com/pulse/apache-airflow-3-release-candidate-apr-4-2025-vikram-koka-3lhmc/
بعد از سالها تجربه با نسخههای ۱ و ۲، حالا نسخه ۳ با بازطراحی گسترده و حل چالشهای قدیمی در دسترس توسعهدهندگان قرار گرفته — فعلاً بهصورت نسخه کاندید انتشار (Release Candidate).
در ادامه نگاهی داریم به مهمترین تغییرات:
🔁 نسخهبندی DAGها و تاریخچه اجراها
در گذشته بررسی تغییرات در DAGها کاری زمانبر و دشوار بود.
✅ حالا در نسخه ۳، تاریخچهی کامل DAGها از طریق UI (در Grid و Graph View) در دسترس است — حتی حذف یا اضافه شدن Taskها بین نسخهها قابل ردیابی شده است.
🧠 Backfill هوشمند و یکپارچه
Backfillها قبلاً مشکلاتی در عملکرد و مقیاسپذیری داشتند.
✅ اکنون توسط Scheduler مدیریت میشوند و از طریق UI هم قابل اجرا هستند. مناسب برای ML و ETL.
🌐 اجرای وظایف در هر زبان و محیطی
تا قبل از این، فقط Python در دسترس بود.
✅ با Task Execution API، Airflow به معماری Client/Server رسیده.
میتوانید Taskها را از Python، Go (و بزودی زبانهای دیگر) اجرا کنید — حتی در Edge یا Multi-cloud.
📩 زمانبندی بر اساس رویدادها (Event-Driven Scheduling)
در نسخههای قبلی، اجرای DAGها تنها براساس زمان یا وابستگیهای داخلی ممکن بود.
✅ حالا Airflow 3 با معرفی مفهوم «داراییهای دادهای» (Data Assets) و «ناظران» (Watchers) امکان اجرای DAG بر اساس رویدادهای خارجی را فراهم کرده است.
بهصورت پیشفرض، اتصال به AWS SQS فراهم شده است — مثلاً با رسیدن یک پیام به SQS، یک DAG میتواند اجرا شود.
اما نکته مهمتر:
🔄 این ساختار ماژولار است و میتوانید Apache Kafka یا سایر سیستمهای پیامرسان را نیز جایگزین کنید. کافی است یک Watcher مخصوص Kafka بنویسید که روی Topic مشخصی گوش دهد و پیامهای جدید را به Airflow منتقل کند.
این امکان، Airflow را برای سناریوهای real-time در مقیاس بالا، بسیار انعطافپذیر میکند.
🤖 اجرای بلادرنگ برای هوش مصنوعی
تاکنون وابستگی به execution_date مانع اجرای DAGهای Realtime بود.
✅ اکنون میتوانید DAGهایی بدون وابستگی زمانی اجرا کنید — عالی برای Inference و API-based Workflows.
🖥 رابط کاربری کاملاً جدید
UI قدیمی سنگین و محدود بود.
✅ Airflow 3 با React و FastAPI بازنویسی شده. سریع، سبک و قابل توسعه.
همچنین Flask AppBuilder از Core جدا شده و به یک پکیج مستقل تبدیل شده.
🔐 ایزولاسیون وظایف و امنیت بالا
اجرای Taskها در یک محیط مشترک مشکلساز بود.
✅ حالا هر Task میتواند بهصورت ایزوله اجرا شود. CLI هم با airflowctl برای دسترسی از راه دور مجهز شده.
🗳 این نسخه فعلاً در مرحله آزمایشی و بررسی جامعه توسعهدهندگان است. اگر تجربه Airflow دارید، فرصت خوبیه برای تست و ارسال بازخورد قبل از انتشار نهایی.
#مهندسی_داده #ApacheAirflow3 #DataEngineering #MLOps #Kafka #EventDriven #DataOps #Automation 🚀
منبع : https://www.linkedin.com/pulse/apache-airflow-3-release-candidate-apr-4-2025-vikram-koka-3lhmc/
👍3