اگر دوست دارید در خصوص آپاچی ایرفلو (Apache Airflow) کمی اطلاعات بدست بیارید و این تکنولوژی خفن رو در سیستم خودتون نصب و بررسی کنید، این ویدیو رو ببینید:

ورود به دنیای آپاچی ایرفلو و نصب این تکنولوژی

با ایرفلو می‌تونیم همون کارهایی که با کرون‌جابزهای لینوکسی می‌کردیم رو در یک محیط گرافیکی و تنها با پایتون انجام بدهیم.
.
.
@elmedadeir

‌
دوره آموزشـــی مقدماتـــی مهندســـی داده:

💭 اگر مدت‌هاست به مهندســـی داده فکر می‌کنید، اما نقطه شروع و ورود به این حوزه رو نمی‌شناسیـــد، شاید این کورس بهتون کمک کنـــد. یک دوره کاملن مقدماتی.

▶️ البته الان خدا رو شکر، منابع آموزشی بسیار زیادی داریم. می‌تونید فقط سرفصل‌هایی که اینجا قرار دادم (فایل PDF پیوست شده به پست) رو دنبال کنید و یجورایی بصورت خودخوان (Self Study) برید جلو.

🤝 اما اگر زیاد اهل کار کردن و مطالعه شخصی نیستید و بیشتر با کلاس می‌تونید ارتباط برقرار کنید، ما در خدمت شما هستیم و همراهی‌تان افتخاری بزرگ برامــــون محسوب می‌شــــود.

🎁 یک تخفیف کوچک برای حضور در دوره هم وجود داره که در صفحه ثبت‌نام در حال حاضر نوشته شده است (البته محدودیت تعداد و زمان دارد).

https://www.m-fozouni.ir/de-intro-3/
.
.
@elmedadeir

حالا که تب و تاب n8n کمی فروکش کرده، شاید الان بتونیم کمی منطقی‌تر تصمیم بگیریم برای استفاده از این تکنولوژی در سازمان خودمون. در این لینک تعداد بسیار زیادی تمپلیت آماده از n8n وجود دارد:

https://n8nworkflows.xyz/

✍️ منبع در لینکدین
.
@elmedadeir

یک نکته خیلی جالب که در خصوص خاصیت ACID
در دیتابیس‌ها وجود داره اینه که

Atomicity

Isolation

Durability

جزو ویژگی‌های دیتابیس هستند، اما

Consistency

جزو خواص اپلیکیشنی هست که داره از دیتابیس استفاده می‌کنه.

به همین دلیل، عده‌ای معتقدند که حرف C در ACID برای اینکه فقط به ظاهر بهتری برسیم تا راحت‌تر به ذهن سپرده شود، وارد بازی شد.

از طرفی، خیلی از دیتابیس‌هایی که روانه‌ی بازار میشن، به هیچ وجه چنین خاصیتی رو ندارند (ACID)، ولی بخاطر بحث‌های بازاریابی، این بازی به جریان می‌افتد. کاربرهای فنی هم بعدها متوجه می‌شوند که چه بلایی سرشون اومده 😎.

منبع (با اندکی اضافات):

Designing Data Intensive Application, p-225
.
@elmedadeir

با توجه به قوانین جدید گوگل که باعث شده درآمد یوتیوبرها به صفر برسه، ممکنه دیگه محتواهای آموزشی خوب فارسی کمتر ببینیم. ولی اگر چندماه همت کنیم و وقت بزاریم برای یادگیری زبان انگلیسی، میلیون‌ها منبع آموزشی مختلف (کتاب، مقاله و کورس آموزشی و ...) بصورت رایگان اون بیرون وجود دارند.

در یادگیری زبان، خیلی ایده‌ال‌گرا نباید باشیم و در مراحل ابتدایی فقط باید متمرکز بشیم روی دو مهارت شنیداری و خواندن تا بتونیم از این طریق از منابع یاد بگیریم. همین دو مهارت، بمرور زمان باعث می‌شوند بصورت ناخودآگاه حرف بزنیم و حتی بتونیم راحت هم بنویسیم.

فقط باید به یک نکته دقت کنیم که تو تله‌ی منابع آموزشی فراوان گیر نیوفتیم. ما باید یک منبع آموزشی رو انتخاب کنیم. ببینیم یا بخونیم و تمومش کنیم و بعد بریم سراغ بعدی. وگرنه این حجم عظیم از منابع آموزشی، نه تنها مفید نیستند، بلکه مغز رو هم منفجر خواهند کرد.

به امید روزهای خوب برای تمام ایرونی‌ها.
.
@elmedadeir

منم نظرم رو گفتم 😎
.
MLSecOps = Machine Learning Security Operations

یعنی ما که مدعی این هستیم یک مدل رو بخوبی و با دیتاهای زیادی آموزش دادیم و الان می‌خواهیم اونرو ببریم به فاز استقرار در محیط عملیاتی، یکسری اصول امنیتی رو هم باید رعایت کنیم. وگرنه بسرعت باد ترتیب مدل‌مون رو برادران محترم هکرز خواهند داد و طوری عملکرد مدل رو پایین می‌آورند که هر چقدر سازمان خرج کرده، دود میشه می‌ره هوا، بهمین سادگی 😁.
.
.
@elmedadeir

از دیدن این کار لذت بردم. وقتی وارد سایت پویا می‌شیم، یک لینوکس در دسترس ما هست
.
https://pouyarezapour.ir/
.
@elmedadeir

نشت گسترده داده در Spotify — درسهایی برای مهندسی داده و حریم خصوصی

طبق گزارش جدید Billboard، گروهی فعال در حوزه آرشیو دیجیتال (Anna’s Archive) Metadata بیش از ۲۵۶ میلیون ورودی آهنگ از کتابخانه موسیقی Spotify را استخراج و منتشر کردهاند و در تلاشند نسخههای صوتی حدود ۸۶ میلیون فایل را نیز بهزودی منتشر کنند. این مجموعه بیش از ۳۰۰ ترابایت داده را شامل میشود و ساختار دیتابیس آن شباهت زیادی به API رسمی Spotify دارد.

»»» نکات کلیدی برای تیمهای فنی و تصمیم‌گیران:

ــ مدیریت و محافظت از Metadata در مقیاس بسیار بزرگ
این رخداد به ما یادآوری میکند که metadata — حتی اگر فایلهای صوتی نباشند — خود یک دارایی ارزشمند و حساس است که میتواند نشاندهنده سلیقه کاربران، ساختار سرویس و الگوهای مصرف باشد.

ــ حریم خصوصی و قانون‌گذاری داده
اگرچه Spotify داده حساس مالی و هویتی کاربران را لو نداد، انتشار گسترده اطلاعات مربوط به آرشیو موسیقی چالشی جدی برای حفظ مالکیت معنوی و محرمانگی اطلاعات سرویسهای ابری به وجود آورده است.

ــ تهدیدات در لایه‌های مختلف اکوسیستم داده
این نوع داده‌کاوی/اسکراپینگ نشان میدهد که حتی زمانی که سیستمهای اصلی امن هستند، دادههایی که از طریق APIها، نمایش عمومی یا دسترسیهای مجاز منتشر میشوند میتوانند هدف سوء استفاده قرار گیرند.

»»» درسهای مهندسی داده و MLOps:

- اصول least privilege access برای API و داده‌ها
- قرار دادن Rate limiting و مانیتورینگ غیرمعمول مصرف API
- طراحی data governance قوی برای دسته‌بندی دسترسی به metadata
- پیاده‌سازی auditing برای رصد دسترسی‌ها
- ابزارهای آنالیز رفتاری و anomaly detection برای تشخیص الگوهای غیرطبیعی

ــ مسئله‌ی مالکیت فرهنگی و داده
این موضوع فراتر از یک نشت فنی است — بحث بر سر این است که چه دادهای باید در اختیار سرویسهای تجاری بماند و چه دادهای باید عمومی باشد؟ این سوال اهمیت یافتن تعادل میان حفظ حقوق مالکیت معنوی و دسترسی پژوهشی را برجسته میکند.

این رویداد به ما یادآوری میکند که در مهندسی داده، زیرساخت و MLOps، امنیت داده فقط به جلوگیری از دسترسی غیرمجاز به پایگاههای کاربری محدود نمیشود؛ بلکه شامل محافظت از ساختار داده، APIها، و Metadata حیاتی سیستم هم هست — مخصوصاً زمانی که دادهها در مقیاس بزرگ بارگذاری، تحلیل یا منتشر میشوند.
.
.
✍️ منبع در لینکدین: مهندس مرتضی سبزی
.
پی‌نوشت: اهمیت امنیت سایبری هر روز در حال نمود بیشتر است. وقتی که تیم‌های با مقیاس این‌چنینی از رخنه‌های امنیتی آسیب می‌بینند، وای به حال سازمان‌های کوچک‌تر 😎.
.
@elmedadeir

پیام ارسالی 👇👇👇

درود اقای دکتر
یه جایی دیدم دوستان گفتن که از منابع انگلیسی یوتوب که میخوان استفاده کنن
ترجمه دقیقی نمیده

ابتدا این که :
از افزونه ی این لینک میتونین برای بروزر تون استفاده کنین ترجمه فارسی دقیقی میده .
دو اینکه من چون منبع فارسی کم استفاده میکنم
با استفاده از سرچ ها و مقایسه های بسیار و نظرسنجی از هوش مصنوعی ، توی چنل یوتوب م
پلی لیست هایی از تقریبا تمام حوزه های علوم کامپیوتر و نرم افزار طی حدود سه سال با وسواس زیاد جمع آوری کردم
که بخاطر داستان یوتوب همشون رو پابلیک کردم تا بقیه هم بتونن استفاده کنن
چنلم بیزینسی یا بلاگری نیس و شخصی هست نیازی به سابسکرایب نیس
بنابراین میتونین راحت استفاده کنین

اکستنشن:
Language Reactor https://share.google/tTrUFuSIxUTSsXKtE

یوتیوب :

https://youtube.com/@buildersberg?si=EgHbuEeXMSpVgaAz
.
.

سپاس از
@BuildersBerg
برای ارسال این پیام.
.
@elmedadeir

مسیری که برای رسیدن به عنوان شغلی معمار داده (Data Architect) نیاز هست، بصورت زیر می‌باشد. توجه کنید که این عنوان شغلی بطور کامل برای افراد با تجربه در دنیای دیتا می‌باشد، نه یک فرد تازه‌وارد به این حوزه:

1- Data Analyst / Business Analyst

2- Data Engineer / Database Administrator (DBA)

3- Senior Data Engineer / Data Modeler

4- Data Architect

5- Chief Data Officer (CDO)
.
@elmedadeir

در پاسخ به میدان ندادن به نیروهای جوان و بدخلقی افراد سینیور و تحصیل‌کرده...

به عقیده‌ی بنده، اول اینکه همه جا آدم خوب و بد هست.

دوم اینکه، اگر جایی رفتید و یک فرد باتجربه با شما بد رفتاری داشت، این‌رو بخاطر غرور شخص در نظر نگیرید (البته هستند افرادی که از اونجای فیل به زمین قدم گذاشتند و کسی رو آدم حساب نمی‌کنند 😎) ولی بطور کلی این بندگان خدا هم تحت فشار انجام کار در کوتاه‌ترین زمان ممکن هستند، چون کارفرما به اینها فشار میاره.

سوم اینکه، الان شرکت‌های برند و بزرگ هم بوت‌کمپ برگزار می‌کنند و وعده استخدام و بکارگیری افراد رو می‌دهند. ولی دوره که تموم میشه، دیگه جواب سلام نفرات برتر رو هم نمی‌دن. بنظرم اینها از روز اول قصد خدایی نکرده فریب رو نداشتند. اما سیستم که خراب باشه و فساد در تمام سوراخ سمبه‌هاش رخنه کرده، همه رو تحت تاثیر قرار میده و اون تصمیم آخر رو دیگه نمی‌زارن کمیته برگزار کننده بگیره. البته این حرکت در آمریکا هم جواب نداد و توصیه می‌کنم درگیر ترفندهای بازاریابی و وعده و وعید نشید. نمیشه، حداقل در ایران و در این مقطع زمانی.

چهارم اینکه، نه تنها هوش مصنوعی و دیتا، هر فیلدی که بخواهیم واردش بشیم، اولش سختی‌های فراوانی داره. اما با تداوم تمام قفل‌های بازنشدنی، باز خواهند شد.

پنجم اینکه، خداوند عادل هستند. تلاش‌های افراد رو بی‌نتیجه نخواهد گذاشت. بعضی وقتها طرف رو دیدم که قصد داشته دیتاساینتیست بشه. کلی تلاش کرده و نشده. رفته یکجا مصاحبه و قبولش نکردند (بعنوان دانشمند داده) ولی یک شغل بهتر در همون مجموعه نصیبش شده 😎. فردا رو کسی ندیـــده.
.
در پاسخ به پیامِ کاربر 👇
@Roman_8131
.
@elmedadeir

#خوشمان_آمدها
.
@elmedadeir

این آموزش در یوتیوب مشکل صدا پیدا کرده بود که مجدد با یک نسخه دیگر جایگزین شد.

🔗 آموزش جامع SQL از مقدماتی تا پیشرفته
.
#sql
#postgresql
.
@elmedadeir

این پیام امروز صبح توسط یکی از همکاران برای بنده ارسال شده. حواستون باشه که بزودی به احتمال قوی برای شماها هم میاد. فایل PDF نیست و یک اپلیکیشن هست. ولی هدفش چیست، خدا داند.
.
@elmedadeir

زمان مناسبی برای پست گذاشتن‌های تخصصی نیست و ماها باید به احترام ملت معترض ایران به وضعیت نابسامان اقتصادی، چند روز سکوت کنیم. تا ببینیم مسئولین و بالانشینان آیا توان رفع مشکلات را دارند یا خیر فقط مثل همیشه ابراز نگرانی می‌کنند از سوء استفاده دشمن.

بهرحال، شرایط عــــــــــادی نیست و یک زندگی نرمــــــــــال حق مسلـــــــــم تمام ایرانیـــــــــــان است.
.
@elmedadeir

#مهم

خواهش می‌کنم، اگر مشکل اینترنت دارید، هر VPNای رو نصب نکنید. به دیتاهایی که این فیلترشکن بعد از نصب از شما جمع‌آوری می‌کنه دقت کنید. صددرصد توسعه دهندگان این اپ دارن یه غلطی به نفع یک حکومت انجام می‌دهند. اینو نمیشه فهمید که آدم کدوم طرف هستند و بطور دقیق چه هدفی رو دنبال می‌کنند.

تصویر پیوست بما می‌گوید؛ توسعه دهندگان یکسری دیتا از دیوایس‌های منو و شما جمع می‌کنند. دیتا در مسیر رمز نمیشه. و به نفر سوم هم داده خواهد شد. اجازه و حق پاک کردن دیتای خودمون رو هم نداریم، چون ایشون مشخص نکرده 🤔.

پس مواظـــــــب باشیـــد.
.
@elmedadeir