انواع خطاها در کار با داده ها - 1
یکی از مهمترین کارها قبل از شروع تحلیل، علی الخصوص در تحلیل داده های بزرگ پاکسازی داده ها یا Data Cleansing است. پاکسازی داده ها یکی از مهمترین بخش های پیش پردازش داده ها (preprocessing) است. اهمیت این موضوع زمانی که شما داده ها را از منابع مختلف جمع آوری می کنید بیش از پیش نمایان می شود. در ادامه انواع خطاها در هنگام کار با داده ها را با هم بررسی می کنیم.

#preprocessing
#Data_Cleansing
پایتون برای مالی
🆔 t.me/python4finance
🆔 ble.ir/python4finance

انواع خطاها در کار با داده ها - 2
مهمترین خطاهایی که در داده ها ممکن است وجود داشته باشد عبارت است:
1️⃣ ناقص بودن اطلاعات (incompleteness error): یعنی داده وجود نداشته باشد که در پایتون با NA یا NaN نمایش داده می شود. معمولا برای حل این موضوع از میانگین، میانه، مد و یا صفر (بسته به مسئله) برای پر کردن داده ها استفاده می شود. (ردیف2)
2️⃣ بی اعتبار بودن داده ها (invalidity error): یعنی زمانی که داده ها از محدوده معناداری خارج می شوند. برای مثال در ردیف 2 تاریخ تولد فرد مذکور سال 1300 ذکر شده است که خارج از محدوده است.
3️⃣ دقت پایین داده ها (inaccuracy error): وقتی که داده ها با مقادیر صحیح پر نشده باشند، این خطا عموما از ناحیه مسئولین داده ها اتفاق می افتد. برای مثال افراد یا کارت بانکی دارند یا ندارند، «بدون پاسخ» در ردیف 4 معنی ندارد.
4️⃣ ناسازگاری داده ها (inconsistency error): وقتی بخش های مختلف داده با هم ناسازگار باشند. در ردیف 5 نام فرد خانم ب است اما جنسیت مرد ذکر شده است. معمولا برای رفع این مشکل معمولا از داده های تکمیلی استفاده می کنند.
5️⃣ یکنواخت نبودن داده ها (non-uniformity error): برای راحتی محاسبه و افزایش دقت لازم است داده ها از یک الگو تبعیت کنند. راهکار این موضوع تبدیل داده ها به یک فرم یکنواخت است. برای مثال در همه ردیف ها سال تولد با الگوی 4 رقم ذکر شده است اما در ردیف 3 با الگوی دو رقم ذکر شده است.
6️⃣ تکراری بودن داده ها (duplication error): وجود داده های تکراری ممکن است باعث جابجایی میانگین، میانه و مد شود و تمرکز ما از جابجا کند. راه کار آن نیز حذف داده های تکراری است. در مثال ردیف 1و 4 تکراری هستند.


#preprocessing
#Data_Cleansing
پایتون برای مالی
🆔 t.me/python4finance
🆔 ble.ir/python4finance

پایتون و SQL دو مهارت برنامه نویسی مشترک در بین دانشمندان داده در سال 2022
بر اساس گزارش سال 2022 Kaggle ، پایتون و SQL دو زبان برنامه نویسی پرتقاضا در میان دانشمندان علم داده است. R و جاوا در رتبه های سوم و چهارم قرار دارند.
(روند صعودی پایتون و نزولی R طی چهارسال اخیر مشهود است)

#گزارش2022
#کگل
#علم_داده
#یادگیری_ماشین
#Report2022
#Machine_learning
#Kaggle
#Data_Science
#python_for_finance

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

بر اساس گزارش چشم‌انداز روندهای فناوری ۲۰۲۵ مکینزی، در حوزه توسعه ابزارهای هوش مصنوعی، دانشمند داده با اختلاف بالاترین شغل مورد تقاضا در سال های 2021 تا 2024 بوده است و تسلط به یادگیری ماشین و زبان پایتون از اصلی ترین نیازمندی‌ها بوده است.

🌐 لینک گزارش

#McKinsey
#data_science

پایتون برای مالی
🆔 t.me/python4finance
🆔 ble.ir/python4finance