Ace of data science interview

از دوستان اگر کسی این کتاب رو داره یا خونده

ممنون میشم توی کامنت اطلاع بده.

برای توضیح ساده چندتا مفاهیم مربوط به timeseries داشتم دنبال مطلب میگشتم که به سایت یک کتاب رسیدم
مفاهیمی که من دنبالش بودم (مقدماتی) رو به بسیار خوب و بسیار قابل درک توضیح داده علاوه بر این نسخه آنلاین کتاب هم رایگان هست خوندن
پ.ن : مثل اینکه بخش code با R هست (بازم از ارزش کتاب کم نمی‌کنه)
Forecasting: Principles and Practice (3rd ed)

این پلی لیست از کانال یوتیوب آقای تاکور (لهجه هندی) هر هفته یک فصل از کتاب رو پوشش میده
برای کسانی که فرصت نکردند هنوز کتاب رو بخونند
ایشون یکی از افراد مشهور توی مسابقات کگل هست؛ حتی اگر این کتاب رو خوندید دیدن ویدئوها خالی از لطف نیست (از یک دید دیگه به کتاب نگاه کنید)

فصل دوم این هفته قرار گرفت :
YouTube PlayList

#تجربه
یک سری چیزا برای ما روتین شده؛ انقدر که تجربه‌اش کردیم و دیدیم که توی ناخوآگاه مغزمون فرو رفته و حتی اگر خودمون هم نخوایم انجامش میدیم و دنبال explore ‌روش‌های جدید نمیریم.
در حال تدریس؛ این روزا درگیر درس دادن دیپ‌لرنینگ به یک گروه فوق‌العاده و قوی هستم (جلوتر میگم چرا با این گروه انقدر حال میکنم)

شخصا همیشه توی زندگی حرفه‌ای سعی می‌کنم مثل ی Agent از Reinforcement learning عمل کنم و سعی می‌کنم اون Agent باشم که قبل از هدر دادن محاسبات و زمان راه جدیدی رو هم تست می‌کنه و ممکنه ۱ قدم کل مدل رو به پیش ببره؛
پس اگر ۱۰ بار کارهایی رو می‌کنم که برای حل مسئله روتین و جا افتاده هست
۱ بار هم از یک روش جدید میرم (شاید حتی روشی که احمقانه به ذهن برسه؛ اونقدر احمقانه که می‌تونه عملی بشه حداقل اینه که زمان رو به فان گذروندم و تجربه کردم)

جلسه‌ای که گذشت به RNN-GRU-LSTM بود بعد از کلی محاسبات دستی و کاغذ و ... توی آخرین دیتاست با دیتای 2-D به فرم TxD داشتم جلسه رو تموم میکردم به این نکته رسیدیم که اگر خیلی بزرگتر بود که LSTM به تنهایی نتونست جمش کنه قبل از attention, transformers چه راهکارهایی بوجود اومده بود (نکات عملی که باید در نظر داشت) بعد از مثال زدن

یکی از بچه‌ها سوال جالبی کرد :
اگر دیتای time-series یا ورودی RNN base می‌تونه ۲ بعدی باشه پس چرا برای عکس ازش استفاده نکنیم ؟
البته روی موضوع از لحاظ optimization و ... میشه بحث کرد ولی چون هنوز خیلی راه تا اونجا مونده همین کار رو کردیم
و روی fashion_mnist اجرا گرفتیم (بهترین خروجی یکی از بچه‌ها ۹۷٪ بود با ۱۰ تا اپوک)
خیلی جالب بود برام؛ سوالی که امروز یکی از بچه‌ها کرد ی دید جدید به چیزهایی بود که قطعا اگر با خودم پیش میرفت اصلا بهش فکرم نمی‌کردم (همونطور که تا حالا نکردم)

این دید جدید باعث شد چندتا مسئله رو بخوام دوباره بررسی کنیم و چندتا از مقالات این اواخر رو دوباره بخونم

نمیدونم آیا شما RNN-base روی تصویر تست کردید ؟

خروجی مدل خیلی ساده من با یک لایه
LSTM(20)
روی fashion_mnist که اپوک اول val_acc رو بالای 82% بر گردوند

#تجربه #هشدار

بنظر شما این خروجی مشکلی داره و اگر آره مشکل چی هست ؟

قبل از اینکه مشکل رو بگم؛ دلیل این پست رو توضیح بدم
توی این ۷ سالی که تمرکزم بیشتر روی هوش مصنوعی بوده تبلیغات و دوره‌های زیادی رو دیدم که جز کلاه‌برداری چیزی نیست
بعضی ازین دوره‌ها هم قصد مدرس کلاه‌ برداری نیست بلکه از روی حماقت (نادانی علمی - عدم شناخت کافی به موضوع بیزینسی - استفاده از کلمات و جملات بدون توجه به عواقب) هست که باعث دلزدگی و ... نیروی تازه کار می‌شه

توی لینکدین با یکنفر درحال صحبت بودم و به اینجا رسید که سوادی از هوش مصنوعی نداره و یک دوره شرکت کرده با یک تبلیغ قشنگ و ...
و اینکه طرف گفته توی این دوره آموزش میده که چطور ی سهام خاص روی بورس خارج از ایران رو پیش بینی کنید و ازین طریق پول در بیارید.

و بعد هم یک ویدئو دقیق از کد زدن مدل هوش مصنوعی تا قبل از نحوه predict و اکانتی که در نهایت درآمد زایی می‌کنه

قبل از اینکه زود قضاوت کنید باید بگم که این اولین آدم نبوده که ایجوری ازش کلاه‌برداری میشه (اما بدترین مورد بوده) توی این سالها بسیاری آدم میشناسم که به این طریق سرشون کلاه رفته
ادامه پارت دوم :

حتی بچه‌هایی که دکتری هوش مصنوعی از دانشگاهای معتبر دارند
خروجی و نموداری که توی عکس اول می‌بینید؛ کاملا واقعی هست و مربوط به دیتای سهام یکی از شرکت‌های مطرح طی ۳ ماه گذشته هست (اگر اشتباه نکنم)؛ حداقل ۲ برابر هم بهتر از خروجی ویدئوی تبلیغاتی
من این دیتا رو برای اثبات حرفام به دوستی که توی لینکدین بهم پیام داد از خود ایشون گرفتم و مدل رو زدم و بعد دیتای تست رو هم توی روز‌هایی که من کد میزدم ایشون کرال کرده و نهایتا این نمودار مربوط به دیتای تست هست
احتمالا الان میگید بریم بشینیم با این خرید و فروش بزنیم (ولی من ۱٪ هم با این مدل اینکارو نمی‌کنم)؛ حقیقت اینه که من اون مدرس رو نمیدونم اما اونقدرم احمق نیستم همچین چیزی واقعی باشه و بیخیال درآمدش بشم بشینم هوش مصنوعی خودمو آپدیت کنم

۳ تا دلیل که همه‌ی این تبلیغات دروغ هست :
۱- اگر کسی به این مهم دست پیدا میکرد؛ وقت خودش رو با کلاس آموزشی و تبلیغات و ... تلف نمیکرد و داشت پول در میاورد (چشمم دنبال ۱۰ میلیون تومان های پول دوره نبود)

۲- اگر اینها واقعی بود غول‌های بزرگ بورسی اینکارو میکردند

۳- طبق آخرین آماری که دارم (مربوط به سال گذشته) فقط و فقط کمتر از ۲٪ مدل‌های مقالات و ... واقعا داره استفاده می‌شه و اون هم فقط و فقط برای کمک به نیروهای خبره هست نه اینکه پول رو بدن دست مدل و بگن خوب همه چیز با تو

اما نمودار بالا : تنها چیزی که من ازش استفاده کردم رایج‌ترین اشتباه توی predict هست (هزاران بار توی کدهای شرکت‌های بزرگ ایرانی هم دیدم؛ خارج از ایران هم این وضعیت هست)
One-step prediction
برای شرایط خاص درست هست اما توی مثال بالا خیر پس حواستون به کد باشه مدل حداقل باید ۱ ماه آینده رو درست پیش بینی کنه نه فقط دقیقه / ساعت / یا روز بعدی رو

این حقیقت خروجی هست؛
Multi-step prediction
مراقب باشید سرتون کلاه نره
همینجا بگم که حواستون به بلاگرهای معرفی کتاب و ... (مخصوصا کتابهای فارسی هم باشه)

این مورد هم زیاد دیدم؛ طرف تا دیروز ملت عشق / من پیش از تو / من با تو / من بعد تو / من و تو و ... تبلیغ و معرفی میکرده

امروز داره مصورسازی داده - هوش مصنوعی و ... تبلیغ می‌کنه
و متاسفانه ادعا میکنه که کتاب رو خونده که خب دروغ هست با ۲ تا سوال مشخص میشه

نمیگم این کتاب‌ها خوب یا بد هست ؛ فقط میگم با اون زمانی که گذاشتید میشه کتابهای بهتری هم خوند و اون پول رو هم میشه صرف کتاب مطمئن‌تری کرد

امیدوارم ازین چیزا شاهد نباشیم (اون دوستمون سر این موضوع ۳.۰۰۰ دلار رو توی ۵ روز از دست داده که خودش برای ی مقیم ایران رکوردی هست)

#Quick

اگر بعد از sleep کردن سیستم البته لینوکس منظورم هست، gpuها توسط فریمورکهای مطرح شناخته نشد (خیلی مرسوم هست) و ارور cuInt گرفتید

sudo rmmod nvidia_uvm
sudo modprobe nvidia_uvm

چون دیدم یکی از دوستان سیستم رو ریبوت کردند. (برای من جهنم هست این وضعیت)

امروز هزینه‌های دانشگاه‌ هارو دیدم،

خواستم بگم، اگر فقط و فقط داری درس می‌خونی و فکر می‌کنی هیچ کار دیگه ای برای زندگی نکردی بازم دمت گرم، با این شرایط مملکت کار بزرگی داری می‌کنی و میشه گفت چی ارزشمندتر از امید داشتن 👏

بعد از سالهای سال بالاخره دوره
Machine Learning Specialization

آقای اندرو انگ آپدیت شده و از فردا در وبسایت Coursera در دسترس عموم قرار خواهد گرفت.

اگر تازه شروع کردید، این دوره رو جایگزین دوره قبلی کنید.

تو کمتر از ۲۴ ساعت :

1.1K GitHub Stars

Yandex

100 Billion parameter on 1.7 Terabytes of data

کاملاً رایگان و دردسترس همگان (برخلاف همه مدل‌های بزرگ و قبلی)

Github Link

این رو حتماً ببینید و اگر تسک‌ های جالبی باهاش زدید به اشتراک بذارید خروجی رو
(تو همین ۹ ساعت چندین مدل pretrain، چندتا حالت chatbot ازش بیرون اومده)

ی بحث‌هایی تو گروه (کامنت این پست شد)

و گفتیم که ارزش مقاله شدن داره و ...
الان @Mohammad_Talaei لطف کرد و
اطلاعاتی رو به اشتراک گذاشت که بله بحثی که داشتیم مقاله‌اش هم بیرون اومد، دوست داشتید تو گروه می‌تونید دنبال کنید، رفرنس مقاله و ... هم اونجاس


قبلاً هم گفتم توی صحبت‌ها گفتم:
ما ایده‌اش رو داریم، وقتشو نداریم
وقتش رو داریم، تجهیزاتشو نداریم
(واقعاً ریسرچ تو ایران همچین وضعیتی داره)

Google Python Style Guide

بحثی داشتیم با دوستان راجب موضوع و کتاب Clean Code من همونطور که قبلا هم گفتم بنظرم حداقل برای کامیونیتی پایتون و جاوا‌اسکریپت که خودم کد میزنم و تجربه دارم؛ موضوع اصلی جوگیر شدن آدما بود.

یک زمانی خیلی از افراد شروع کردن پست گذاشتن راجب این کتاب و ...
نظر شخصی من و چیزی که یادگرفتم اینه که؛ حداقل توی دنیای الان با زبان‌های برنامه نویسی بالا و توی موضوعات کاری ما
همه‌ی موارد چرت و پرت هست (قبلا Lambda AWS رو مثال زدم توی گروه)

بجای خوندن این کتاب بنظرم فقط کافیه توافق عمومی پایتون رو رعایت کنید؛ هر شرکت بزرگی برای خودش ی توافق نامه داره مثل گوگل که لینکش رو گذاشتم و بر اساس اون پیش میره

اما مهم تر از اون اینه که شما وقتی وارد یک گروه یا تیم می‌شید توافق و نحوه کد زدن اون تیم رو رعایت کنید (حتی اگر ۱۰۰٪ درست نباشه) سورس ‌کدها رو بخونید و با اون استاندارد کد بزنید این خیلی مهمه که حتی توی همین داکیومنت گوگل هم روش تاکید شده :

If you’re editing code, take a few minutes to look at the code around you and determine its style

خلاصه که موضوعات مهمتری هم هست.

Python 3.11
اون ورژنی هست که بهش آپگرید میکنم

هرچند وقت یکبار آپدیت‌های قشنگی روی پایتون میخوره که خب همیشه کدهارو تغییر نمیدیم فقط می‌دونیم چه اتفاقاتی افتاده

آخرین باری که من آپگرید ۳.۶ بود (البته بگم که الان کدهای جدید رو روی ۳.۸ میزنم ) و کد‌های قدیمی که هنوز نیاز به نگهداری و ... دارند رو روی ۳.۶ نگه داشتم

نسخه ۳.۱۱ که الان روی بتا هست خبرهای خوبی راجبش شنیده میشه (تست منم همین رو نشون داد تا حدودی)
نکات مهم برای من : سریعتر شدن runtime, uptime هست (این ینی زمان کمتر صرف optimization بشه) وقتی میگم زمان کمتر منظورم حداقل ۳۰ ساعت هست
توی سایت اشاره به ۱۰-۶۰٪ سریعتر شدن کرده که توی تست‌های من از ۲۰٪ که خیلی پیش میومد تا ۵۰٪ توی چند مورد دیدم

ویژگی مهم دوم برای من تمیز تر اشاره کردن به خطی هست که ارور داره (از نسخه ۳.۱۰ قویتر هست طبق گزارشات کاربرا)

سوم اضافه کردن متن به ارور Exception برای اینکار توی پیکیج‌های داخلی یک شرکت (موضوع ۳ سال پیش) واقعا چه راهکارهایی که نزدیم (چه عذابی بود) الان فقط یک تابع شده

بنظرم همین ۳ تا بهترین دلیل‌ها برای من هست تا کدهای قدیمی و ... رو بیارم روی ۳.۱۱

اگر دوست داشتید تستش کنید 👌

این دوره Visualization ها و نمودارهای خیلی خوبی داره که بنظرم در حد ی cook-book عالی هست

مثلا سورس کد نمودار Interactive اش واقعا جذاب بود و ساده برای همین تصمیم گرفتم اینجا ارسال کنم

پ.ن : این سورس مربوط به توابع داخلی هست که توی lab ایمپورت شده و خود jupyter نیست.

این دوره‌ها خیلی وقت پیش لینک گذاشتم که خب چون Mega خیلی زود بررسی کرد لینک‌هارو (رکوردی بود، کمتر از ۲ ساعت) متأسفانه خیلی از اعضای کانال نتونستند دانلود کنند،

یک کتابی از ایشون یافت شده، که گفتم شاید بد نباشه به اشتراک بذارم

توی کانال بنا به دلایل ریپورت شدن و ... قرار نمیدم دوستان می‌تونند از گروه دانلود کنند

#تجربه #قبل_از_مصاحبه
.
سفته ندید.
.
قبلا راجب سفته و ... صحبت کردم کلی بچه‌هایی هم که به مشکلات جدی خوردند هم گفتند این موضوع رو --> به هیچ وجه سفته به هیچ‌ جا ندید.
شما برای حسن خدمات و ادعاهای مدیر شرکت سفته نمی‌گیرید
شرکت برای سواد شما از شما مصاحبه میگیره و ...
سفته جز برای نیت‌های کثیف هیچ بهانه دیگه‌ای پشتش نیست.
-------------------------------------------------------------------------------------------------------------
.
رزومه‌ برای شخص نفرستید.
.
اخیرا ؛ خیلی خیلی زیاد شده با اکانت شخصی توی لینکدین و ... پیام میدند و رزومه درخواست می‌کنند.
بهترین کار اینکه از طرف بخواید آدرس ایمیل رسمی شرکت رو بده شخصا برای شخص رزومه نمیفرستم.
این مورد حداقل توی شغل ما خیلی مهم هست؛ مخصوصا برای بچه‌هایی که دسترسی به سرور دارند.
چندسال پیش یکی از ادمین سرورها اینکارو کرده بود؛ طرف یک سایتی رو هک کرده بود و لیست پسوردها و علایق و .... رو پیدا کرده بود بین افرادی که توی سایت بودند ایمیل و اطلاعات این ادمین رو هم پیدا کرده بود و بهش پیام داده بود که رزومه و .. بفرست من از فلان شرکت هستم؛ که خب این بنده خداهم فرستاده بود.
خلاصه طرف شرکت‌هایی که ادمین کار میکرده + کلی اطلاعات مفید رو بدست آورده بود و به سرور شرکت attack زده بود و دسترسی کامل داشت
هم شرکت رو بیچاره کرد هم خودش رو (این شرکت خیلی مطرح بود توی ایران اون زمان)
----------------------------------------------------------------------------------------------------------------
.
از افراد بیشعور فاصله بگیرید.
.
این هفته از طرف یکی از دوستان برای یک مصاحبه کاری دعوت شدم.
که خب بخاطر مشکلات و ... مجبور شدیم چندبار زمان رو جابجا کنیم تا به زمان مناسبی برسیم (اصلا چیز بدی نیست چون همواره زودتر باهم چک میکردیم؛ البته هم جلسه مهم بود و هم طولانی میشد که خب دلیل اصلی همین بود)
۷-۸ نفر توی این جلسه حضور داشتن ؛ اما از همون ابتدای صحبت از مدیر عامل و مدیرفنی تیم خیلی خوشم نیومد (بخاطر نوع حرف زدن و رفتارشون) و یکسری قضاوت کردم راجبشون و بعدتر مطمئن شدم درست بود
بخاطر دوستمون که سهامدار اصلی شرکت هم هست جلسه رو تحمل کردم آخرای جلسه چندتا مورد دیگه از مدیر فنی دیدم که خیلی عصبیم کرد
قبل از پایان جلسه گفت که :
- خلاصه که ما این جا مثل یک خانواده هستیم واقعا
+ من واسه تشکیل خانواده و رفاقت اینجا نیومدم واسه کار اومدم؛ که فکر نکنم بدرد هم بخوریم پس
خواستم بگم ازین کارفرماها فرار کنید؛ این کارفرما نسبت به مبالغ جاافتاده تو بازار ۵ برابر به من دستمزد میداد درسته پروژه سختی بود
اما رفتار از هرچیزی بسیار بسیار مهمتر هست
اگر میخواید مشکل اعصاب و ... نگیرید با این آدما کار نکنید.‌

قبلا راجب نسخه سرور پست گذاشتم (هزینه‌های سرور رو کم کرده)
سری جدید کارت گرافیک‌های Intel این بار برای دسکتاپ به زودی وارد بازار میشه
و این موضوع اهمیت داره :
۱- هدف گذاری فروش ۴ میلیونی سری رده بالاتر ARC 7
۲- رسیدن به این هدف؛ که نوید قیمت پایین‌تر رو می‌تونه بده
۳- رغیب جدید و جدی برای Nvidia - Amd البته شاید بیشتر Nvidia چرا که از همون ابتدا Intel با هدف‌گذاری پردازش تخصصی وارد این بیزینس شد
بعید هم نیست؛ به ۲ دلیل واضح :
- اول اینکه :
اینتل نسخه گرافیک سرور برای پردازش‌های AI رو قبلتر ارائه داده پس درایورها و فریمورکها باهاش آشنایی دارند و براش توسعه داده شدند
دوم اینکه :
می‌تونم بخاطر بیارم از نسخه حدودا Tensorflow 0.7 اینتل یک نسخه مختص به CPU های خودش رو ارائه میداد که علاوه بر کامپایل‌های اپتیمایز شده حتی توی بخش کدها هم اپتیمایز شده بود (پس مثل AMD دور نبوده بلکه مثل nvidia درگیر بوده از اوایل)
۴- معماری کمی متفاوت که طبق گفته مهندس‌های Intel بهشون اجازه داده هزینه ‌ها رو کم کنند.
۵- پروژه‌های اینتل همیشه ۲ حالت داره : شکست مطلق - پیروزی نوید بخش
جوری که اینتل وارد بازار شده و بنچمارک‌ها و ...
عکس العمل Nvidia که طبق شایعات (قابل اتکا) - کودا کور و ... توی نسخه 4090 حدودا ۲ برابر ۳۰۹۰ خواهد بود نشون میده اینتل تاثیر خودش رو گذاشته
برای درک بهتر سخت‌افزار و .... ویدئو زیر رو ببینید :
Youtube Link

با افت شدید قیمت رمز ارز‌ها :
قیمت GPU های سری 30X تا 500 دلار کاهش یافته
بعنوان مثال 3090Ti Founder Edition روی Amazon حدودا 410 دلار تخفیف خورده
اما این قیمت‌ها ثابت هست چون باقی شرکت‌ها (Evga - Asus - Msi و...) قیمت‌های جدید رو اعلام کردند
این مسئله نگرانی‌های جدی تری رو هم برای Nvidia و سری 40X بوجود آورده
هم از لحاظ رسیدن به هدفگذاری فروش هم از لحاظ قیمت گذاری (این رو میگم بخاطر حجم سفارشی که Nvidia به tsmc قبل از داغون شدن قیمت رمز‌ارزها داده)
.
پ.ن : tsmc گفته قرارداد رو لغو نمی‌کنه؛ Nvidia می‌تونه مشتری براش پیدا کنه 😂
قطعا این شرایط برای AMD هست این رو توجه داشته باشید
.
شرایط دوس داشتنی