این ورکشاپ خصوصی هست

اما ازونجایی که باید کدها و ... در اختیار شرکت کننده‌ها قرار بگیره تصمیم گرفتم بجای git خصوصی شرکت روی github خودم کدهارو بذارم آدرس :

GitHub

نکته جالب (ترسناک برای من) طیف شرکت‌ کننده‌هاس از graduated تا postdoc و افرادی که چندین سال سابقه کار دارند.

Develop to deploy

راجع به خیلی چیزها بحث میشه
شاید توی یک موقعیت مناسب همین‌ هارو در ایران هم بحث کنیم (قطعاً واجبه).

اگر ازین نوع مباحث خوشتون میاد بگید (گیت‌هاب star) اگر نه موضوعات مورد علاقه‌تون رو باهام به اشتراک بذارید شاید بتونیم چندتا لایو داشته باشیم راجب موضوعات.

پ.ن : جلسه اول همین مباحث با جزئیات machine learning در sklearn بررسی شد و یک deploy ساده هم داشت (توی اولین فرصت بازنویسی می‌کنم و اضافه خواهد شد)

جلسه سوم :
Optimization
هم آماده هست که بعد از برگذاری push خواهد شد.
دلیل اینکه زودتر از ورکشاپ نمیذارم اینه که؛ احتمال داره ۱-۲ تا تکنیک ساده برای افزایش سرعت روی Desktop - Server و البته CPU اضافه کنم.
(بسته به زمانی که اضافه میاریم در ورکشاپ)

پ.ن : چون پرسیده شد چیزی که از شرکت‌کننده‌ها متوجه شدم هزینه این ورکشاپ‌ها (البته غیر از من هم ۳ مدرس دیگه هستند و ۵ جلسه ۸ ساعته) برای کسی که همرو شرکت کرده با تخفیف 3000 دلار هست.

تعدادی از بچه های ایرانی توانایی بالایی توی کد نویسی و … دارند ولی متاسفانه شرایط کاری جوری هست که از آدمای بیسواد (از نظر برنامه نویسی) دستمزد کمتری دارند.

هنوز بسیاری از شرکت ها دستمزد رو به میزان سالی که توی اون شرکت کار میکنید ربط میدن؛ اینکه چیکار میکنید مهم نیست.


برای اونهایی که دنبال تغییر هستند :

https://remotehunt.com/

* اگر لازم شد به یک کشور دیگه (ترکیه - ارمنستان یا …) سفر کنید و کار رو بگیرید. 😉
امیدوارم بدرد شما هم بخوره

پ.ن : رزومه رو جینگول نکنید؛ تمرکزتون رو بذارید رو اینکه ابزارهای OCR بتونند به خوبی اطلاعات مهم و مفید رو ازش استخراج کنند.

رزومه فرستادن رایگان هست ؛ نترسید شاید لازم باشه ۵-۶ نسخه رزومه درست کنید و برای بیش از ۷۰-۸۰ موقعیت شغلی بفرستید؛ هیچکس مانع شما نمیشه جز خودتون.

متأسفانه توی این کارگاه فرصت نشد راجب
Inference Optimization
برای deploy روی سرور (Cpu - Gpu) صحبت کنم، ولی این از اهمیت ماجرا کم نمی‌کنه در آخر یک تاکید محکم روی این موضوع داشتم که یکی از شرکت‌کنندگان گفت ارزش نداره وقت محقق رو صرف ۱-۲ میلی ثانیه کنیم (هرچند شوخی بود)

برای همین تصمیم گرفتم این کار رو انجام بدم و اهمیتش رو نشون بدم.

شاید ی روز دیگه یک کارگاه دیگه بتونیم راجبش کامل صحبت کنیم.

زمان :
نسخه prune شده (برای ۳۲.۰۰۰ inference) :
27min 2sec

نسخه prediction optimized (برای ۳۲.۰۰۰ inference) :

2 min 14 sec

#کار #ریموت #بین‌المللی #رزومه

یک دوستی پیام دادن توی لینکدین و این که خیلی رزومه فرستاده و کار ریموت نگرفته خواستند من رزومه‌اش رو بخونم نظراتم چون کلی بود گفتم اینجا هم بذارم :

۱- اگر کارهای اولی هست که با این شرکت انجام میدید و قرار نیست بهتون پروژه بدند (حتماً چندتا پروژه سورس کد روی گیت‌هاب یا پلتفرم مورد علاقتون بذارید که بتونند بررسی کنند)

۲- توی رزومه کلمات تخصصی که اون شغل مدنظرش هست رو حتماً تکرار کنید (الگوریتم‌هارو اگر توی آگهی بود بذارید وگرنه لازم نیست بگید، از کلمات کلی تر استفاده کنید ۹۰٪ شرکت‌ها رزومه رو اتومات بررسی می‌کنند)

۳- اینکه بگید توی شرکت فلان کار کردید خوبه، اما چیزی که خیلی مهمه اینه که چیکار کردید چی یاد گرفتید و چه دستاورد و ارزشی رو برای شرکت به ارمغان آوردید - البته این کمک می‌کنه رزومه‌تون پر بارتر هم باشه)

۴- شکل رزومه سعی کنید شکیل باشه، شما Designer نیستید پس دنبال رزومه با گرافیک و رنگی خیلی نباشید - توی جدول هم رزومه پر نکنید (این برای ۱۵-۱۶ سال پیش بود)

در نهایت شاید کمی ناامید کننده بنظر برسه ولی واقعیت هست :
پیدا کردن شغل بین‌المللی و ریموت برای فرانت - بکند و البته موبایل خیلی خیلی راحت‌تر از ML - Data science هست.

یک ترس بزرگی برای شرکت‌ها روی استراک گذاری دیتا هست - قوانین اروپا - آمریکا و کشورها هم راجب دیتا سخت‌گیرانه هست؛ و اینکه شما ایرانی هستید موضوع رو سخت‌تر هم می‌کنه

پس اگر رزومه میفرستید و جواب نمی‌گیرید، ناامید نباشید

یادمه یکی از دوستان که تازه مهاجرت کرده بود (دانشجویی)، تمام تلاشش رو برای گرفتن کار Data کرد اما دریغ از یک شغل (حداقل ۳ ماه فکر کنم روزی ۲ مصاحبه رو داشت)
در نهایت برگشت به Frontend - Backend و توی مصاحبه دوم قبول شد‌ (موضوع حساسیت دیتا بود خیلی از HR ها بهش گفته بودند)

پ.ن : اگر با هدف درآمد بین‌المللی دارید ML/DL می‌خونید، بنظرم دست نگه دارید راه مطمئن‌تر

Frontend : React
Backend : Django - Fast API
Database : Postgresql - MongoDB
Other : Docker - Nginx - Linux - Git

با این موارد ۱۰۰٪ کار ریموت پیدا می‌کنید، دوره‌ی آموزش
Backend - Frontend
با تدریس کارکنان Meta (فیسبوک) توی Coursera هست که بنظرم خیلی خوب درس داده (بصورت رایگان هم می‌تونید ببینید)

#کوتاه

اوضاع
Data structure, Algorithm
خیلی بده توی برنامه‌نویس‌های جدید.

شرکت‌ها - آموزشگاها بجای یاد دادن نحوه تفکر کردن (Ds - algo) فقط دارند ابزار یاد میدن.


خدا بخیر کنه. 🥲

#نکته

اگر شماهم مثه من از .gitignore نوشتن عصبی می‌شید (مخصوصا روی پروژه‌های بزرگ) :
Gitignore.io / toptal.com
تکنولوژی رو انتخاب کنید و یک gitignore آماده و کامل ازش بگیرید.

این خیلی مهم هست که وقتی software می‌نویسید و اون رو opensource می‌کنید حتما License داشته باشه که بعدا به مشکل نخورید (پیشگیری و ...) اما اگر مثل من ویژگی‌های اصلی License ها یادتون نمیمونه بجای اینکه همرو MIT - GPLv3 بزنید (بدون اینکه بدونید داستان چیه) یک سر به سایت :
Choose a License
بزنید و فیچر‌های مهم هر لایسنس رو بصورت لیست و رنگی ببینید تا لایسنس درست رو انتخاب کنید.

برای هر لایسنس template هم قرار داده شده، که راحت باشید.

امیدوارم مفید باشه.

داخل گروه قرار گرفت.

@pytens

دلم خواست second edition این کتاب فوق العاده رو هم توی گروه بذارم

امیدوارم مفید باشه

نکته : هر ۲ کتاب فرمت pdf و نسخه اصلی هست.

@pytens

#کوتاه

به لطف ریموت شدن کارها، متوجه شدم شرکتی که قبل‌تر توش کار میکردم موفق شد بزرگترین رقیب و غول صنعتیش رو با ارائه سرویس ۲۰٪ ارزونتر به شرکت‌های دیگه از دور خارج کنه.

ریموت مزیت بزرگی برای شرکت‌هایی هست که تازه وارد صنعت شدند یا توی صنعت اجازه رشد نداشتند.

به شرطی که بخوبی مدیریت بشه.

تولید شده توسط هوش مصنوعی

عکس اول (بالا سمت چپ) چیزی هست که با توضیحات من (مهندسی) توسط stable diffusion تولید شده (اصن جذاب نیست)
برای همین از یک دوست طراح خوساتم کهکشان رو با چشم طراحی برام توصیف کنه و چندتا جمله بهم بده (درک اینکه چی میگه و تو ذهنش چی هست برام سخت بود) اما بعد از تولید stable diffusion و انتخاب بین عکسا (برای هر متن ۵ تا عسک تولید شد) قشنگ درک کردم توضیحاتش رو که خودش یک قدم بزرگی هست بنظرم.

خواستم بگم به جزئیات عکس‌ها نگاه کنید و مدل‌های هوش مصنوعیتون رو به طراح‌ها بسپارید.

پ.ن : عکس‌ها رو نذاشتم چون watermark - safety checker رو توی سورس کد خاموش کردم :
بخاطر اینکه بفهمم روی چه دیتایی آموزش دیده (بله امکانش هست)

فکر کنم به درک متقابل رسیدند.
۵ کوئری آخر (به گفته ایشون بسیار شبیه چیزی هست که در نظر داشتن)

#Quick

برای اینکه فقط آپدیت‌های امنیتی (پچ) یک پکیج رو با pip بگیرید
لازم نیست اینطوری بنویسید :

django >=3.2.0< 3.3

می‌تونید از
django ~= 3.2.0

استفاده کنید (چون دیدم خیلی از سورس‌کدها بصورت اول نوشته شده).

کوتاه :

ادعا شده دیتاهای WeChat و TikTok لو رفته (یک هکر دسترسی گرفته) و الان موضوع جدی بحث مثل اینکه،
اینه که چرا TikTok که می‌گفت دولتی نیست دیتاهاش کنار WeChat پیدا شده که در اختیار دولت چین هست.

#تجربه

لینکدین / اینستاگرام پر شده از راهنمایی هایی که طبق تجربه تهش تو دیواره

مراقب باشید.

پ.ن : یک بار بخونید ۱۰‌بار مشورت کنید ۲۰ بار تحقیق
بعد وقتتون رو روش بذارید.

شدیداً #عصبانی هستم.

لینکدین شده پر از آدم ها و پست های مربوط به قاعدگی و پریودی بانوان (۹۹٪ هم آقایون، نکشیمون روشن فکر)

اگر زمان دانشجویی، با لینکدین آشنا شده بودم قطعاً تنظیم خانواده رو ۲۰ میگرفتم


واقعاً وضعیت مزخرفی هست برای دیده شدن هر چیزی رو هر کسی پست می‌کنه و چقدر راحت خیلی‌ها عکس العمل نشون میدن و باعث دیده شدن بیشتر می‌شن

میشه لطفاً محیط لینکدین رو خراب نکنید، چرا یک مهندس نرم‌افزار بجای تجربیات و ... ۱۰ پست آخر صفحه‌اش باید راجب این موضوعات باشه (و متأسفانه هرکدوم بیش از ۳۰۰ بار reaction داشته)


پ.ن : خیلی‌ هاشون رو دیدم و میدونم که چقدر توی برخورد واقعی بیشعور هستند.

توی اولین فرصت، قطعاً باید یک کد بنویسم برای این موضوع ایده‌اش اینه :
به موقعیت شغلی طرف نگاه کنه اگر ربطی به موضوع پست نداشت هم report کنه هم connection رو قطع کنه
اگر طرف کسی بود که reaction داده، unfollow کنه


شمارو نمی‌دونم اما من لینکدین رو برای پیدا کردن کار و آدمهای درست برای کانگت شدن با شرکت‌ها استفاده می‌کنم.

خواهش می‌کنم

ازین پست‌هایی که فقط برای دیده شدن هست حمایت نکنید (ریپورت کنید خواهشاً) ❤️


در نهایت اینکه (بنظر من) :

بجای اینکه سعی کنید نشون بدید پریود بودن چیزی عادی هست ( چون همه‌ی ما تحصیل کرده‌ایم و همه می‌دونیم که این موضوع یک اتفاق طبیعی هست)

شعور و نحوه صحیح برخورد و احترام گذاشتن رو آموزش بدیم ۱۰۰٪ تأثیر بهتری خواهد داشت.

کاش ؛ سایتای داخلی رو هم فیلتر کنن برای اتصال مجبور نشیم هی vpn رو خاموش کنیم.
این صحبتی بود که چندروز پیش تو گروه Django داشتم و بچه‌ها پیشنهاد دادن static route بنویسم برای ip های داخل (ولی کسی لیست کامل و درستی نداشت: لیست‌هایی هم که داده شد چک کردم آیپی سایتای مدنظرم توش نبود)

ازونجایی که خیلی به سایتای داخلی سر نمیزنم تصمیم گرفتم دونه دونه هروقت برخورد کردم اضافه کنم (اگر شرایطی مثل من دارید ازین دستورات استفاده کنید) :

netstat -rn
رو بزنید gateway (معمولا آدرس مودم هست 192.168.1.1 و اسم Iface رو بگیرید)
ping -c1 example.com
آدرس سایت رو ping کنید و ip اون رو بگیرید.

‍‍sudo route -nv add -host <SiteIP-Address> gw <GateWay IP> dev <Iface name> 

هرچند دستی هست اما از هیچی بهتره ؛ امیدوارم مفید باشه 🌹

من خیلی عادت ندارم دیتاهای هاردهام رو دسته بندی و تمیز کنم،

اما وقتی ۱۶ ترابایت هاردی که کد روش میذاری پر میشه حتماً باید تمیزکاری انجام بشه

توی این تمیزکاری کلی دیتا، کد و ... پیدا کردم که چیزهایی که برای یادگیری خودم بود چه اونهایی که توی ورکشاپ و کلاسای خصوصی و ... استفاده کردم

تصمیم گرفتم روزایی که وقت دارم (مثل امروز) بعضی‌هاشو آپدیت و تمیز کنم و روی گیت‌هاب قرار بدم

قرار نیست فقط راجب مدل‌های بزرگ باشه (فکرم نمی‌کنم همچین چیزی باشه چون مدل آخرین چیزی بود که درس میدادم)

توی این مورد اول دیتای پزشکی برای segment هست :

چیزای که با خوندن این کدها یاد میگیرید

دیتای tiff - نحوه پیدا کردن annotation و ساخت mask از فایل xml

روش مرسوم (البته شاید قدیمی) برای پردازش عکس‌های خیلی بزرگ (اینجا تصویر خیلی بزرگ نبوده ولی هدف آموزش بود)

کمکی که این روش به ساخت مدل بهتر می‌کنه

augmentation
برای تسک segmentation

استفاده از کاستوم متریک ها برای ارزیابی


قطعاً خروجی و مدل و ... می‌تونست خیلی خیلی بهتر باشه ولی خب هدف آموزش بوده


GitHub Link


پ.ن : نظر پیشنهاد انتقاد و ... بود، حتماً بگید

برای دوستانی که میخوان تمرین کنند

قبل از خوندن کدها سعی کنید خودتون شبکه‌ای رو برای دیتاست معرفی شده بسازید.

زمانی رو یادم هست که قبل از دیپلوی شروع میکردیم همه چیز رو از سورس کد ساختن

واقعاً همه چیز،
Tensorflow

فقط یکی از موارد بود (برای کسانی که این کارو کردن کابوس : bazzle)
اما حالا به لطف تکنیک‌های optimization که وجود داره دیگه اون روزا رو پشت سر گذاشتیم

یادمه زمانی که با دکتر عسگری و باقی بچه‌های DLeX بحث‌ها داشتیم به دنبال یک نسخه‌ای از پایتون که روی Cpu خاص سریعتر باشه (اینا روزمرگی کار ما بود که بچه‌های جدید هیچوقت درگیرش نمیشن)

همه‌ی اینا دوباره یادم افتاد چون این خبر رو خوندم :

Announcing TensorFlow Official Build Collaborators


حالا وقتی pip install میزنید دقیقاً نسخه‌ای رو میگیرید که اون شرکت برای سخت‌افزار خودش optimize کرده

Intel, AWS, ....

روزمون مبارک 🤣👌

اسلحه چی می‌گه 😂😂😂😅😅