#keras #custom_dataset
#dog_vs_cat

تمامی دوستانی که ؛ کمی هم دنبال اخبار موبایل‌ها و دوربین‌ اونها هستند ۱۰۰٪ میدونن که با وجود اینکه خیلی از برندهای موبایل در حال اضافه کردن تعداد لنز‌ها و مگاپیکسل اونها هستند همواره توی رقابت با گوگل پیکسل همیشه بازنده بودند با توجه به اینکه فقط و فقط از یک دوربین استفاده می‌کنه (مغز می‌پوکه)

خیلی از روش‌های هوش مصنوعی و دیپ‌لرنینگ برای بهبود کیفیت عکس‌ها و سرعت پروسس اونها استفاده می‌شه

این مقاله نمونه‌ایی از قدرت گوگل رو این موضوع رو نشون می‌ده اگر شماهم علاقه دارید بدونید گوگل پیکسل چطور به این نتایج می‌رسه خوندن این مقاله رو بهتون پیشنهاد می‌کنم

https://sites.google.com/view/handheld-super-res/

پ.ن :
گوگل و کیفیت نایت‌سایت و قدرت اون هم از همینجا میاد

یک پروژه‌ایی که به تازگی بهم پیشنهاد شد تشخیص یک سری اتفاقات خاص بود (فیلم و دوربین و ...)

راه حل‌های زیادی تست شده بود روی این دیتاست و هرکدوم دقت‌های خوبی داشت (فکر می‌کنم تمومی روش‌های بادقت خیره کننده موجود تست شده)

اما همچنان نیاز هست که دقت بیشتر از این باشه؛ بخاطر دوستی که با یکی از اعضای این تیم داشتم بهم پیشنهاد شد که به تیم کمک کنم و اگر ایده‌ایی دارم حتی اگر وقت پیاده‌سازی ندارم برای تیم شرح بدم تا اعضای اون کد رو پیاده سازی کنند.

همیشه گفتم ؛ اول دیتا رو خوب بشناسید حتی اگر زمان زیادی رو خرجش می‌کنید (مطمئن باشید پشیمون نمی‌شید.)

بعد از گرفتن اصل دیتاها و کلی بررسی کردن از گروه خواستم نمونه‌هایی که مدلهاشون درست عمل نمی‌کنه رو بهم بدند (از دیتای تست و مدلی که پیاده‌سازی شده برای مشتری و ...)
این کار مشکلی نداره چون من نمی‌خوام پارامتر‌های مدل رو تغییر بدم یا تقلب کنم که مدل عملکرد بهتری داشته باشه (جلوتر متوجه می‌شید)

دلیلم این بود که توی بررسی ۱۰۰ تا از دیتاها به یک نمونه خاص برخوردم که با دیتاهای قبلی تفاوت داشت
توی دیتای تست هم از ۱۰۰ مورد حدود ۳۰ مورد همین حالت بود ؛
بعنوان مثال :
فرض کنید تیم می‌خواد جاهایی که سگ وجود داره رو تشخیص بده اما تو بعضی از ویدئوها دوربین نقطه کور داره و سگ توی ویدئو دیده نمی‌شه البته که سگ وجود داره و این لیبلی هست که برای دیتا خورده.

راهکار این نیست که دیتارو حذف کنیم یا دوربین بیشتر بذاریم و محدوده رو بزرگتر کنیم و دوباره دیتا جمع کنیم.

براهکار کم خرج و بهتر چی می‌تونه باشه ؟؟؟؟؟؟

ی چندبار توجه به لیبل و دیتاها و گرفتن دیتای تست از گروه دقیقاْ برای همین موضوع بود (تا آخر با مثال سگ پیش میرم)
توی یک نمونه دیتایی که من توی داده ترین متوجه‌اش شدم صدای سگ وجود داشت اما سگی نبود؛ به همین دلیل لیبل دستی که براش زده شده بود سگ داشت اما مدل‌های دیپ‌لرنینگ می‌گفتند سگی وجود نداره و هردو هم درست می‌گفتند.

کاری که من انجام دادم جدا کردن صداها از ویدئوها بود و دسته بندی کردن بر اساس صداها
درنهایت هم بر اساس ویدئو و هم براساس صدا مدل کارش رو انجام میده ؛ دقت خیلی خیلی بهتر شد و مشکلات حل

برای ترین کردن شبکه‌ایی که استفاده کردم ۲تا دیتاست فوق‌العاده پیدا کردم :

1-
https://research.google.com/audioset/
2-
https://urbansounddataset.weebly.com/

حل کردن چالش واقعاْ لذت بخش هست
این راهکار می‌تونه برای حل مسائل دیگه هم استفاده بشه؛ موضوع و راهکار خوبی برای پایان‌نامه و مقاله‌ هم می‌تونه باشه

کتابخونه‌ایی که ازش کمک گرفتم :
librosa
و اینکه این کار چجوری شدنی هست هم :

https://www.iotforall.com/tensorflow-sound-classification-machine-learning-applications/

البته خودم به شخصه کل این پست رو نخوندم

قبل از شروع یادگیری چیزهای جدید و خرید منابع (کتاب؛ دوره آموزشی؛ و حتی کلاس حضوری)

بهترین گزینه اینه که چندساعتی وقت بذاریم و ی مقدار باهاش آشنا بشیم (طبیعتاْ عملی) تا اگر راستای کار ما نیست یا چیزی که فکر می‌کردیم و شنیده بودیم نیست وقت زیادی صرفش نکرده باشم (علاقه مهمترین چیز برای پیشرفت هست البته استثنا هم وجود داره)

کانال یوتوب
freeCodeCamp.org
ی منبع خیلی خوب و مناسب هست که بدون تبلیغات اینتروداکشن‌های خوبی میذاره
ترجیح میدم نسبت به منابع رایگان موجود دیگه : چون تمام مطلب توی یک ویدئو آموزش چندساعته هست.

https://www.youtube.com/channel/UC8butISFwT-Wl7EV0hUK0BQ

ی پروژه اپن سورس که خیلی راجبش صحبت می‌شد و همینطور بحث‌ها داره جدی‌تر می‌شه
سایت
OpenCV یا Intel
پروژه برای دیپلوی کردن مدلهای دیپ‌لرنینگ مربوط به عکس و ویدئو هست
که اگر تجهیزات اینتل دارید پیشنهاد من نسخه ادیت شده اینتل هست (پرفورمنس بهتری بهتون می‌ده)

بسیاری از مدل‌های از پیش آموزش دیده تو این پروژه آماده هست فقط کافیه ی سر به گیت‌هاب
OpenCV
بزنید و مدلی که به کار شما میاد رو دانلود کنید ودقت بالا رو بگیرید یا مدل ترین شده خودتون رو با نسخه اینتل ببرید برای پروداکت

خیلی فکر نمی‌کنم این پروژه معروف شده باشه یا استفاده شده باشه هنوز اما چیز خیلی خوبیه و خیلی کمک می‌کنه (قرار نیست دوباره چرخ رو اختراع کنیم)

نسخه اینتل ی آموزش خیلی خوب هم براش گذاشته که آپدیت می‌شه
ی سر به پلی لیستش بزنید.

https://www.youtube.com/playlist?list=PLDKCjIU5YH6jMzcTV5_cxX9aPHsborbXQ

Discussion Group :

قابلیت جدید؛ تلگرام رسمی
ممکنه نیاز به آپدیت باشه (بررسی نشده)

https://xn--r1a.website/joinchat/B1fWSlR0a960tUgBhoDYmA

https://arxiv.org/abs/1904.01557

و بازهم دیپ‌مایند؛ اصن عنوان مقاله آدم رو جذب می‌کنه

جدیداْ در یک پروژه متنی شرکت داشتم و می‌تونم بگم ۹۰-۹۵٪ کار بخش پیش‌پردازش و تمیز کردن داده هست (حداقل تو این پروژه که بود)

کار زمانبری هم هست؛ اولین چیزی که به ذهن میرسه برای پردازش داده متنی
regex
هست اما وقتی دیتا از ی حدی بیشتر می‌شه بسیار زمانبر هست

یکی از بهترین جایگزین‌ها؛
FlashText
هست که سرعت بالایی داره و کارباهاش هم ساده‌ هست

اگر تابحال استفاده نکردید پیشنهاد ویژه؛ برای پروژه‌های متنی

@pytens

در ادامه این پست برای سرعت :
spaCy رو هم جایگزین nltk کنید.

#خارج‌ـازـبحث

دنیا ازون چیزی که فکر می‌کنید ترسناکتره ؛ تو بحث امنیت همیشه موقع ذخیره هش پسورد یوزرها: ادمین همیشه طولانی ترین و سخت ترین الگوریتم رو انتخاب می‌کنیم و از کاربرها می‌خوایم که پسوردها طولانی‌ باشه و کاراکتر ویژه حروف کوچک و بزرگ و عدد رو شامل بشه (اما صادق باشیم خیلی‌ها پسورد ساده میذارن و امنیت رو به مدیران سرور و سایت میسپارن چون پسورد سخت رو نمی‌تونن به ذهن بسپارند)

امروز خیلی اتفاقی با دوستی آشنا شدم بخاطر کانفیگ سیستمش (۴تا کارت گرافیک) اولین چیزی که به ذهنم رسید و باعث صحبت بیشتر شد این بود که #دیپ‌لرنینگ کار باشه

اما شاید باورتون نشه شغل ایشون :
Password Cracking بود
حتی نمیدونم چجوری باید توی رزومه ازش صحبت کرد؛ ارزون شدن قیمت جهانی کارت گرافیک‌ها و کودا و ... باعث شده ابزارهایی مثل
HashCat بوجود بیاد

این ابزار از تمام قدرت کارت‌گرافیک‌های موجود استفاده می‌کنه و هش‌ها رو برای شما می‌شکونه روش دیکشنری - بروت‌فرس - وایلدکارد و ...

بسیار بسیار سریع هست و فوق‌العاده؛ اونقد سریع و خطرناک که اگه راه داشته باشه باید خوندن
/ect/passwd
رو برای یوزرهای غیر سودوئر حتماْ بست

ازین ابزار برای شکوندن پسورد وای‌فای و ... هم استفاده می‌شه
پس ازونجا که همچین شغلی بوجود اومده:

۱- اگر ادمین هستید؛ الگوریتم‌های هش رو جدی بگیرید و الگوریتم‌های قدیمی رو بریزید دور (تو چند ثانیه کارشون تمومه)
۲- اگر یوزر هستید؛ حتماْ پسوردهاتون رو جدی بگیرید برای سایت‌های مهم حداقل پسورد ترکیبی بذارید (عدد - سمبل - حروف کوچیک و بزرگ) اگر طول پسورد بالای ۹-۱۰ حرف باشه حداقلش اینه که زمانبرتر می‌شه؛ برای کرکرهای رندم (شما هدف نیستید) شاید اصلاْ تست هم نشه چون زمانبر هست

خیلی وقتا پیشنهاد سیستم برای #دیپ‌لرنینگ اینه که حداقل ۲ برابر حافظه گرافیکی موجود روی سیستم؛ حافظه رم داشته باشید.

شخصاْ حداقل ۴-۵ برابر استفاده می‌کنم
اما متوجه شدم خیلی از دوستان (حتی دولوپر‌های حرفه‌ایی) فقط این مقدار رو پیشنهاد می‌دهند ولی عملاْ هروفت از سیستم
htop بگیرید
میزان استفاده از رم سیستم به این مقدار نمی‌رسه

توی لینوکس ۲تا استفاده خیلی مهم از رم‌ می‌شه کرد وقتی حجم I/O خیلی بالاس
RamFS & tmpFS
سرعتی تا ۲۰ برابر نسبت به SSD برای کار روی دیتاها بهتون میده و دقیقاْ کارش اینه ی بخشی از رم سیستم رو بصورت فایل سیستم فرمت کنید و مثه هارد ازش استفاده کنید (پیشنهاد من برای #دیپ‌لرنینگ کارها مخصوصاْ
tmpFS هست
به دلیل مشکلات RamFS )

اما این حافظه بعد هر ریبوت باید دوباره ساخته بشه یا اینکه خیلی ساده فقط توی
/etc/fstab اضافه‌اش کنید.

حالا ازین به بعد :
هم کدهاتون خیلی سریعتر اجرا می‌شه؛ هم میدونید چرا حداقل ۲برابر حافظه گرافیکی رم برای سیستم می‌گیرید.

امیدوارم مفید باشه

PyData 2019
رو با هیچ بهانه‌ایی از دست ندید؛ ماهم کنفرانس پایتون داریم اینا هم کنفرانس دارن

https://www.youtube.com/playlist?list=PLGVZCDnMOq0qtkoXglrDC6pS8NvY94QQw

در نبرد رستم و اسفندیار به رستم پیشنهاد می‌کند که به جای نبرد تن به تن، دو لشگر را به جنگ هم بفرستیم. پاسخ شاهزاده جوان یکی از زیباترین ابیات شاهنامه است:
مبادا چنین هرگز آیین من
سزا نیست این کار در دین من
که ایرانیان را به کشتن دهم
خود اندر جهان تاج بر سر نهم

فردوسی

#خارج‌ـازـبحث
یه چندساعتی می‌شه خبر اندروید ملی رو می‌شنویم :

متن خبر :‌
در حالی‌که شرکت هواوی در حال توسعه نسخه خاص سیستم عامل خود بر پایه اندروید است ایران هم اعلام کرده قصد توسعه «اندروید ملی» را دارد.

من ی چندتا نکته رو بگم :
۱- چندین و چندسال هزینه شد برای سیستم‌عامل ملی آخرشم گفتن شکست خورد

۲- این پروژه کلاْ شکست خورده‌اس؛ شرکتی مثل هواوی یکی از بزرگترین عرضه ‌کننده‌های تلفن همراه هست که مارکت بسیار بزرگی هم داره و قراره برای سخت‌افزار خودش هم نرم‌افزار ارائه کنه

۳- توی ایران شرکت تولید کننده سخت‌افزار ؛ و یا حتی اسمبل کردن و تولید تلفن همراه مطرحی دیده نمی‌شه (شاید جی‌ال‌ایکس) که به لطف تحریم‌ها و فشارهای اقتصادی و قیمت بالای گوشی‌همراه برخی از مردم محروم ؛ محکوم به خریدش هستند

۴- خیلی از شرکت‌ها تغییر رام - روت شدن تلفن همراه و ... رو حذف گارانتی تلقی می‌کنند؛ چه برسه تغییر کامل سیستم‌عامل

۵- پشتیبانی و ارسال آپدیت و ... برای این همه مدل گوشی کار ساده‌ایی نیست و هزینه گزافی هم داره (بخش خصوصی و شرکتهای تولید کننده موبایل‌ها هم پشتیبانی طولانی مدتی ندارند)

۶- یکی از دوستان اشاره کرد؛ امنیت ملی - و سران مملکتی و جاسوسی؛ آیا عاقلانه‌اس تو شرایط بد اقتصادی موجود میلیاردها تومان پول صرف پروژه‌ایی بشه که فقط یک عده خاص استفاده ‌خواهند کرد به نظرم یه برنامه ارتباطی ابنکریپت شده راه‌حل کم خرجتر و عملی تری هست

از ته قلبم امیدوارم یک دروغ و یک شایعه باشه این موضوع
اگر نه : امیدوارم تصمیم‌گیران مملکت یک تجدید نظر کنن

در نهایت باید بگم : این پروژه شکست خورده‌ هست و باید دید چه شرکت و چه افرادی قراره با این پروژه پول مردم رو به جیب بزنن

ازون مقاله‌هایی که باید خوند ؛

https://arxiv.org/abs/1904.08379

این مقاله می‌تونه صنعت بازی سازی و البته سینما رو متحول کنه؛ بر اساس
Pose Estimation

یک ایده واقعاْ جالب :

https://www.youtube.com/watch?v=PmlRbfSavbI

خبرگذاری‌های داخلی گذارش‌هایی مبنی بر حضور سرمایه گذاران چینی و مزرعه‌های استخراج بیت‌کوین اونها میده (که خب طبق قوانین کشور کاری غیرقانونی هست)

بخش خیلی جالبش اینه که هیچکس به بی‌ارزش شدن پول ملی اشاره نمی‌کنه و همه فقط میگن برق ارزون هست؛ امیدوارم موضوع مثه بنزین نباشه و بهونه برای گرونتر شدن‌ (که بخش بزرگی از ارزونی بنزین هم مشکلش همین بی‌ارزشی پول هست وگرنه ماها ارزونی احساس نمی‌کنیم)

اما چه ربطی به دنیای کامپیوتر داره:
حدود ۲-۳ سال قبل که در زمینه بیگ‌دیتا کار می‌کردم پیشنهاد؛ کنتورهای هوشمند و تحلیل دیتا رو ارائه دادم - بگذریم از این که بعد از کلی دوندگی و وعده‌های الکی مسئولان فراری از صحنه اجازه عملی شدن به پروژه داده نشد

اما این پروژه علاوه بر اینکه امروز خیلی بدرد می‌خورد (البته که خیلی زودتر ازین بدرد می‌خورد و پیشگیری بود جلوی ۲ سال برق دزدی از مملکت) ؛ نیروی کار و سرمایه مملکت رو هم ذخیره می‌کرد برای کارهای بزرگتر و ارزشمندتر - البته اونروزا هنوز بحث برق دزدی برای بیت‌کوین نبود و بیشتر بحث دستکاری کنترها (آب-برق-گاز) + حفظ منابع مالی + نیروی انسانی بود.

خلاصه؛ ی وقتایی خیلی از صحبت‌ها بهونه هست واسه اینکه کارها انجام نشه برای اینکه یکسری آدم خاص ضرر نکنن

* ایده + طرح این پروژه بطور کامل هنوز در دسترس هست و اگر کسی می‌تونه اجرا کنه ؛ با به اشتراک گذاشتنش مشکلی ندارم

کتاب پایتورچ (کلی از تنسورفلو صحبت کردیم)
کتاب ۲۰۱۹ - پایتورچ) خیلی پایتورچ کار نیستم اما از سرفصل‌ها فکر می‌کنم کتاب خوبی باشه و شاید بهونه‌ایی برای یادگیری پایتورچ خودم