تا دیروز ۴ ایرانی از دپارتمان ریاضی محض هاروارد دکترا گرفته بودن. فرشید جمشیدیان (۱۹۸۰)، پیروز وکیلی (۱۹۸۸)، مریم میرزاخانی (۲۰۰۴)، علی اکبر دائمی (۲۰۱۴). دیروز یک اسم به این لیست اضافه شد: تینا ترکمان با موفقیت از تز خود با راهنمایی کورتیس مکمالن، برنده مدال فیلدز، دفاع کرد.
شاید لازم به گفتن نباشه: چنین دستاوردی بسیار دشواره (به طور خاص دپارتمان ریاضی محض ۴-۵ دانشگاه رده اول)، حداقل سختی اش قابل مقایسه اس با برنده شدن مدال المپیک. اما چون ریاضی مهجوره تا کسی جایزه شناخته شده تری مثل فیلدز رو نگیره در فضای عمومی توجه ای به خودش جلب نمی کنه.
باعث افتخاره🤩🤩🤩👏🏻👏🏻👏🏻👏🏻



منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

نمونه مصاحبه یک شرکت برای شغل
#دیتا_ساینتیست

Date: 28-04-2023
Company name: Infosys
Role: Data Scientist
Topic: LSTM, kmeans, cte, numpy

1. Can you explain how the memory cell in an LSTM is implemented computationally?

The memory cell in an LSTM is implemented as a forget gate, an input gate, and an output gate. The forget gate controls how much information from the previous cell state is forgotten. The input gate controls how much new information from the current input is allowed into the cell state. The output gate controls how much information from the cell state is allowed to pass out to the next cell state.


2. What is CTE in SQL?

A CTE (Common Table Expression) is a one-time result set that only exists for the duration of the query. It allows us to refer to data within a single SELECT, INSERT, UPDATE, DELETE, CREATE VIEW, or MERGE statement's execution scope. It is temporary because its result cannot be stored anywhere and will be lost as soon as a query's execution is completed.


3. List the advantages NumPy Arrays have over Python lists?

Python’s lists, even though hugely efficient containers capable of a number of functions, have several limitations when compared to NumPy arrays. It is not possible to perform vectorised operations which includes element-wise addition and multiplication. They also require that Python store the type information of every element since they support objects of different types. This means a type dispatching code must be executed each time an operation on an element is done.

4. Explain some cases where k-Means clustering fails to give good results

k-means has trouble clustering data where clusters are of various sizes and densities.
Outliers will cause the centroids to be dragged, or the outliers might get their own cluster instead of being ignored. Outliers should be clipped or removed before clustering.
If the number of dimensions increase, a distance-based similarity measure converges to a constant value between any given examples. Dimensions should be reduced before clustering them.

@minarbti
@datalook_ir

رگولارازسیون شکلی از رگرسیون است که برآوردهای ضریب به سمت صفر را محدود یا کوچک می‌کند. به عبارت دیگر، این تکنیک یادگیری یک مدل پیچیده‌تر یا انعطاف‌پذیرتر را منع می‌کند تا از خطر بیش برازش اجتناب شود.
این جزوه خیلی کاربردی و به زبان ساده در خصوص رگولارکردن سه مدل رگرسیون توضیح داده


منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

📣استخدام در شرکت های بین المللی با درآمد دلاری به صورت دورکاری

👈 میانگین درآمد به صورت دورکاری ساعتی ۴۰ تا ۱۵۰ دلاره (یعنی ساعتی ۲ الی ۸ میلیون تومان)


📆دوشنبه ۱۸ اردیبهشت ساعت ۲۰

✅برای آشنایی بیشتر برای این همکاری کلیک کنید
https://etekanesh.com/7c1v

ارتباط با ما :

🆔@grouplancingcom

چیت شیت پردازش متن با Nltk
دستورات مهم
#nlp



منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

مفهوم گرادیان و گرادیان نزولی

https://instagram.com/p/Cp-cykPo6oi/

Decision trees: The answer to all your non-linear classification problems.😂😂😂😂


منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

🏁 اگه دنبال گرفتن جاب آفر (ویزا اسپانسرشیپ) از این کشورها هستید این ویدیو رو ببینید:
اتریش٬ انگلیس٬ فنلاند٬ فرانسه٬ آلمان٬ ایرلند٬ ایتالیا٬ هلند٬ نیوزلند٬ نوروژ٬ اسپانیا و سوید.



https://www.youtube.com/watch?v=A-qS1cx8bfk


آدرس اصلی کانال:
🎯 @FollowThePathWithUs

منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

پاسخ درست: گزینه آخر: همه موارد

چالش های اساسی تحلیل داده:

1- چه تحلیلی (توصیفی، پیشگویانه، سری زمانی، دسته بندی، خوشه بندی و ...) باید انتخاب شود و شاخص های ارزیابی کارایی کدام ها باشند؟

2- کدام الگوریتم (ها) باید مورد استفاده قرار گیرد؟

3- کدام داده ها استفاده شده و کدام استفاده نشود؟

4- چگونه داده ها آماده ی تحلیل شود؟ (پیش پردازش داده ها)

5- کدام ویژگی ها در مدل استفاده شود؟ (انتخاب ویژگی)

6- کدام داده ها برای آموزش و تست مورد استفاده قرار گیرد؟ (LOOCV یا CV)

نحوه تعامل با چالش ها نباید یک فرآیند مستقیم و یکباره تصور شود بلکه این فرآیند یک فرآیند بازگشتی و همراه با آزمون و خطاست.


منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

پردازش متن در پایتون

اگر پروژه‌ای در زمینه پردازش زبان طبیعی انجام داده باشید، می‌دانید که مراحل پیش‌پردازش چقدر خسته‌کننده است. قبل از شروع آموزش مدل باید:
• داده‌ها را از دیسک بخوانید.
• جملات را Tokenize کنید.
• یک نگاشت از هر کلمه به یک عدد صحیح و منحصر‌به‌فرد ایجاد کنید.
• متن را به لیستی از اعداد صحیح تبدیل کنید.
• داده‌ها را به هر شکلی که فریمورک یادگیری عمیق شما نیاز دارد load کنید.
• متن را pad کنید تا تمامی دنباله‌ها به یک اندازه باشند، تا بتوانید آنها را به صورت یک batch پردازش کنید.


Torchtext در پایتورچ، کتابخانه‌ای است که پروسه‌های بالا را بسیار ساده‌تر می‌کند. اگرچه این کتابخانه نسبتا جدید است. اما عملکرد آسان آن، خصوصاً در Batching و Loading، آن را به کتابخانه‌ای ارزشمند تبدیل کرده‌است. 


#nlp
#python
@datalook_ir

همه ی این داده ها میانگین، انحراف معیار و همبستگی یکسانی دارند اما الگوی تصویری آنها زمین تا آسمان متفاوت است

قبل از تحلیل داده حتما نگاه تصویری به داده هایتان داشته باشید


منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

تفاوت هوش مصنوعی با یادگیری ماشین چیست؟

این روزها این سوال بسیار پرسیده می شود

واقعا نمی توان هیچ مرز خشک و خالی برای این تفاوت ها به کار برد
همه ی این مفاهیم از مدل های ریاضی برای توصیف داده ها به منظور یک هدف خاص استفاده می کنند

حالا شما می خواهی اسم های جورواجور برای آن بگذار
اصل مسئله همین است که بیان شد

کار یادگیری ماشین و هوش مصنوعی از مرزبندی گذشته است
هر ایده ای - ولو در حوزه ای مثل بهینه سازی، تحقیق در عملیات، رباتیک، بیولوژیک و ...- می تواند در ارائه یک مدل ریاضی برای اهداف و کاربردهایی که مد نظر یادگیری ماشین و هوش مصنوعی است، به کار رود.

با این حال بهتر است زمانی که با افرادی از حوزه کسب و کار صحبت می کنید، بیشتر از واژه ی هوش مصنوعی استفاده کنید (چون واژه ملموس تر و جا افتاده تر است) و زمانی که با فنی ها گفتگو می کنید، از مفهوم هرس شده و شاخ و برگ زده شده ی «یادگیری ماشین» استفاده کنید.

@minarabti
@datalook_ir

برای کار به عنوان داده کاو یا دانشمند داده در یک شرکت‌‌، باید مصاحبه فنی مربوطه را با موفقیت پشت سر گذاشت. اما چه سوالهایی معمولا برای این مصاحبه پرسیده می شوند؟ چند نمونه از این سوالات را که خودم در مصاحبه ها با آنها مواجه شده ام را در اینجا مطرح می کنم. با توجه به اینکه سابقه کار در این زمینه را در ایران ندارم، لذا سوالات مربوطه از مصاحبه های فنی موسسات و شرکتهای واقع در خارج از ایران نظیر IBM, ANZ bank, Sportsbet, iSelect
می باشد.
(صحبت های یک دیتا ساینتیست در خارج ایران)
۱- تعریف و توضیح در مورد
P-value

۲- رگولاریزاسیون چیست و برای حل چه مشکلی استفاده میشود؟ تفاوت بین نرم L1 و L2 چیست؟

۳- تبدیل Box-Cox چیست؟

۴- توضیح در مورد MultiCollinearity
و چگونگی حل آن؟

۵- آیا الگوریتم Gradient descent همیشه به نقطه یکسانی همگرا میشود؟

۶- چگونه در الگوریتم K-means تعداد کلاسترهای بهینه را می توان مشخص کرد؟

۷- بردار ویژه و مقدار ویژه چیست؟

۸- با چه کتابخانه های داده کاوی از زبان پایتون آشنایی دارید؟ همچنین سوالاتی که توانایی شما را در کدنویسی ارزیابی میکند که معمولا این کدها را باید بر روی تخته وایت بردی که در اختیار شما قرار می گیرد، بنویسید

۹- نفرین بعدیت چیست؟

۱۰- چرا خطای کمترین مربعات همیشه متریک مناسبی برای ارزیابی خطا نیست؟ چه متریک دیگری را پیشنهاد می کنید؟

۱۱- آیا استفاده از ۵۰ درخت تصمیم کوچک به جای یک درخت تصمیم بزرگ اولویت دارد؟ چرا؟

۱۲- تعامل بین بایاس و واریانس به چه معناست؟






۱۳- منحنی
ROC
چیست؟

۱۴- کدام را ترجیح می دهید؟ داشتن تعداد زیادی جواب منفی کاذب و یا داشتن تعداد زیادی جواب مثبت کاذب؟

۱۵- چرا دسته بندی کننده نایو بیز، الگوریتم مناسبی نیست؟ برای مسئله تشخیص اسپم در ایمیل، چه روشی را برای بهبود نایو بیز پیشنهاد می کنید؟

۱۶ در بعضی مواقع یک سناریو به داوطلب داده می شود و از او خواسته می شود که برای آن سناریو راه حل پیشنهاد کند. به عنوان مثال: مدیر یک موسسه انتشاراتی که پنج مجله در آن به چاپ می رسد از شما ( به عنوان داده کاو) می خواهد روشی ارائه دهید برای طراحی یک سیستم توصیه به خواننده که بر اساس سلیقه خواننده مجله مورد علاقه اش را به او پیشنهاد می کند.




الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان

علاقه مندان #داده_کاوی و #تحلیل_داده

بسیار خوشحالم که فرصتی به وجود آمد مجددا یک کارگاه پروژه محور دیگه این بار با پایتون با نام:
دوره جامع پروژه محور دیتا ساینس در پایتون

با محوریت داده کاوی+یادگیری ماشین+یادگیری عمیق را برای تابستان (اواخر تیرماه) داشته باشیم.

🎥فیلم کارگاه ضبط خواهد شد🎙

👇🏻ویژگی این دوره؟

از آنجا که سرعت پیشرفت الگوریتم ها، فریمورک های دیتا ساینس خصوصا در پایتون بسیار زیاد است، در این دوره سعی کردم براساس سرفصل چند دوره udemy و مباحث پردازش متن و کتابخانه های ترنسفورمر و مدلهای bert و gpt جلو بریم.👩🏻‍🏫. با spacy جذاب، کتابخانه پردازش زبان فارسی و gensim هم آشنا میشیم.

قیمت دوره داده کاوی+یادگیری ماشین:۸۰۰ تومن بلیط اول
قیمت دوره پردازش متن ۱.۵۰۰.۰۰۰ تومان
(❌برای این دوره چند کد تخفیف nlp24 ۲۰ درصدی اضافه شده است❌❌

قیمت بلیط سوم: در صورتیکه دو کارگاه را شرکت کنید: پکیج دوره جامع با تخفیف
فقط ۱.۹۰۰.۰۰۰ برای ۶۰ ساعت

📌🔎 پایتون مقدماتی پیش نیاز این دوره است✅

صفحه ثبت نام ایسمینار:
https://eseminar.tv/wb107083