دوازده کتابخانه‌ برتر مدل‌سازی سری‌های زمانی در Python در سال ۲۰۲۲

راهنمای گام‌به‌گام مدل‌سازی سری‌های زمانی با استفاده از کتابخانه skforecast

خاویر اسکوبار، دانشمند داده IKEA

مخزن کدها و فعال‌سازی:
https://github.com/JoaquinAmatRodrigo/skforecast

با سلام و عرض ادب

🔴 به اطلاع اساتید ، دانشجویان و فارغ التحصیلان می رساند مرکز رشد دانشگاهی در صدد جذب نیرو در زمینه ی هوش مصنوعی می باشد.🔴

در صورت تمایل به همکاری رزومه ی خود را به آیدی زیر ارسال نمایید.

🆔 @ma_python

machine learning😂


https://xn--r1a.website/datalook_ir

تابع مهم و بسیار پر کاربرد لامبدا در پایتون

#python
#data_science


https://xn--r1a.website/datalook_ir

توییتر سورس مربوط به سیستم ریکامندیشین خودش رو به صورت اوپن سورس منتشر کرد.
اگر علاقه‌مند بودید بررسی کنید:
‌
https://github.com/twitter/the-algorithm
‌
📝 @MiladNouriChannel

SAM: Segment Anything Model.
A Foundation model for image segmentation.
From FAIR.

code: https://github.com/facebookresearch/segment-anything
demo: https://segment-anything.com/demo


انتشار توسط yann leCun در لیندکین
دیتا ساینتیست در متا

💠 "رویداد استارتاپی متاورس"
💢 مراکز آموزش علمی - کاربردی جهاددانشگاهی کرج، خانه کارگر ساوجبلاغ با همکاری سازمان فرهنگی، اجتماعی و ورزشی شهرداری فردیس و پارک علم و فناوری البرز برگزار می کند.
"ویژه دانشجویان، مدرسان، کارکنان و علاقه مندان به حوزه فناوری اطلاعات"
🔖 محورهای رویداد:
1. بلاک چین
2.شهر هوشمند
3.مدیریت پسماند
4. جذب مشتری در علم داده
5.فناوری نوین معماری و شهرسازی
🏆 معرفی ایده های برتر به صنایع مرتبط و اهداء جوایز نفیس به ایده های برتر
🗓 مهلت ارسال ایده: 22 اردیبهشت ماه 1402
⏰ تاریخ برگزاری: 22 تیرماه 1402
✍ ثبت نام از طریق:
http://jalborz.ir/fa/news/52629

🟧 دانشگاه جهاد دانشگاهی کرج
🔲 دوره‌های هنر • it • مدیریت • زبان • حقوق
سایت | تلگرام | اینستاگرام 🔹🔶

«🤖ترانسفورمر» یک مدل یادگیری عمیق است که مکانیسم توجه به خود، به‌طور متفاوتی اهمیت هر بخش از داده‌های ورودی را وزن می‌کند. عمدتاً در زمینه‌های پردازش زبان طبیعی (NLP) و بینایی رایانه ای (CV) استفاده می‌شود.

✅مانند شبکه عصبی بازگشتی (RNN)، ترانسفورمرها برای مدیریت داده‌های ورودی متوالی، مانند زبان طبیعی، برای کارهایی مانند ترجمه و خلاصه متن طراحی شده‌اند. با این حال، برخلاف شبکه عصبی بازگشتیها، ترانسفورمرها لزوماً داده‌ها را به ترتیب پردازش نمی‌کنند. در عوض، مکانیسم توجه زمینه را برای هر موقعیتی در دنباله ورودی فراهم می‌کند. به عنوان مثال، اگر داده ورودی یک جمله زبان طبیعی باشد، ترانسفورمر نیازی به پردازش ابتدای جمله قبل از پایان ندارد.

📚این ویژگی اجازه می‌دهد تا موازی سازی بیشتر از شبکه عصبی بازگشتیها باشد و بنابراین زمان آموزش را کاهش می‌دهد.

داده‌های بزرگتر از زمانی که ممکن بود را می‌دهد. این منجر به توسعه سیستم‌های از پیش آموزش دیده مانند مدل Bert و
GPT( Generative Pre-trained Transformer)
شده است.
آموزش ترانسفورمرها
در کانال یوتیوب
mina rabti

https://m.youtube.com/channel/UCvxKAC5IdZp6U_75sre0CEw

کورس Data Visualization لینکدین:
linkedin.com/learning/data-visualization-a-lesson-and-listen-series

این آقای Bill Shander توی این کورس یه مصاحبه داشته با Nadieh Bremer،
که ایشون توی Pinterest یه عالمه تصویر ذخیره کرده برای ایده و الهام گرفتن

اگه به دیتا ویژوالیزیشن علاقه دارین
خوبه که یه نگاهی بندازین بهش:
https://www.pinterest.com/nadiehbremer

درضمن بخش Blog پورتفولیوی این خانم هم کلی مطلب آموزشی خوب داره:
https://www.visualcinnamon.com/blog

این لینک ویدیو در یوتیوب به شما در استخدام و جذب پروژه به صورت ریموت با درآمد دلاری خیلی کمک میکند.


https://m.youtube.com/watch?v=jQLC8p86vz8&t=1240s


@datalook_ir

کتابخانه Dask


- اگر با دیتاست حجیمی روبرو هستید که حافظه اصلی (RAM) کامپیوتر شما گنجایش نگه‌داری آن برای پردازش را ندارد…
- اگر در حال توسعه سیستم نرم‌افزاری و یا یک پایپلاین ETL هستید که کوئری سنگینی را به دیتابیس میزند و مدت زیادی طول می‌کشد (long-run query) یا دیتابیس عملیاتی شما را با اختلال مواجه می‌کند…
- اگر قرار است یک پردازش سنگین مثل تحلیل اکتشافی داده‌ها (EDA) بر روی حجم بالایی از کلان‌داده‌ها داشته باشید که بدون پردازش موازی امکان‌پذیر به نظر نمی‌آید…

احتمالا شما نیاز به یک ابزار مناسب برای پردازش موازی، توزیع شده و مقیاس‌پذیر دارید. ابزارهایی مثل Apache Spark و Hadoop مبتنی بر اکوسیستم Java اند و احتمالا به همین دلیل مورد علاقه خیلی از Data Scientist ها و Data Analyst ها نیستند. در مقابل Dask کاملا بر اکوسیستم Python سوار است و به Data Scientist ها و Data Analyst ها اجازه می‌دهد ابزارهای روزمره خود مثل Numpy و Pandas و Scikit-learn و XGBoost و TensorFlow رو به صورت توزیع شده، موازی و مقیاس پذیر به کار گیرند.


الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان

برای کار به عنوان داده کاو یا دانشمند داده در یک شرکت‌‌، باید مصاحبه فنی مربوطه را با موفقیت پشت سر گذاشت. اما چه سوالهایی معمولا برای این مصاحبه پرسیده می شوند؟ چند نمونه از این سوالات را که خودم در مصاحبه ها با آنها مواجه شده ام را در اینجا مطرح می کنم. با توجه به اینکه سابقه کار در این زمینه را در ایران ندارم، لذا سوالات مربوطه از مصاحبه های فنی موسسات و شرکتهای واقع در خارج از ایران نظیر IBM, ANZ bank, Sportsbet, iSelect
می باشد.
(صحبت های یک دیتا ساینتیست در خارج ایران)
۱- تعریف و توضیح در مورد
P-value

۲- رگولاریزاسیون چیست و برای حل چه مشکلی استفاده میشود؟ تفاوت بین نرم L1 و L2 چیست؟

۳- تبدیل Box-Cox چیست؟

۴- توضیح در مورد MultiCollinearity
و چگونگی حل آن؟

۵- آیا الگوریتم Gradient descent همیشه به نقطه یکسانی همگرا میشود؟

۶- چگونه در الگوریتم K-means تعداد کلاسترهای بهینه را می توان مشخص کرد؟

۷- بردار ویژه و مقدار ویژه چیست؟

۸- با چه کتابخانه های داده کاوی از زبان پایتون آشنایی دارید؟ همچنین سوالاتی که توانایی شما را در کدنویسی ارزیابی میکند که معمولا این کدها را باید بر روی تخته وایت بردی که در اختیار شما قرار می گیرد، بنویسید

۹- نفرین بعدیت چیست؟

۱۰- چرا خطای کمترین مربعات همیشه متریک مناسبی برای ارزیابی خطا نیست؟ چه متریک دیگری را پیشنهاد می کنید؟

۱۱- آیا استفاده از ۵۰ درخت تصمیم کوچک به جای یک درخت تصمیم بزرگ اولویت دارد؟ چرا؟

۱۲- تعامل بین بایاس و واریانس به چه معناست؟






۱۳- منحنی
ROC
چیست؟

۱۴- کدام را ترجیح می دهید؟ داشتن تعداد زیادی جواب منفی کاذب و یا داشتن تعداد زیادی جواب مثبت کاذب؟

۱۵- چرا دسته بندی کننده نایو بیز، الگوریتم مناسبی نیست؟ برای مسئله تشخیص اسپم در ایمیل، چه روشی را برای بهبود نایو بیز پیشنهاد می کنید؟

۱۶ در بعضی مواقع یک سناریو به داوطلب داده می شود و از او خواسته می شود که برای آن سناریو راه حل پیشنهاد کند. به عنوان مثال: مدیر یک موسسه انتشاراتی که پنج مجله در آن به چاپ می رسد از شما ( به عنوان داده کاو) می خواهد روشی ارائه دهید برای طراحی یک سیستم توصیه به خواننده که بر اساس سلیقه خواننده مجله مورد علاقه اش را به او پیشنهاد می کند.




الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان

نمونه سوالات مصاحبه کارشناس یادگیری ماشین
با پاسخ


Date - 24-04-2023
Company name: Elica
Role: ML Engineer
Topic: PCA, SGD, decision tree, ARM

1. What is the difference between stochastic gradient descent (SGD) and gradient descent (GD)?

Gradient Descent and Stochastic Gradient Descent are the algorithms that find the set of parameters that will minimize a loss function.
The difference is that in Gradient Descent, all training samples are evaluated for each set of parameters. While in Stochastic Gradient Descent only one training sample is evaluated for the set of parameters identified.


2. Can you mention some advantages and disadvantages of decision trees?

The advantages of decision trees are that they are easier to interpret, are nonparametric and hence robust to outliers, and have relatively few parameters to tune.
On the other hand, the disadvantage is that they are prone to overfitting.


3. What do you mean by Associative Rule Mining (ARM)?

Associative Rule Mining is one of the techniques to discover patterns in data like features (dimensions) which occur together and features (dimensions) which are correlated. It is mostly used in Market-based Analysis to find how frequently an itemset occurs in a transaction. Association rules have to satisfy minimum support and minimum confidence at the very same time.


4. What is the Principle Component Analysis?

The idea here is to reduce the dimensionality of the data set by reducing the number of variables that are correlated with each other. Although the variation needs to be retained to the maximum extent.
The variables are transformed into a new set of variables that are known as Principal Components’. These PCs are the eigenvectors of a covariance matrix and therefore are orthogonal.

Happy Learning💙
مینا ربطی
@datalook_ir

Date: 26-04-2023
Company name: Numerator
Role: Data Scientist
Topic : RNN, pop & remove, calculated field, views

1. What are the uses of using RNN in NLP?
The RNN is a stateful neural network, which means that it not only retains information from the previous layer but also from the previous pass. Thus, this neuron is said to have connections between passes, and through time.
For the RNN the order of the input matters due to being stateful. The same words with different orders will yield different outputs.
RNN can be used for unsegmented, connected applications such as handwriting recognition or speech recognition.

2. How to remove values to a python array?
Ans: Array elements can be removed using pop() or remove() method. The difference between these two functions is that the former returns the deleted value whereas the latter does not.

3. What are the advantages and disadvantages of views in the database?
Answer: Advantages of Views:
As there is no physical location where the data in the view is stored, it generates output without wasting resources.
Data access is restricted as it does not allow commands like insertion, updation, and deletion.
Disadvantages of Views:
The view becomes irrelevant if we drop a table related to that view.
Much memory space is occupied when the view is created for large tables.

4. How to create a calculated field in Tableau?
Click the drop down to the right of Dimensions on the Data pane and select “Create > Calculated Field” to open the calculation editor.
Name the new field and create a formula.


👉🏻 برای منتورینگ مسیرعلم داده و اطلاع از کلاسهای آموزشی

@minarabti

🚨JOB OPENING ALERT🚨
لینک چند اپلای شغلی لیندکین


Company: Saisystems Technology
Role: Data Scientist
Exp: 0-2 years
Link: APPLY NOW

Company: Aston Carter
Role: Data Analyst
Exp: 0-1 year
Link: APPLY NOW

Company:Litra Venture
Role: Data Analyst
Exp: 0-2 years
Link: APPLY NOW

Company: Premium
Role: Data Analyst
Exp: 0-2 Years
Link: APPLY NOW

Company: NDS Infoserve
Role: Data Scientist
Exp: 0-2 years
Link: APPLY NOW

Company: S & P global inc
Role: Data Analyst
Exp: 0-2 years
Link: APPLY NOW

Company: Savista
Role: Hr Data Analyst
Exp: 0-1 years
Link: APPLY NOW

تا دیروز ۴ ایرانی از دپارتمان ریاضی محض هاروارد دکترا گرفته بودن. فرشید جمشیدیان (۱۹۸۰)، پیروز وکیلی (۱۹۸۸)، مریم میرزاخانی (۲۰۰۴)، علی اکبر دائمی (۲۰۱۴). دیروز یک اسم به این لیست اضافه شد: تینا ترکمان با موفقیت از تز خود با راهنمایی کورتیس مکمالن، برنده مدال فیلدز، دفاع کرد.
شاید لازم به گفتن نباشه: چنین دستاوردی بسیار دشواره (به طور خاص دپارتمان ریاضی محض ۴-۵ دانشگاه رده اول)، حداقل سختی اش قابل مقایسه اس با برنده شدن مدال المپیک. اما چون ریاضی مهجوره تا کسی جایزه شناخته شده تری مثل فیلدز رو نگیره در فضای عمومی توجه ای به خودش جلب نمی کنه.
باعث افتخاره🤩🤩🤩👏🏻👏🏻👏🏻👏🏻



منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti