Forwarded from Data world with Mina (Mina Ra)
برای کار به عنوان داده کاو یا دانشمند داده در یک شرکت، باید مصاحبه فنی مربوطه را با موفقیت پشت سر گذاشت. اما چه سوالهایی معمولا برای این مصاحبه پرسیده می شوند؟ چند نمونه از این سوالات را که خودم در مصاحبه ها با آنها مواجه شده ام را در اینجا مطرح می کنم. با توجه به اینکه سابقه کار در این زمینه را در ایران ندارم، لذا سوالات مربوطه از مصاحبه های فنی موسسات و شرکتهای واقع در خارج از ایران نظیر IBM, ANZ bank, Sportsbet, iSelect
می باشد.
(صحبت های یک دیتا ساینتیست در خارج ایران)
۱- تعریف و توضیح در مورد
P-value
۲- رگولاریزاسیون چیست و برای حل چه مشکلی استفاده میشود؟ تفاوت بین نرم L1 و L2 چیست؟
۳- تبدیل Box-Cox چیست؟
۴- توضیح در مورد MultiCollinearity
و چگونگی حل آن؟
۵- آیا الگوریتم Gradient descent همیشه به نقطه یکسانی همگرا میشود؟
۶- چگونه در الگوریتم K-means تعداد کلاسترهای بهینه را می توان مشخص کرد؟
۷- بردار ویژه و مقدار ویژه چیست؟
۸- با چه کتابخانه های داده کاوی از زبان پایتون آشنایی دارید؟ همچنین سوالاتی که توانایی شما را در کدنویسی ارزیابی میکند که معمولا این کدها را باید بر روی تخته وایت بردی که در اختیار شما قرار می گیرد، بنویسید
۹- نفرین بعدیت چیست؟
۱۰- چرا خطای کمترین مربعات همیشه متریک مناسبی برای ارزیابی خطا نیست؟ چه متریک دیگری را پیشنهاد می کنید؟
۱۱- آیا استفاده از ۵۰ درخت تصمیم کوچک به جای یک درخت تصمیم بزرگ اولویت دارد؟ چرا؟
۱۲- تعامل بین بایاس و واریانس به چه معناست؟
۱۳- منحنی
ROC
چیست؟
۱۴- کدام را ترجیح می دهید؟ داشتن تعداد زیادی جواب منفی کاذب و یا داشتن تعداد زیادی جواب مثبت کاذب؟
۱۵- چرا دسته بندی کننده نایو بیز، الگوریتم مناسبی نیست؟ برای مسئله تشخیص اسپم در ایمیل، چه روشی را برای بهبود نایو بیز پیشنهاد می کنید؟
۱۶ در بعضی مواقع یک سناریو به داوطلب داده می شود و از او خواسته می شود که برای آن سناریو راه حل پیشنهاد کند. به عنوان مثال: مدیر یک موسسه انتشاراتی که پنج مجله در آن به چاپ می رسد از شما ( به عنوان داده کاو) می خواهد روشی ارائه دهید برای طراحی یک سیستم توصیه به خواننده که بر اساس سلیقه خواننده مجله مورد علاقه اش را به او پیشنهاد می کند.
الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان
می باشد.
(صحبت های یک دیتا ساینتیست در خارج ایران)
۱- تعریف و توضیح در مورد
P-value
۲- رگولاریزاسیون چیست و برای حل چه مشکلی استفاده میشود؟ تفاوت بین نرم L1 و L2 چیست؟
۳- تبدیل Box-Cox چیست؟
۴- توضیح در مورد MultiCollinearity
و چگونگی حل آن؟
۵- آیا الگوریتم Gradient descent همیشه به نقطه یکسانی همگرا میشود؟
۶- چگونه در الگوریتم K-means تعداد کلاسترهای بهینه را می توان مشخص کرد؟
۷- بردار ویژه و مقدار ویژه چیست؟
۸- با چه کتابخانه های داده کاوی از زبان پایتون آشنایی دارید؟ همچنین سوالاتی که توانایی شما را در کدنویسی ارزیابی میکند که معمولا این کدها را باید بر روی تخته وایت بردی که در اختیار شما قرار می گیرد، بنویسید
۹- نفرین بعدیت چیست؟
۱۰- چرا خطای کمترین مربعات همیشه متریک مناسبی برای ارزیابی خطا نیست؟ چه متریک دیگری را پیشنهاد می کنید؟
۱۱- آیا استفاده از ۵۰ درخت تصمیم کوچک به جای یک درخت تصمیم بزرگ اولویت دارد؟ چرا؟
۱۲- تعامل بین بایاس و واریانس به چه معناست؟
۱۳- منحنی
ROC
چیست؟
۱۴- کدام را ترجیح می دهید؟ داشتن تعداد زیادی جواب منفی کاذب و یا داشتن تعداد زیادی جواب مثبت کاذب؟
۱۵- چرا دسته بندی کننده نایو بیز، الگوریتم مناسبی نیست؟ برای مسئله تشخیص اسپم در ایمیل، چه روشی را برای بهبود نایو بیز پیشنهاد می کنید؟
۱۶ در بعضی مواقع یک سناریو به داوطلب داده می شود و از او خواسته می شود که برای آن سناریو راه حل پیشنهاد کند. به عنوان مثال: مدیر یک موسسه انتشاراتی که پنج مجله در آن به چاپ می رسد از شما ( به عنوان داده کاو) می خواهد روشی ارائه دهید برای طراحی یک سیستم توصیه به خواننده که بر اساس سلیقه خواننده مجله مورد علاقه اش را به او پیشنهاد می کند.
الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان
👍18🙏3❤2
نمونه سوالات مصاحبه کارشناس یادگیری ماشین
با پاسخ
Date - 24-04-2023
Company name: Elica
Role: ML Engineer
Topic: PCA, SGD, decision tree, ARM
1. What is the difference between stochastic gradient descent (SGD) and gradient descent (GD)?
Gradient Descent and Stochastic Gradient Descent are the algorithms that find the set of parameters that will minimize a loss function.
The difference is that in Gradient Descent, all training samples are evaluated for each set of parameters. While in Stochastic Gradient Descent only one training sample is evaluated for the set of parameters identified.
2. Can you mention some advantages and disadvantages of decision trees?
The advantages of decision trees are that they are easier to interpret, are nonparametric and hence robust to outliers, and have relatively few parameters to tune.
On the other hand, the disadvantage is that they are prone to overfitting.
3. What do you mean by Associative Rule Mining (ARM)?
Associative Rule Mining is one of the techniques to discover patterns in data like features (dimensions) which occur together and features (dimensions) which are correlated. It is mostly used in Market-based Analysis to find how frequently an itemset occurs in a transaction. Association rules have to satisfy minimum support and minimum confidence at the very same time.
4. What is the Principle Component Analysis?
The idea here is to reduce the dimensionality of the data set by reducing the number of variables that are correlated with each other. Although the variation needs to be retained to the maximum extent.
The variables are transformed into a new set of variables that are known as Principal Components’. These PCs are the eigenvectors of a covariance matrix and therefore are orthogonal.
مینا ربطی
@datalook_ir
با پاسخ
Date - 24-04-2023
Company name: Elica
Role: ML Engineer
Topic: PCA, SGD, decision tree, ARM
1. What is the difference between stochastic gradient descent (SGD) and gradient descent (GD)?
Gradient Descent and Stochastic Gradient Descent are the algorithms that find the set of parameters that will minimize a loss function.
The difference is that in Gradient Descent, all training samples are evaluated for each set of parameters. While in Stochastic Gradient Descent only one training sample is evaluated for the set of parameters identified.
2. Can you mention some advantages and disadvantages of decision trees?
The advantages of decision trees are that they are easier to interpret, are nonparametric and hence robust to outliers, and have relatively few parameters to tune.
On the other hand, the disadvantage is that they are prone to overfitting.
3. What do you mean by Associative Rule Mining (ARM)?
Associative Rule Mining is one of the techniques to discover patterns in data like features (dimensions) which occur together and features (dimensions) which are correlated. It is mostly used in Market-based Analysis to find how frequently an itemset occurs in a transaction. Association rules have to satisfy minimum support and minimum confidence at the very same time.
4. What is the Principle Component Analysis?
The idea here is to reduce the dimensionality of the data set by reducing the number of variables that are correlated with each other. Although the variation needs to be retained to the maximum extent.
The variables are transformed into a new set of variables that are known as Principal Components’. These PCs are the eigenvectors of a covariance matrix and therefore are orthogonal.
مینا ربطی
@datalook_ir
👏7🙏3
Date: 26-04-2023
Company name: Numerator
Role: Data Scientist
Topic : RNN, pop & remove, calculated field, views
1. What are the uses of using RNN in NLP?
The RNN is a stateful neural network, which means that it not only retains information from the previous layer but also from the previous pass. Thus, this neuron is said to have connections between passes, and through time.
For the RNN the order of the input matters due to being stateful. The same words with different orders will yield different outputs.
RNN can be used for unsegmented, connected applications such as handwriting recognition or speech recognition.
2. How to remove values to a python array?
Ans: Array elements can be removed using pop() or remove() method. The difference between these two functions is that the former returns the deleted value whereas the latter does not.
3. What are the advantages and disadvantages of views in the database?
Answer: Advantages of Views:
As there is no physical location where the data in the view is stored, it generates output without wasting resources.
Data access is restricted as it does not allow commands like insertion, updation, and deletion.
Disadvantages of Views:
The view becomes irrelevant if we drop a table related to that view.
Much memory space is occupied when the view is created for large tables.
4. How to create a calculated field in Tableau?
Click the drop down to the right of Dimensions on the Data pane and select “Create > Calculated Field” to open the calculation editor.
Name the new field and create a formula.
👉🏻 برای منتورینگ مسیرعلم داده و اطلاع از کلاسهای آموزشی
@minarabti
Company name: Numerator
Role: Data Scientist
Topic : RNN, pop & remove, calculated field, views
1. What are the uses of using RNN in NLP?
The RNN is a stateful neural network, which means that it not only retains information from the previous layer but also from the previous pass. Thus, this neuron is said to have connections between passes, and through time.
For the RNN the order of the input matters due to being stateful. The same words with different orders will yield different outputs.
RNN can be used for unsegmented, connected applications such as handwriting recognition or speech recognition.
2. How to remove values to a python array?
Ans: Array elements can be removed using pop() or remove() method. The difference between these two functions is that the former returns the deleted value whereas the latter does not.
3. What are the advantages and disadvantages of views in the database?
Answer: Advantages of Views:
As there is no physical location where the data in the view is stored, it generates output without wasting resources.
Data access is restricted as it does not allow commands like insertion, updation, and deletion.
Disadvantages of Views:
The view becomes irrelevant if we drop a table related to that view.
Much memory space is occupied when the view is created for large tables.
4. How to create a calculated field in Tableau?
Click the drop down to the right of Dimensions on the Data pane and select “Create > Calculated Field” to open the calculation editor.
Name the new field and create a formula.
👉🏻 برای منتورینگ مسیرعلم داده و اطلاع از کلاسهای آموزشی
@minarabti
👍4❤3🙏3
🚨JOB OPENING ALERT🚨
لینک چند اپلای شغلی لیندکین
Company: Saisystems Technology
Role: Data Scientist
Exp: 0-2 years
Link: APPLY NOW
Company: Aston Carter
Role: Data Analyst
Exp: 0-1 year
Link: APPLY NOW
Company:Litra Venture
Role: Data Analyst
Exp: 0-2 years
Link: APPLY NOW
Company: Premium
Role: Data Analyst
Exp: 0-2 Years
Link: APPLY NOW
Company: NDS Infoserve
Role: Data Scientist
Exp: 0-2 years
Link: APPLY NOW
Company: S & P global inc
Role: Data Analyst
Exp: 0-2 years
Link: APPLY NOW
Company: Savista
Role: Hr Data Analyst
Exp: 0-1 years
Link: APPLY NOW
لینک چند اپلای شغلی لیندکین
Company: Saisystems Technology
Role: Data Scientist
Exp: 0-2 years
Link: APPLY NOW
Company: Aston Carter
Role: Data Analyst
Exp: 0-1 year
Link: APPLY NOW
Company:Litra Venture
Role: Data Analyst
Exp: 0-2 years
Link: APPLY NOW
Company: Premium
Role: Data Analyst
Exp: 0-2 Years
Link: APPLY NOW
Company: NDS Infoserve
Role: Data Scientist
Exp: 0-2 years
Link: APPLY NOW
Company: S & P global inc
Role: Data Analyst
Exp: 0-2 years
Link: APPLY NOW
Company: Savista
Role: Hr Data Analyst
Exp: 0-1 years
Link: APPLY NOW
Naukri.com
Jr. AIML developer - Pune - Saisystems Technology - 0 to 2 years of experience
Job Description for Jr. AIML developer in Saisystems Technology in Pune for 0 to 2 years of experience. Apply Now!
🙏6
تا دیروز ۴ ایرانی از دپارتمان ریاضی محض هاروارد دکترا گرفته بودن. فرشید جمشیدیان (۱۹۸۰)، پیروز وکیلی (۱۹۸۸)، مریم میرزاخانی (۲۰۰۴)، علی اکبر دائمی (۲۰۱۴). دیروز یک اسم به این لیست اضافه شد: تینا ترکمان با موفقیت از تز خود با راهنمایی کورتیس مکمالن، برنده مدال فیلدز، دفاع کرد.
شاید لازم به گفتن نباشه: چنین دستاوردی بسیار دشواره (به طور خاص دپارتمان ریاضی محض ۴-۵ دانشگاه رده اول)، حداقل سختی اش قابل مقایسه اس با برنده شدن مدال المپیک. اما چون ریاضی مهجوره تا کسی جایزه شناخته شده تری مثل فیلدز رو نگیره در فضای عمومی توجه ای به خودش جلب نمی کنه.
باعث افتخاره🤩🤩🤩👏🏻👏🏻👏🏻👏🏻
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
شاید لازم به گفتن نباشه: چنین دستاوردی بسیار دشواره (به طور خاص دپارتمان ریاضی محض ۴-۵ دانشگاه رده اول)، حداقل سختی اش قابل مقایسه اس با برنده شدن مدال المپیک. اما چون ریاضی مهجوره تا کسی جایزه شناخته شده تری مثل فیلدز رو نگیره در فضای عمومی توجه ای به خودش جلب نمی کنه.
باعث افتخاره🤩🤩🤩👏🏻👏🏻👏🏻👏🏻
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
❤38👍6👏5
نمونه مصاحبه یک شرکت برای شغل
#دیتا_ساینتیست
Date: 28-04-2023
Company name: Infosys
Role: Data Scientist
Topic: LSTM, kmeans, cte, numpy
1. Can you explain how the memory cell in an LSTM is implemented computationally?
The memory cell in an LSTM is implemented as a forget gate, an input gate, and an output gate. The forget gate controls how much information from the previous cell state is forgotten. The input gate controls how much new information from the current input is allowed into the cell state. The output gate controls how much information from the cell state is allowed to pass out to the next cell state.
2. What is CTE in SQL?
A CTE (Common Table Expression) is a one-time result set that only exists for the duration of the query. It allows us to refer to data within a single SELECT, INSERT, UPDATE, DELETE, CREATE VIEW, or MERGE statement's execution scope. It is temporary because its result cannot be stored anywhere and will be lost as soon as a query's execution is completed.
3. List the advantages NumPy Arrays have over Python lists?
Python’s lists, even though hugely efficient containers capable of a number of functions, have several limitations when compared to NumPy arrays. It is not possible to perform vectorised operations which includes element-wise addition and multiplication. They also require that Python store the type information of every element since they support objects of different types. This means a type dispatching code must be executed each time an operation on an element is done.
4. Explain some cases where k-Means clustering fails to give good results
k-means has trouble clustering data where clusters are of various sizes and densities.
Outliers will cause the centroids to be dragged, or the outliers might get their own cluster instead of being ignored. Outliers should be clipped or removed before clustering.
If the number of dimensions increase, a distance-based similarity measure converges to a constant value between any given examples. Dimensions should be reduced before clustering them.
@minarbti
@datalook_ir
#دیتا_ساینتیست
Date: 28-04-2023
Company name: Infosys
Role: Data Scientist
Topic: LSTM, kmeans, cte, numpy
1. Can you explain how the memory cell in an LSTM is implemented computationally?
The memory cell in an LSTM is implemented as a forget gate, an input gate, and an output gate. The forget gate controls how much information from the previous cell state is forgotten. The input gate controls how much new information from the current input is allowed into the cell state. The output gate controls how much information from the cell state is allowed to pass out to the next cell state.
2. What is CTE in SQL?
A CTE (Common Table Expression) is a one-time result set that only exists for the duration of the query. It allows us to refer to data within a single SELECT, INSERT, UPDATE, DELETE, CREATE VIEW, or MERGE statement's execution scope. It is temporary because its result cannot be stored anywhere and will be lost as soon as a query's execution is completed.
3. List the advantages NumPy Arrays have over Python lists?
Python’s lists, even though hugely efficient containers capable of a number of functions, have several limitations when compared to NumPy arrays. It is not possible to perform vectorised operations which includes element-wise addition and multiplication. They also require that Python store the type information of every element since they support objects of different types. This means a type dispatching code must be executed each time an operation on an element is done.
4. Explain some cases where k-Means clustering fails to give good results
k-means has trouble clustering data where clusters are of various sizes and densities.
Outliers will cause the centroids to be dragged, or the outliers might get their own cluster instead of being ignored. Outliers should be clipped or removed before clustering.
If the number of dimensions increase, a distance-based similarity measure converges to a constant value between any given examples. Dimensions should be reduced before clustering them.
@minarbti
@datalook_ir
👍8🙏3❤1
Regularization (ridge, lasso, ElasticNet).pdf
3.1 MB
رگولارازسیون شکلی از رگرسیون است که برآوردهای ضریب به سمت صفر را محدود یا کوچک میکند. به عبارت دیگر، این تکنیک یادگیری یک مدل پیچیدهتر یا انعطافپذیرتر را منع میکند تا از خطر بیش برازش اجتناب شود.
این جزوه خیلی کاربردی و به زبان ساده در خصوص رگولارکردن سه مدل رگرسیون توضیح داده
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
این جزوه خیلی کاربردی و به زبان ساده در خصوص رگولارکردن سه مدل رگرسیون توضیح داده
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
🙏8👍4❤3
Forwarded from Samane Rahmati
📣استخدام در شرکت های بین المللی با درآمد دلاری به صورت دورکاری
👈 میانگین درآمد به صورت دورکاری ساعتی ۴۰ تا ۱۵۰ دلاره (یعنی ساعتی ۲ الی ۸ میلیون تومان)
📆دوشنبه ۱۸ اردیبهشت ساعت ۲۰
✅برای آشنایی بیشتر برای این همکاری کلیک کنید
https://etekanesh.com/7c1v
ارتباط با ما :
🆔@grouplancingcom
👈 میانگین درآمد به صورت دورکاری ساعتی ۴۰ تا ۱۵۰ دلاره (یعنی ساعتی ۲ الی ۸ میلیون تومان)
📆دوشنبه ۱۸ اردیبهشت ساعت ۲۰
✅برای آشنایی بیشتر برای این همکاری کلیک کنید
https://etekanesh.com/7c1v
ارتباط با ما :
🆔@grouplancingcom
NLP with NLTK.pdf
56.5 KB
چیت شیت پردازش متن با Nltk
دستورات مهم
#nlp
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
دستورات مهم
#nlp
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
❤5
❤5👍1
Decision trees: The answer to all your non-linear classification problems.😂😂😂😂
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
👏2
Forwarded from SiaExplains
🏁 اگه دنبال گرفتن جاب آفر (ویزا اسپانسرشیپ) از این کشورها هستید این ویدیو رو ببینید:
اتریش٬ انگلیس٬ فنلاند٬ فرانسه٬ آلمان٬ ایرلند٬ ایتالیا٬ هلند٬ نیوزلند٬ نوروژ٬ اسپانیا و سوید.
https://www.youtube.com/watch?v=A-qS1cx8bfk
آدرس اصلی کانال:
🎯 @FollowThePathWithUs
اتریش٬ انگلیس٬ فنلاند٬ فرانسه٬ آلمان٬ ایرلند٬ ایتالیا٬ هلند٬ نیوزلند٬ نوروژ٬ اسپانیا و سوید.
https://www.youtube.com/watch?v=A-qS1cx8bfk
آدرس اصلی کانال:
🎯 @FollowThePathWithUs
YouTube
لیست شرکت هایی که جاب آفر میدن
لیست شرکت هایی که جاب آفر میدن در کشورهایی مثل:
آلمان٬ اتریش٬ انگلیس٬ فنلاند٬ ایتالیا٬ هلند٬ نوروژ٬ نیوزلند٬سوید و اسپانیا و ... رو براتون گذاشتیم توی گیت هاب و به کمک دوستان داریم این لیست رو تکمیل تر میکنیم تا کمکی باشه برای بچه هایی که میخوان مهاجرت یا…
آلمان٬ اتریش٬ انگلیس٬ فنلاند٬ ایتالیا٬ هلند٬ نوروژ٬ نیوزلند٬سوید و اسپانیا و ... رو براتون گذاشتیم توی گیت هاب و به کمک دوستان داریم این لیست رو تکمیل تر میکنیم تا کمکی باشه برای بچه هایی که میخوان مهاجرت یا…
👍8👏1
کدام یک از تکنیک های زیر برای حل مشکل رده نامتوزان در داده ها imbalancedبه کار گرفته می شود.
Anonymous Poll
4%
costSensitive methods
30%
oversampling with Smote
12%
outlier detection on majorityClass
53%
All of above
Data world with Mina
کدام یک از تکنیک های زیر برای حل مشکل رده نامتوزان در داده ها imbalancedبه کار گرفته می شود.
پاسخ درست: گزینه آخر: همه موارد
👍8👌1
چالش های اساسی تحلیل داده:
1- چه تحلیلی (توصیفی، پیشگویانه، سری زمانی، دسته بندی، خوشه بندی و ...) باید انتخاب شود و شاخص های ارزیابی کارایی کدام ها باشند؟
2- کدام الگوریتم (ها) باید مورد استفاده قرار گیرد؟
3- کدام داده ها استفاده شده و کدام استفاده نشود؟
4- چگونه داده ها آماده ی تحلیل شود؟ (پیش پردازش داده ها)
5- کدام ویژگی ها در مدل استفاده شود؟ (انتخاب ویژگی)
6- کدام داده ها برای آموزش و تست مورد استفاده قرار گیرد؟ (LOOCV یا CV)
نحوه تعامل با چالش ها نباید یک فرآیند مستقیم و یکباره تصور شود بلکه این فرآیند یک فرآیند بازگشتی و همراه با آزمون و خطاست.
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
1- چه تحلیلی (توصیفی، پیشگویانه، سری زمانی، دسته بندی، خوشه بندی و ...) باید انتخاب شود و شاخص های ارزیابی کارایی کدام ها باشند؟
2- کدام الگوریتم (ها) باید مورد استفاده قرار گیرد؟
3- کدام داده ها استفاده شده و کدام استفاده نشود؟
4- چگونه داده ها آماده ی تحلیل شود؟ (پیش پردازش داده ها)
5- کدام ویژگی ها در مدل استفاده شود؟ (انتخاب ویژگی)
6- کدام داده ها برای آموزش و تست مورد استفاده قرار گیرد؟ (LOOCV یا CV)
نحوه تعامل با چالش ها نباید یک فرآیند مستقیم و یکباره تصور شود بلکه این فرآیند یک فرآیند بازگشتی و همراه با آزمون و خطاست.
منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti
👍23👏1
چقدر از هوش مصنوعی می دانید و می خواهید در آینده چه استفاده ازش کنید؟
Anonymous Poll
68%
دارم یاد میگیرم- میخوام محصول هوش مصنوعی طراحی کنم
5%
خیلی نمی دانم- هدف خاصی ندارم
22%
هنوز شروع به یادگیری نکردم-میخوام یاد بگیرم و درآمد زایی داشته باشم.
9%
فقط اخبار رو دنبال میکنم-برای کارم میخوام استفاده کنم
👍3
در کدام یک از تکنیک های شبکه عصبی مشکل نزول گرادیان داریم؟
Anonymous Quiz
32%
SimpleRnn
34%
Lstm
14%
GRu
21%
transformer
پردازش متن در پایتون
اگر پروژهای در زمینه پردازش زبان طبیعی انجام داده باشید، میدانید که مراحل پیشپردازش چقدر خستهکننده است. قبل از شروع آموزش مدل باید:
• دادهها را از دیسک بخوانید.
• جملات را Tokenize کنید.
• یک نگاشت از هر کلمه به یک عدد صحیح و منحصربهفرد ایجاد کنید.
• متن را به لیستی از اعداد صحیح تبدیل کنید.
• دادهها را به هر شکلی که فریمورک یادگیری عمیق شما نیاز دارد load کنید.
• متن را pad کنید تا تمامی دنبالهها به یک اندازه باشند، تا بتوانید آنها را به صورت یک batch پردازش کنید.
Torchtext در پایتورچ، کتابخانهای است که پروسههای بالا را بسیار سادهتر میکند. اگرچه این کتابخانه نسبتا جدید است. اما عملکرد آسان آن، خصوصاً در Batching و Loading، آن را به کتابخانهای ارزشمند تبدیل کردهاست.
#nlp
#python
@datalook_ir
اگر پروژهای در زمینه پردازش زبان طبیعی انجام داده باشید، میدانید که مراحل پیشپردازش چقدر خستهکننده است. قبل از شروع آموزش مدل باید:
• دادهها را از دیسک بخوانید.
• جملات را Tokenize کنید.
• یک نگاشت از هر کلمه به یک عدد صحیح و منحصربهفرد ایجاد کنید.
• متن را به لیستی از اعداد صحیح تبدیل کنید.
• دادهها را به هر شکلی که فریمورک یادگیری عمیق شما نیاز دارد load کنید.
• متن را pad کنید تا تمامی دنبالهها به یک اندازه باشند، تا بتوانید آنها را به صورت یک batch پردازش کنید.
Torchtext در پایتورچ، کتابخانهای است که پروسههای بالا را بسیار سادهتر میکند. اگرچه این کتابخانه نسبتا جدید است. اما عملکرد آسان آن، خصوصاً در Batching و Loading، آن را به کتابخانهای ارزشمند تبدیل کردهاست.
#nlp
#python
@datalook_ir
PyTorch
PyTorch Foundation
PyTorch Foundation is the deep learning community home for the open source PyTorch framework and ecosystem.
👍9❤4🔥1👌1