مهمترین تخصص های مهندس داده در سال ٢٠٢١

@BIMining

وبسمینار علم داده در ایرانسل

https://labs.irancell.ir/p/15273/

@BIMining

لینک رویداد بزرگ علم داده در آکادمی شرکت ایرانسل که با حضور متخصصین علم داده در سراسر جهان در روز یکشنبه مورخ1400/12/22 برگزار شده بود :

https://lahzenegar.com/Irancell/DataScience



@BIMining

10 سایت برتر برای یافتن شغل در سال 2022:
(Top 10 sites for your career in 2022)
1) Linkedin
2) Indeed
3) Naukri
4) Monster
5) JobBait
6) Careercloud
7) Dice
8) CareerBuilder
9) Jibberjobber
10) Glassdoor

10 مهارت فنی مورد تقاضا در سال 2022:
(Top 10 Teach skills in demand in 2022)

1) Machine Learning
2) Mobile Development
3) SEO/SEM Marketing
4) Data Visualization
5) Data Engineering
6) UI/UX Design
7) Cyber Security
8) Cloud Computing/AWS
9) Blockchain
10) IOT

10 سایت برای آموزش آنلاین رایگان در سال 2022:
(Top 10 sites for free online education in 2022)

1) Coursera
2) edX
3) Khan Academy
4) Udemy
5) iTunesU Free Courses
6) MIT OpenCourseWare
7) Stanford Online
8) Codecademy
9) ict iitr
10) ict iitk


10 سایت برای بررسی رایگان رزومه در سال 2022:
(Top 10 sites to review your resume for free in 2022)

1) Zety Resume Builder
2) Resumonk
3) Resume dot com
4) VisualCV
5) Cvmaker
6) ResumUP
7) Resume Genius
8) Resume builder
9) Resume Baking
10) Enhance

10 سایت برای آماده سازی مصاحبه در سال 2022:
(Top 10 sites for interview Preparation in 2022)

1) Ambitionbox
2) AceThelnterview
3) Geeksforgeeks
4) Leetcode
5) Gainlo
6) Careercup
7) Codercareer
8) InterviewUp
9) InterviewBest
10) Indiabix


@BIMining

مسیر دانشمند داده @BIMining

مهمترین کاربردهای زبان برنامه نویسی #پایتون در حوزه های مختلف

@Bimining

موارد کاربرد الگوریتم های یادگیری ماشین



@BIMining

برترین پلتفرم ها و ابزارهای ETL در انبار داده در سال 2022

نکته جالب این است که ابزار ODI شرکت اوراکل از ابزار IBM Data Stage شرکت IBM پیشی گرفته است و به جایگاه دوم رسیده است.
@BIMining

دسته بندی الگوریتم های یادگیری ماشین

@BIMining

تمایز و اشتراک علم داده با تحلیل داده

@BIMining

چرخه حیات علم داده

@BIMining

روش های استفاده از کتابخانه های pandas جهت import data و data cleaning و گزارشات آماری

@BIMining

توابع و دستورات مهم در پانداس و SQL

@BIMining

پنج مرحله تجزیه و تحلیل موثر داده ها:
مرحله 1: تعریف مساله
اولین گام در هر پروژه تجزیه و تحلیل داده، تعریف مساله است که سعی در حل آن دارید. به چه سوالاتی می خواهید پاسخ دهید؟ اهداف شما برای پروژه چیست؟ تعریف واضح مساله و اهداف به شما کمک می کند در مسیر خود بمانید و اطمینان حاصل کنید که تحلیل شما مرتبط است.

مرحله 2: اندازه گیری
داده هایی را که برای پاسخ به سوالات و دستیابی به اهداف خود نیاز دارید جمع آوری کنید. اطمینان حاصل کنید که داده های شما تمیز، دقیق و مرتبط هستند.
مرحله 3: تجزیه و تحلیل
با در دست داشتن داده ها، وقت آن است که آن ها را تجزیه و تحلیل کنید. از روش‌های آماری، ابزارهای تجسم و تکنیک‌های یادگیری ماشینی برای کشف اطلاعات و دانش پنهان استفاده کنید.

مرحله 4: بهبود
درک بهتری از مشکل خود و عوامل موثر در آن داشته باشید. تغییراتی را در فرآیندهای تجاری یا محصولات خود اعمال کنید که به شما در دستیابی به اهدافتان کمک می کند.
@BIMining
مرحله 5: کنترل
کنترل‌ها و سیستم های نظارتی را برای پیگیری پیشرفت خود تنظیم کنید و مطمئن شوید که هنوز در مسیر رسیدن به اهداف خود هستید.
@BIMining

معرفی - Polars
یک کتابخانه دیتافریم منبع باز است که در مارس 2020 منتشر شد. این کتابخانه به دلیل استفاده از زبان برنامه نویسی Rust، از دیگر کتابخانه های این حوزه متمایز است. Rust به طور خاص برای عملکرد و قابلیت های موازی آن انتخاب شد. علاوه بر این، Polars برای چارچوب داده خود به شاخصی تکیه نمی کند و از ارزیابی Lazy پشتیبانی می کند و آن را به یک جایگزین بالقوه برای Pandas برای برخی از کاربران تبدیل می کند.

طبق تست بنچمارک انجام شده توسط H2O.ai، Polars بسیار جلوتر از رقبای خود بود. به عنوان مثال، Polars با تکمیل مجموعه داده‌های 50 گیگابایتی تنها در 143 ثانیه، عملکرد برتری را در وظایف تجمیع نشان داد. در مقایسه، پانداها به دلیل حافظه ناکافی قادر به انجام این کار نبودند.
علاوه بر سرعت، Polars بسیار کاربر پسند است و از یک کد پایه به خوبی نوشته شده برخوردار است. برای کسانی که با کتابخانه هایی مانند dplyr در R آشنا هستند، استفاده از Polars به دلیل نحو مشابه آن، کار آسانی است. به طور کلی، Polars یک راه حل قدرتمند و آسان برای کارهای تجمیع داده ارائه می دهد.


@BIMining

تفاوت بردار ، ماتریس و تنسور بصورت ساده با نمایش شکل !

تنسور در واقع آرایه های چندبعدی است که از اعداد که در یک جدول (ماتریس) چیده شده‌اند. این جدول در حالت کلی می‌تواند به صورت N*M*O*Pباشد که حروف بزرگ هر کدام نمایندهٔ یک عدد طبیعی و بیانگر ابعاد جدول و * نشان دهندهٔ عمل ضرب بین آن‌هاست.

@BIMining

عنوان مقاله : چه چیزی در هوش مصنوعی از چرخه هایپ گارتنر 2022 وجود دارد.

✍️نویسنده مقاله : محمد عالیشاهی معاونت هوش تجاری و علم داده شرکت بهسازان ملت - دکترای هوش مصنوعی دانشگاه تهران

بطور کلی نوآوری های هوش مصنوعی به چهار دسته تقسیم می شوند و انتظار می‌رود که طیف گسترده‌ای از نوآوری‌های هوش مصنوعی بر افراد و فرآیندهای درون و بیرون از یک زمینه سازمانی تأثیر بگذارد و درک آنها را برای بسیاری از ذینفعان، از رهبران کسب‌وکار گرفته تا تیم‌های مهندسی سازمانی که وظیفه استقرار و عملیاتی کردن سیستم‌های هوش مصنوعی را بر عهده دارند، با اهمیت می‌سازد.
با این حال، رهبران داده‌ها و تجزیه و تحلیل (D&A) بیشترین سود را از استفاده از دورنمای Hype Cycle برای ایجاد استراتژی‌های هوش مصنوعی برای آینده و استفاده از فناوری‌هایی که تأثیر بالایی در زمان حال دارند.
نوآوری های هوش مصنوعی در چرخه هایپ منعکس کننده اولویت های مکمل و گاهی متناقض در چهار دسته اصلی است:
• هوش مصنوعی داده محور

• هوش مصنوعی مدل محور

• هوش مصنوعی برنامه محور

• هوش مصنوعی انسان محور


@BIMining

9 تا از مهمترین Acivation Function ها در یادگیری عمیق.

@BIMining

✍️✍️برترین پلتفرم ها و ابزارهای ETL و ELT از نگاه گارتنر در گزارش ژانویه 2023.

✍️نکته جالب پیشرو شدن ابزار ODI شرکت اوراکل و خارج شدن ابزار IBM Data Stage شرکت IBM از بخش لیدرها.

✍️جالب تر اینکه یک ابزار به نام WORKATO با یک فاصله معنا داری خودش را به جمع لیدرها قرار داده است که مطابق بررسی که انجام شد بد نیست اطلاعاتی در مورد این ابزار بدانید.
✍️پلتفرم کم‌کد/بدون کد Workato به تیم‌های تجاری و فناوری اطلاعات این امکان را می‌دهد تا ادغام‌هایی را با سرعت پنج برابر بیشتر از پلتفرم‌های یکپارچه‌سازی معمولی ایجاد کنند. این امر از طریق شتاب دهنده هایی مانند اتصال دهنده های از پیش ساخته شده برای 1000+ SaaS، پایگاه های داده اولیه، ERP و موارد دیگر به دست می آید. بیش از 500000 دستور العمل آماده برای فرآیندهای تجاری رایج که توسط بیش از 70000 عضو انجمن به اشتراک گذاشته شده است. یک معماری کاملاً بومی ابری که برای مقیاس و سرعت ساخته شده است به طور قابل توجهی ردپای عملیاتی و هزینه های کلی را کاهش می دهد.
با Workato، شما مجبور نیستید بین ETL و ELT یکی را انتخاب کنید.

@BIMining