🖌 داستان های واقعی متخصصان علم داده (بخش اول) @BIMining

🖌 داستان های واقعی متخصصان علم داده (بخش دوم) @BIMining

✳️✅شرکت پردازشگران سامان وابسته به بانک سامان، به‌منظور تکمیل نیروی انسانی خود، در عناوین شغلی زیر استخدام می‌کند.


1️⃣ کارشناس ETL

• ترجیحا آقا با حداقل ۳ سال سابقه در این حوزه
• مسلط به pl-SQL
• آشنا به SSIS
• آشنا به ODI
• آشنا به مفاهیم هوش تجاری


2️⃣ کارشناس Report و داشبورد

• حداقل ۲ سال سابقه کار در حوزه BI
• مسلط به ابزار SSRS
• آشنا به ابزارهای Power Bi، QlicKview و Tableau


3️⃣ کارشناس کیوب

• حداقل ۳ سال سابقه کار در حوزه BI
• مسلط به ابزار SSAS
• آشنا به مفاهیم BI


4️⃣ کارشناس Big Data

• آشنا به مفاهیم Big data و تکنولوژی‌های Big data
• برنامه‌نویس جاوا و Scala
• آشنایی به مفاهیم یادگیری ماشین
• آشنایی به فریم ورک Spark


5️⃣ کارشناس DBA

• حداقل ۵ سال سابقه کار در حوزه DBA
• مسلط به ابزار Oracle
• آشنا به حوزه Oracle RAC

لطفا رزومه خود را به آدرس jobs@samanpr.net ارسال نمایید.


@BIMining

#استخدام
شرکت تجارت الکترونیک پارسیان در نظر دارد برای تکمیل کادر فنی خود در حوزه هوش تجاری اقدام به استخدام نیرو با تخصص های ذیل نماید:
• مسئولیت پذیر، دارای روحیه کار تیمی و توانایی بالا در تحلیل کسب و کار
• مسلط به طراحی و پیاده سازی Data Warehouse
• مسلط به پایگاه داده SQL Server و زبان T-SQL
• مسلط به ابزار SSIS ، ایجاد، به روزرسانی و بهینه سازی فرآیندهای ETL
• مسلط به ابزار SSAS و مدلسازی Multidimentional و Tabular
• مسلط به ابزار Power BI و زبانهای DAX و MDX
• حداقل دو سال سابقه کار در حوزه مرتبط
آشنایی با مفاهیم پرداخت الکترونیک، مفاهیم داده کاوی و یادگیری ماشین مزیت محسوب میشود.
علاقه مندان لطفا رزومه خود را به ایمیل زیر ارسال فرمایند.
Ayobshokrolahi@pec.ir

✳️☑️ قرار گرفتن پلتفرم اوراکل به عنوان رهبر پیشرو در انبار داده های تحلیلی و افت محسوس SAP و اضافه شدن Google به عنوان یکی از رهبران در این حوزه!!!
به تازگی نسخه Quadrant magic 2019 ، راه حل های Data Management For Analytics را منتشر کرده است كه اين محصولات مدیریت داده تحت پوشش گارتنر شامل پایگاه داده هاي رابطه اي (انبار داده) که داده ها را در یک یا چند فایل پشتیبانی می کند و این پایگاه داده ها اغلب بمنظور پشتیبانی از پردازش های تحلیلی و استفاده از زبانهای داده کاوی و یادگیری ماشین مانند R و پایتون مورد استفاده قرار می گیرد.
اوراکل بتازگی انبار داده خودکار (Autonomous Data Warehouse) منتشر کرده است و همچنین در طول سال گذشته بطور فزاینده ای مدیریت داده های ابر را در اختیار دارد.
همچنین پلتفرم SAP شاهد رکود در موقیعت خود در میان رهبران بازاربوده است.که ناشی از تجدید تمرکز شرکت SAP بر روی ابزار مدیریت داده های عمومی می باشد.


@BIMining

📒 ۱۰ روش که افراد شاغل در یادگیری عمیق بایستی بلد باشند

افرادی که در حوزه یادگیری عمیق کار میکنند(یا علاقه به کار دارند) میبایستی که این ۱۰روش که پایه ای جهت عملیات یادگیری عمیق می باشند را به خوبی یادبگیرند:

۱. پس انتشار خطا - Back Propagation
۲. کاهش گرادیان تصادفی - Stochastic Gradient Descent
۳. زوال نرخ یادگیری - Learning Rate Decay
۴. حذف تصادفی - Dropout
۵. جمع آوری بیشینه - Max Pooling
۶. نرمال سازی گروهی - Batch Normalization
۷. حافظه کوتاه-بلند - Long Short-Term Memmory
۸. روش Skip-Gram
۹. کوله کلمات مداوم - Continiuous Bag Of Words
۱۰. یادگیری انتقالی - Transfer Learning

هر کدام از این روش ها میتواند در برخی از مسائل حل شده توسط یادگیری عمیق استفاده شود. میتوانید با جستجو در اینترنت منابع زیادی جهت یادگیری هر کدام از این روش ها را پیدا کنید.
منبع:
https://goo.gl/7G4XS9



@BIMining

سال نو بر همه شما مبارک🌸🌼

بهترین آرزوها رو براتون دارم🌹

@BIMining

Natural Language
Processing Recipes
Unlocking Text Data with
Machine Learning and Deep
Learning using Python

✅✳️پردازش زبان طبیعی
یادگیری ماشین و یادگیری عمیق با پایتون

☑️انتشار 2019


@BIMining

✳️✅پیاده سازی تکنیک متن کاوی( Text Mining) با روش Sentiment Analysis در پلتفرم Oracle BI 12c :

✅تحلیل احساسات فرایندی به صورت سیستماتیک و با برنامه استخراج اطلاعات متنی، مانند توئیت ها، وضعیت‌ها، نظرات و پست‌ها از وب است. نکته‌ی اساسی در اینجا در تجزیه و تحلیل این مجموعه داده بزرگ قرار دارد تا آنها را در قالب نظرات و احساسات مشتریان کشف کند.این اطلاعات به مدیران تجاری کمک می‌کند تا چگونگی احساس مشتریان خود را در مورد برندها و محصولات مختلف ارزیابی کنند. این تحلیل‌ها را می‌توان بر روی یک بخش خاص از مشتریان و یا در کل مجموعه مشتریان انجام داد.
✅شرکت اوراکل از سال 2016 با انتشار نسخه OBIEE 12.2.1.2 قابلیت تحلیل احساسات (Sentiment Analysis)در پلتفرم 1.5.1 ORE اضافه کرده است . در حال حاضر این قابلیت بسیار ارزشمند در پلتفرم اوراکل پیاده سازی شده است و با اضافه کردن کتابخانه های مرتبط به R و ORE این فیچر در OBIEE 12C ادغام می شود. بنابراین از این پس فیلدهای متنی و کلیه متون به اشکال مختلف در Oracle BI در قالب Sentiment Analysis قابل تحلیل و پیاده سازی است و نتیجه آن بصورت یک داشبورد تحلیلی نمایش داده می شود.
در روزهای آتی نمونه خروجی های پیاده سازی شده با مثال در کانال @BIMining ارائه خواهد شد. در ضمن گامهای انجام اینکار تشریح خواهد شد.
✅در سال جدید منتظر اخبار جدید و شگفتانه از ما در حوزه Data Science باشید...
@BIMining

تشریح مراحل نصب،پیکربندی و پیاده سازی متن کاوی در محیط R وOracle BI 12C @BIMining

✅ کدام کتاب را بخوانم و کدام منبع برای
یادگیری من بهترین است؟

خیلی از مواقع برای یادگیری یک موضوع خاص در دنیای IT از کتاب های الکترونیک یا Ebookها استفاده میکنیم، اما معمولاً در مورد یک موضوع خاص چندین نسخه مختلف از این Ebookها در سطح اینترنت و یا گروه ها و کانال های تلگرامی به اشتراک گذاشته شده اند و در عنوان آنها عبارتی مانند: Essentials و Fundamentals و for Neibies و Deep Dive و Cookbook و... را مشاهده می کنید و شاید این سوال مطرح شود که: "کدام کتاب برای شروع کار و یادگیری من بهترین است؟". در پاسخ به این سوال شاید مهمترین موضوع این باشد که "دانش" شما نسبت به آن موضوع در "چه سطحی" قرار دارد، یعنی به عنوان مثال شما هیچ دانشی و backgroundی از موضوع مورد نظر ندارید، کمی با موضوع آشنایی دارید ولی Conceptها را نمی دانید، Conceptها را می دانید ولی Config و پیاده سازی را بلد نیستید، هم Concept و هم Config را می دانید اما به دنبال تسلط بیشتر و انجام سناریوهای عملی و کاربردی هستید و... . پس از پاسخ به سوال مطرح شده مسلماً می توانید بهترین منبع را برای یادگیری Self-Study و Self-Learning خود در هر سطحی که هستید انتخاب نمایید.
متأسفانه بنده هیچ منبع خوبی برای مقایسه این واژگان در عنوان کتاب ها پیدا نکردم اما تصمیم گرفتم با توجه به تجربیات شخصی خود از مطالعه کتاب های مختلف مطلبی در این زمینه بنویسم.


📌 Essentials
که نشون میده این کتاب از base و پایه به موضوع مورد نظر می پردازه ولی تمامی مطالب به صورت "سطحی" نه "عمقی" مطرح می شوند، سناریو-محور نیستند و مثال های کاربردی کمی دارند. Conceptها کلی مطرح شده و به جزئیات توجه نمی شود و Configها نیز جامع نیستند. خواندن این کتاب ها وقت زیادی را از شما نمیگیرد و معمولاً این کتاب ها بسته به موضوع چیزی حدود 110 تا 300 صفحه دارند.

📌 Fundamentals
این کتاب ها معمولاً به "اصول پایه ای" یک موضوع یا مبحث خاص میپردازند، متدها را بررسی کرده و روش های مختلف اجرا (اما معمولاً بدون پیاده سازی) را مطرح می کنند.

📌 for Newbies
یعنی اینکه کتاب برای تازه کارها نوشته شده و اگر شخصی که داره کتاب رو میخونه قبلاً هم هیچ دانشی نداره مشکلی نیست و این کتاب در مورد موضوع مورد نظر پایین ترین سح ممکن رو در بین کتاب ها داره

📌 Deep Dive
یعنی (شیرچه عمیق) که توی یک مبحث خاص یا یک موضوع مشخص تا عمق زیاد وارد میشه و مطالبش سطحی نیستند و با جزئیات زیاد در مورد همه چیز گفته میشه در کتاب. وقتی میگن یه کتاب by details مطالب رو توضیح میده یعنی همین.

📌 Cookbook
این کتاب ها معمولاً شامل Concept + Config و مثال ها و سناریوها هستند، روش های troubleshootها رو میگن، راهکارهای مانیتورینگ رو، روش های backup گیری رو، روش های integrate کردن رو، پیشنیازها رو و... در مورد اون موضوع خاص، تقریباً میشه گفت کتاب های Cookbook از همه جهات به اون موضوع کتاب میپردازن

📌 Practical
اینها کتاب های عملیاتی هستند، دیگه نمیاد در مورد موضوع کتاب Concept رو معمولاً از base شروع کنه به گفتن و بعد بره سر Config و...، از همون اول شروع میکنه با سناریو و مثال های عملی و کاربردی مطالب رو دونه دونه جلو میره

📌 Playbook
یکسری راهکارها رو که بیشتر کاربرد دارند توی اون موضوع خاص سعی میکنه بگه بطوریکه درصد Concept به Config توی این کتاب ها 30 به 70 هست تقریباً

📌 Mastering
این کتاب ها تقریباً مثل کتاب های Cookbook هست ساختارشون که از همه جهت میان در مورد موضوع کتاب بحث میکنن و Concept و Config و... رو دارن ولی کمی مطالب رو دست بالاتر توضیح میدن نسبت به کتاب های Cookbook

📌 Advanced
این کتاب هم که شامل یکسری از مباحث پیشرفته در مورد موضوع خاصی هستند که توی کتاب های Cookbook و Mastering نمی بینمیشون معمولاً یا شاید توی اونها فقط اشاره ای بهشون شده ولی در کتاب های Avanced اون مبحث فوق تخصصی رو کاملاً باز میکنه و توضیح های کامل تر و جامع تری در موردش میاره

📌 Workbook
این کتاب ها هم کتاب های تمرینی هستند و برای افرادی خوبن که یک موضوع یا دوره رو خوندن و یاد گرفتند و حالا قصد دارند یکسری تمرینات رو انجام بدن بصورت عملی و بیشتر روی مباحث تسلط پیدا کنن و یا برای آزمون های بین المللی که به صورت "تست+LAB" هستند، برای بخش LAB آماده بشن

📌 Official
این کتاب ها معمولاً کتاب های "رسمی" یک vendor هستند و برای یادگیری در مورد یک دوره خاص مطرح می باشند و بیشترین سوالات نیز در آزمون بین المللی آن دوره خاص معمولاً از مطالبی که در همین کتاب ها آورده شده است، مطرح می شوند و بهترین و استانداردترین منبع برای مورد تأیید آن Vendor برای یادگیری موضوع مورد نظر هستند.

@BIMining

✅✳️ الگوريتم هاي برتر داده كاوي و يادگيري ماشين كدامند؟


کدام تکنیک_داده_کاوی و علم_داده کارآمدتر است؟




@BIMining

چگونه در پايتون نمودار متحرك رسم كنيم؟

​​​​​​​​​​🔹​​‍ برای ساختن نمودارها بصورت GIF در پایتون از کتابخانه‌ی "imageio" برای خواندن و نوشتن داده های تصویریتون استفاده کنید.
(بهمراه لینک برای مشاهده کامل کد)

>>> from imageio import imread, mimsave
>>> images = []
>>> for f in filenames:
images.append(imread(f))
>>> mimsave('movie.gif', images)


Link: goo.gl/2bWR3U


@BIMining

✳️✅داده‌های باز دیجی‌کالا
شاید این خبر رو شنیده باشید اما این حرکت بنظرم اونقدر ارزش داشت که بخواهيم یه پست به آن اختصاص بدهيم.دیجی‌کالا در یک حرکت انقلابی بخشی از داده‌های کاربرانش رو برای تحلیل در اختیار عموم قرار داده است. این داده‌ها از حدود ۲ میلیون مشتری و صد هزار کالا جمع‌آوری شدند و برای کاربردهای هوش تجاري از قبیل پردازش زبان طبیعی بسیار ارزشمند هستند. همچنین در صورتی که نتیجه تحقیقات شما قابلیت تبدیل به محصول شدن داشته باشد، از طرف دیجی‌کالا مورد حمایت قرار می‌گیرید. برای دریافت اطلاعات بیشتر از نحوه دریافت داده‌ها و جزئیات این دیتابیس‌ها می‌توانید از لینک زیر استفاده کنید.

لینک: 👇
https://bit.ly/2uRiJ6O

@BIMining

روند افزايشي رتبه و محبوبیت زبان‌ برنامه‌نویسی پایتون از سال 2008 تا 2018 @BIMining

💢 چرا پایتون؟

۱- محبوبیت زبان پایتون و کسب درآمد زیاد از طریق آن
۲- استفاده از زبان پایتون در علم داده
۳- اسکریپت و اتوماسیون در پایتون
۴- استفاده از پایتون برای داده‌های بزرگ
۵- پشتیبانی پایتون از تست (Testing)
۶- گرافیک کامپیوتری در پایتون
۷- استفاده از پایتون در هوش مصنوعی
۸- استفاده از پایتون در توسعه وب
۹- سازگار و قابل انتقال بودن
۱۰- سادگی و یادگیری آسان

@BIMining

آموزش گام به گام یادگیری ماشین با نرم افزار وکا (Weka)

@BIMining

⏳زمان مطالعه: 3 دقیقه

✅✳️هوش تجاری در صنعت مالی چه کاربردی دارد⁉️

📚 برگرفته از شماره "فناوری مالی" ، آخرین و جدیدترین شماره از نشریات سامانه نو

🔰اطلاعات و دانش در هزاره سوم به ثروت اصلي سازمان‌ها تبديل شده و بنگا‌ه‌هاي تجاري و واحدهاي توليدي براي كسب مزيت رقابتي به دنبال استفاده هر چه بيشتر از اين ثروت در تصميمات خطير خود در محيط پوياي امروز مي‌باشند.
هوش تجاری به نوعی از مدیریت کسب‌وکار اطلاق می‌شود که به منظور تشریح برنامه‌های کاربردی و فناوری در زمینه گردآوری، ارائه، دسترسی، تحلیل داده‌ها و اطلاعات در راستای یاری‌رساندن به مؤسسات، به منظور اتخاذ بهینه تصمیمات تجاری کاربرد دارد. هوش تجاری به سازمان‌ها این کمک را می‌کند که وظایف تحلیل، تهیه استراتژی و پیش‌بینی آن‌ها را مکانیزه و اتوماتیک نماید تا تصمیمات بهتری اتخاذ شود.
@BIMining

✅هوش تجاری در صنعت مالی

در بانکداری، تمام موضوعات خدمات مالی به عنوان یک صنعت، درباره پول است. در این کسب‌وکارها استفاده از هوش تجاری، به جای عملیات تجاری، بر امور مالی متمرکز شده‌است. استفاده از هوش تجاری در خدمات مالی عموما موجب خلق ارزش شده‌است. از طرفی دیگر، هوش تجاری می‌تواند نقشی مؤثر در پیگیری سوء‌استفاده از دارایی‌های مالی که شامل کشف و ردیابی کلاهبرداری و تقلب است ایفا کند.

✅بهبود بهره‌وری عملیاتی

در بازار شدید رقابتی این صنایع، کارآمدی مؤسسات تا جایی که امکان پذیر است لازم است. هوش تجاری فرایندهای عملیاتی را برای کمک به کاهش هزینه‌ها و حداکثر ساختن منابع موجود، تجزیه و تحلیل میكند

@BIMining

✅بهبود بازاریابی

با هوش تجاری می‌توان پروفایل کاربری را -که بیش‌ترین سود را برای مؤسسه به ارمغان آورده‌است- با استفاده از انبار داده‌های مدیریت ارتباط با مشتری کشف کرد. همچنین خود پایگاه مشتری می‌تواند مورد تحلیل قرار گیرد تا فرصت‌های پیش‌فروش و فروش، ساخته و شناسایی شوند و کمپین‌های هدفمند بازاریابی آنلاین بهبود یابند.

✅حفظ مشتریان

ابزارهای تحلیلی هوش تجاری می‌تواند بانک‌ها و مؤسسات مالی را برای کشف علت این‌که چرا مشتریان به رقیبان می‌پیوندند، کمک نماید. این علت‌های به دست آمده، برای مؤسسات، اطلاعاتی را فراهم می‌کند که جهت پیاده‌سازی و بهبود روش‌های جلوگیری از از دست دادن مشتریان ضروری است. پیگیری ترجیحات مشتری، عادات و رفتار او نیز می‌تواند این امکان را به مؤسسات بدهد که محصولات و خدمات را در راه‌های مختلفی برای برطرف‌کردن نیازها، حل مشکلات و ارتقاء وفاداری و رضایت مشتریان شخصی‌سازی کنند.
🌐متن کامل مقاله:
http://newsamaneh.iust.ac.ir/blog/هوش-تجاری-در-صنعت-مالی

@BIMining

شرکت شبکه الکترونیک پرداخت کارت (شاپرک🦋) در دو عنوان شغلی زیر دعوت به همکاری می نماید، علاقه مندان برای دریافت اطلاعات بیشتر و ثبت درخواست به لینک زیر مراجعه فرمایند.

📊کارشناس تحلیل‌گر داده


تسلط به مفاهیم کلان داده ، یادگیری ماشینی و هوش مصنوعی
آشنایی کافی با موضوعات هوش تجاری و تحلیل کسب و کار
تسلط بر گزارش نویسی فنی
آشنایی با شبکه پرداخت و بانکداری الکترونیک
تسلط به کار با داده بوسیله نرم افزارهای Python ، R ، SPSS modeler


💻کارشناس تحلیل‌گر سیستم

آشنایی با پویایی شناسی سیستمها
تجربه پروژه تحلیل و مدلسازی سیستمهای پیچیده
تسلط بر گزارش نویسی فنی
دارای نگاه سیستمی و کل نگر
آشنایی کافی با نرم افزارهای شبیه سازی سیستم iThink ، Vensim

https://job.shaparak.ir/index.php/site/register

@BIMining

✳️✅یکی از بخش های مهم و چالش برانگیز در پروسه ی یادگیری ماشین پاکسازی داده ها است و تاثیر بسیاری بر روی validation مدل دارد.
این فایل شامل آموزش پاکسازی داده ها در فرایند یادگیری ماشین است.

@BIMining