نگاهی به معماریSpark SQL @BIMining

نگاهی به معماریSpark SQL @BIMining

☑️نقشه راه هوش تجاری كلان داده:

· بخش زیر ساخت و ETL :
1- انتخاب و تسلط به ابزار های استخراج، پاکسازی و بارگذاری داده(ETL ) رایج ترین ابزارها ODI در پلتفرم اوراکل، SSIS در پلتفرم مایکروسافت، Sqoop و Flume در پلتفرم بیگ دیتا
2- انتخاب معماری و رویکرد مناسب جهت بارگذاری داده ها در انبار داده (Top down – Button up – Mix up)

نکته: برای اطلاعات بیشتر در مورد معماری های فوق کتابهای انبار داده Kimball و Inman مراجعه شود.برای انتخاب هر کدام از معماری های فوق فاکتورهای بسیار زیادی مطرح هست مثلا سرعت انجام پروژه، حجم و تنوع دیتا، مشخص بودن SCOPE پروژه و ... فاکتورهای تعیین کننده جهت انتخاب یکی از روشهای فوق الذکر است.

3- تسلط در استفاده از تکنولوژی های OLAP، MOLAP،ROLAP و HOLAP و براساس موضوعات مختلف و معماری مورد نیاز در ساخت انبار داده جهت ساخت کیوب
4- تسلط در ایجاد اتصال ابزارهای ETL به دیتا بیس های عملیاتی مانند Structure ,Unstructured DATA و همچنین به Data Warehouse
5- قابلیت استفاده از تکنولوژی های CDC(Change Data Capture) و SCD (Slowly Change Dimension)
6- اتصال ابزار ETL به انواع پایگاه داده ها مختلف مانند Socket ، DB Link ، Web service و ... جهت دریافت و ارسال

· بخش انبار داده:
1- انتخاب و تسلط به یکی از پایگاه داده های مطرح دنیا مانند ORACLE،DB2 ،Microsoft،Mongo DBو... و بر اساس نیازهای تعریف شده
2- ساخت کیوب شامل STAR ، Snow Flake ، Fact Consolation
3- تسلط به مفاهیم QUERY OPTIMIZATION از قبیل : ایجاد پارتیشن بندی ،نحوه ایندکس گذاری ترکیبی و چندتائی ،اکتیو کردن قابلیت IN-MEMORY در سطح SESSION،TABLE SPACE،TABLE و FIELD جهت افزایش کارائی و سرعت دسترسی به دیتای کیوب
4- تسلط MATERIALIZE VIEW،PROCEDURE،FUNCTION و QUERY نویسی در محیط های برنامه نویسی پایگاه داده
5- تسلط به ساخت FACT و DIMENSION برای ساخت FACT بایستی مواردی مثل NUMBER بودن تمامی فیلدها،وجود کلید خارجی،MEASURE ها شرط اولیه و مهم است. برای ایجاد DIMENSION بایستی به مواردی مثل قابلیت سلسله مراتبی بودن فیلدها مانند (سال،فصل، ماه و روز در جدول DATE)، داشتن کلید اصلی جز موارد مهم و اصلی آن به شمار می رود.
6- قابلیت ایجاد ARCHIVE Data در انبار داده جهت مدیریت داده های بلا استفاده و کم اهمیت در طول بازه زمانی(حذف تدریجی داده های بلااستفاده و کم اهمیت بصورت تدریجی و در بازه زمانی تعریف شده و انتقال به پایگاه داده آرشیو)



· بخش داده کاوی و داشبوردهای تحلیلی:
1- مطالعه و تسلط کافی به اسکریپت نویسی مبتنی بر تکنولوژی های MDX،DAX
2- انتخاب و تسلط بر یکی از ابزارهای OBIEE ،BI Microsoft ، Tableau ، Qlikview و ...
3- قابلیت اسکریپت نویسی و استفاده از فانکشن ها در ابزارهای هوش تجاری فوق الذکر
4- اتصال و فراخوانی داشبوردهای هوش تجاری به کیوب داده
5- توانائی ایجاد DRILL DOWN ، ROLL UP ، DICE و SLICE در ابزارهای هوش تجاری جهت تحلیل های چند بعدی
6- تهیه پروتوتایپ داشبوردهای طراحی شده برای استفاده کنندگان و با سطوح دسترسی و امکانات لازم در هر داشبورد مدیریتی و مورد نیاز کسب و کار
7- ایجاد AGENT و ACTION و ارسال گزارشات تحلیلی با شرایط خاص وسطح دسترسی
8- و خدمات متنوع دیگر مثل اتصال مستقیم ریپازیتوری به اکسل،قابلیت استفاده درست و بجا از انواع histogram برای نمایش اطلاعات توصیفی و ترندها،پیاده سازی scorecards ، watch List و ...
9- طراحی و پیاده سازی روش های داده کاوی شامل روش های پیش بینی و توصیفی در ابعاد مختلف
10- پیاده سازی روش های داده کاوی با استفاده از ابزارهای داده کاوی مثل R ، پایتون
11- تحلیل و شناخت کامل از فرایندهای کسب و کار،سیستمهای موجود در بخش های مختلف با همکاری کارشناس خبره کسب و کار
12- استخراج KPI (KEY PERFORMANCE INDICATOR) و CSF (CRITICAL SUCCESS FACTOR) مطابق با مسئله و نیاز تعریف شده توسط کارفرما
13- تعریف سطوح دسترسی کاربران جهت استفاده از داشبوردهای طراحی شده
14- امکان نمایش داشبوردها در ابزارهای موبایل،تبلت و ...

استفاده از قابلیت های prompt و لینک دیتا بین داشبوردهای Master و Slave

سپاس- عالیشاهی
@BIMining

کارگاه بیگ دیتا در روزهای 8 و 9 شهریور97 ارائه دهنده : محمد عالیشاهی **اطلاعات تکمیلی: @BIRegister

اطلاعات تکمیلی کارگاه کلان داده شامل هزینه کارگاه،مدت زمان،سرفصلها ، ابزارها و پلتفرم های مورد استفاده و مکان برگزاری و اطلاعات دیگر

♻️چهارتا وبسایت عالی برای دریافت رایگان پایان نامه های خارجی

1️⃣ http://oaktrust.library.tamu.edu/handle/1969.1/2

2️⃣ http://www.diva-portal.org/smash/search.jsf?dswid=-2422

3️⃣ http://dspace.mit.edu/handle/1721.1/7582

4️⃣ http://www.essays.se/


👁‍🗨 @BIMining

‌ 📣 استخدام متخصص پایگاه داده اوراکل در شرکت توسن تکنو
Oracle Database Administrator

شرایط و ویژگی ها:
1- رشته تحصلی: کامپیوتر / نرم افزار
2- آشنا با زبان Oracle SQL
3- آشنا با نصب و راه اندازی Oracle DataBase
4- آشنایی با ابزارهای SQL Plus و SQL Developer
5- آشنایی با سیستم عامل لینوکس
6- آشنایی با مفاهیم بانک های رابطه ای و مفاهیم پایه ای بانک اطلاعاتی Oracle
7- آشنا با Oracle RAC و Oracle DB Guard
8- حداقل دو سال سابقه کار مرتبط

✉️ ارسال رزومه به:
recruitment@tosantechno.com

Oracle’s Advanced Analytics - Machine Learning Platform , NewFeatures& Road Map ; Bigger,Better,Faster, More!

💠 آموزش #پایتون : جلسه هفتادم

☑️ مباحث گفته شده:
🔘 مسیر فایل ها در پایتون @BIMining

#هوش_مصنوعی

به کمک هوش مصنوعی عکس‌های قدیمی را بازیابی کنید!

@BIMining

كتاب انبار داده از ايده تا عمل

@BIMining

The Ten Most Common Data Science Skills in Job Postings

@BIMining

استخدام در شرکت فناپ. رزومه خود را به ایمیل sm.dalirian@gmail.com
بفرستید.

@BIMining

مفهوم و کاربرد Big Data @BIMining

كتاب هوشمندسازي كسب و كار با نرم افزار Microsoft Power BI @BIMining

فهرست مطالب كتاب هوشمندسازي كسب و كار
لینک سفارش خرید: s.yaghoubi68@gmail.com @BIMining

راهنماي استفاده از گراف هاي هيستوگرام در داشبوردهاي هوش تجاري


@BIMining

انواع DataSet ها

http://archive.ics.uci.edu/ml/datasets.html

دیتاست مربوط به یو تیوب

http://netsg.cs.sfu.ca/youtubedata

دیتاست مربوط به داده های شبکه

http://networkdata.ics.uci.edu/netdata/html/bkHam.html


مجموعه داده های طبقه بندی شده در دیتاپول در موضوعات مختلف
http://www.datapool.ir

دیتاست مربوط به تشخیص چهره

http://www.face-rec.org/databases
دیتاست مربوط به دسته بندی حملات شبکه

http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html

دیتاست مربوط به وام های داده شده ، دیر کرد و غیره به مشتریان است

https://www.lendingclub.com/info/download-data.action

دیتاست مربوط به تصادفات جاده ای

http://www.nyc.gov/html/nypd/html/traffic_reports/motor_vehicle_collision_data.shtml

دیتاست مربوط به گربه ها

http://137.189.35.203/WebUI/CatDatabase/catData.html

دیتاست مربوط به حراجی آنلاین eBay

http://www.modelingonlineauctions.com/datasets

دیتاست مربوط به موسیقی و صدا

http://labrosa.ee.columbia.edu/millionsong/

دیتاست مربوط به انواع شبکه های موجود و وب سایت ها – دانشگاه استنفورد

http://snap.stanford.edu/data/index.html

دیتاست های مربوط به یادگیری ماشین

http://archive.ics.uci.edu/ml

گروه داده کاوی دانشگاه تگزاس

http://www.cs.utexas.edu/users/dmg/

وب سایت های مجموعه داده:

http://aws.amazon.com/public-data-sets

http://stackoverflow.com/questions/381806/large-public-datasets

https://archive.org/details/stackexchange

https://networkdata.ics.uci.edu/resources.php

https://www.kaggle.com

http://www.data.gov

http://www.kdnuggets.com/datasets/index.html

http://socialcomputing.asu.edu/pages/datasets

http://nodexlgraphgallery.org/Pages/Default.aspx

http://konect.uni-koblenz.de


@BIMining كانال

حداقل توان محاسباتی مغز انسان ۳۰برابر بیشتر از سکویا(قوی‌ترین هوش مصنوعی) است ,توان برقراری ارتباط و تحلیل بین یافته های حواس مختلف, مهمترین نقطه قوت مغز انسان است. @BIMining