لماذا نستخدم تنقيب البيانات وما هو التنقيب و ما تطبيقاته Mining Data

Mining Data لماذا نستخدم تنقيب البيانات؟

بسبب الكم الهائل من البيانات من التيرابايت إلى بيتا بايت. بسبب جمع البيانات وتوافرها . بسبب تنوع البيانات .

تنقيب البيانات

المصادر الرئيسية لوفرة البيانات :

الاعمال مثل التسويق والتجارة الإلكترونية والويب.
العلوم مثل الاستشعار عن بعد والمحاكاة العلمية
المجتمع والجميع مثل الاخبار واليوتيوب.

ملاحظات

غارقون في البيانات لا كننا نفتقر الى المعرفة.

أي شي بالمجتمع لازم أجيب له خصائص او صفات.

البيانات لذي تكون بالسيرفر تكون مصنفه جاهزة.

يلعب التنقيب عن البيانات دوراً أساسياً في عمليه اكتشاف المعرفة .

ما معنى تنقيب البيانات What is data Mining

هو استخراج الانماط أو المعرفة المثيرة للاهتمام من كمية هائلة من البيانات.

تنقيب البيانات لديها أسماء بديلة .. وهي :-

استخراج المعرفة – اكتشاف المعرفة في قواعد البيانات KDD .

جميع المعلومات وذكاء الاعمال- عام اثار البيانات .

عمليه اكتشاف المعرفة وفق إطار عمل التنقيب في الويب :

تنظيف البيانات .

تكامل و دمج البيانات.

مستودع البيانات من اجل معالجة البيانات.

بناء البيانات المكعبة.

اختيار البيانات.

تمثيل وعرض النتائج.

الانماط والمعرفة التي سيستم تخزينها في قواعد المعرفة.

ماهي المعرفة التي ننقب عنها :-

عند التنقيب سنحصل على خصائص لتنقيب والتي تتضمن :

التعميم .
التصنيف.
العنقدة.
التمييز بين البيانات.
قواعد ارتباط.
تحليل النقاط الخارجة.

التقنيات المستخدمة للتنقيب عن البيانات :

تحليل البيانات مباشره.
تحليل البيانات.
الإحصاء.
تعليم الاله.

مجالات تطبيق التنقيب عن البيانات :
في مجالات التجارة – الاتصالات – الطبية - البنكية – تحليل البيانات.

أنواع التنقيب عن البيانات :

تنبؤي : اكتشاف خصائص جديدة للعناصر.

وصفي : الكشف عن طرق مختلفة للنظر الى عناصر البيانات.

تنقيب البيانات يتضمن عدة أقسام او عدة أشياء وهى بـ أو تخصصات

الاحصائيات – التعرف على الانماط – التعليم الالي – الخوارزميات التطور

التطور - الحوسبة عالية الاداء و تكنلوجيا قواعد البيانات – التطبيقات.

تطبيقات التنقيب عن البيانات :

تحليل صفحة الويب .
التحليل التعاوني وانظمة التوصية.
تحليل البيانات للتشويق المستهدف.
تحليل البيانات البيولوجية والطبية.
التنقيب عنى البيانات وهندسة البرمجيات.

الانظمة و الادوات الرئيسية المخصصة لاستخراج البيانات.

التنقيب في البيانات

التنقيب في البيانات هي استخراج الانماط او المعرفة من كميه هائلة من البيانات وهى ايضاً عمليه تحليل للبيانات وتحتوي هذه البيانات عادة على ما يسمى بالنموذج model حيث انه يطلق على العلاقات والبيانات الملخصة التي يتم الحصول عليها من التنقيب في البيانات.

أنواع التنقيب في البيانات:

التنقيب الوصفي. التنقيب التنبؤي.

ماذا ينتج عن هذه الأنواع :

التنقيب التنبؤي

نحصل عنه نموذج عن النظام الذي البيانات تصفه و المستخدمة في التنقيب عن البيانات.

التنقيب الوصفي

نحصل عنه المعلومات الجديدة بواسطة معلومات موجودة مسبقا داخل البيانات المستخدمة في التنقيب.

أهداف التنقيب :

من أجل تعليل بعض الظواهر المرئية.

من اجل التثبت من نظريه ما.

لا اجل تحليل البيانات و لنحصل على العلاقات الجديدة وغير متوقعة.

تطبيقات التنقيب في البيانات بدأت تنمو بصورة كبيرة للأسباب الأتية :

كمية البيانات الموجودة في مخزن البيانات.
تظهر مؤخراً الكثير من ادوات التنقيب عن البيانات .
المنافسة الشديدة الموجودة في السوق.

كيفية التنقيب للبيانات:

معالجة البيانات وهذه المرحلة تهتم بجمع عده بيانات عدة قواعد بيانات وفحصها التأكد من خلوها من الاخطاء .
تخزين البيانات في مستودع البيانات.
أخذ عينه من البيانات.
اختيار نوع التنقيب سواء وصفي او تنبؤي واختيار الخوارزمية المناسبة .
تنفيذ التنقيب لاستخراج المعارف و الأنماط.
تقييم المعارف المستخرجة وتحديد أي منها مفيد.

وظائف التنقيب في البيانات :

التعميم .
التحليل والارتباط.
التصنيف.
تحليل الكتلة.

تكلم عن التعميم في تنقيب البيانات:

يعد التعميم في البيانات طريقة تلخص مجموعة كبيره من المعلومات ذات الصلة في قاعدة بيانات من مستوى مفاهيمي منخفض الى مستوى اعلى ويقوم ايضاً بتلخيص خيارات الكائنات الأساسية

وفي التعميم تهتم بالنقاط الاتية :-

تكامل البيانات وبناء مستودع البيانات.

تنظيم البيانات وتحويلها.

البيانات متعددة الابعاد.

المعالجة تكون تحليلية عبر النت.

التقييم والتلخيص والتباين بين البيانات.

تكلم عن التحليل والارتباط في التنقيب للبيانات

يكون بين متغيرين او اكثر ويقدم استنتاجات ۔

حول قوة العلاقة ... بشكل مختصر يشير لتحليل ولارتباط الى اي علاقة بين متغيرين بينما غالباً ما يستخدم لارتباط وللإشارة فقط الى علاقه خطيه بين متغيرين.

وتكون الأنماط متكررة.

التصنيف في تنقيب البيانات "يستخدم للتنبؤ بالمستقبل"

التصنيف هو وظيفه استخراج البيانات التي تعين العناصر في مجموعة للفئات.

يهدف التصنيف الى التنبؤ بدقه الفئه المستهدفة لكل حالة في البيانات.

التصنيف يحتاج للخطوات الأتية :

بناء نموذج – استخدام النموذج – تحضير البيانات – تقسم طرق التصنيف.

ماهي الدقة التنبؤية :

هي قدرة النموذج على التنبؤ بتسمية الفئة الجديدة.

التجميع في تنقيب البيانات :

في التجميع يتم تصنيف مجموعة من كائنات البيانات المختلفة ككائنات متشابهة .. تنقسم مجموعات البيانات الى مجموعات مختلفة في التحليل العنقودي والذي يعتمد على تشابه البيانات و بعد تصنيف البيانات الى مجموعات مختلفة يتم تعيين تسمية للمجموعة.

ما هو Principle

في تجميع تنقيب البيانات:

هو تعظيم التشابه داخل الطبقة وتقليله.