تکنیک‌ها، ابزارها و روش‌های Web Data Mining وب کاوی

اختصاصی از فی توو تکنیک‌ها، ابزارها و روش‌های Web Data Mining وب کاوی دانلود با لینک مستقیم و پر سرعت .

پایان نامه  پروژه  

تکنیک‌ها، ابزارها و روش‌های Web Data Mining

فایل  ورد قایل ویرایش 

125صفحه  ورد word 

فقط  9000تومان 

چکیده

در عصر حاضرWeb Mining  محیط اینترنت جهانی را تبدیل به محیطی کاربردی‌تر کرده است. که کاربران می‌توانند سریع‌تر و راحت‌تر اطلاعات مورد نیازشان را پیدا کنند که شامل : کشف و تحلیل داده، مستندات وmulti media  از محیط اینترنت جهانی می‌باشد.Web Mining  از جزئیات سند و محتویات سند و ساختار Hyper Link برای کمک به کاربر جهت مشاهده اطلاعات مورد نیازش استفاده می‌کند.

وب و موتورهای جستجو خودشان شامل اطلاعات ارتباطی درباره‌ی مستندات هستند وWeb Mining  این ارتباطات را کشف می‌کند و به سه بخش تقسیم بندی می‌نماید.

در اولین بخش Web Content Minin، موتورهای جستجو محتویات را با کلمات کلیدی تعریف می‌کنند و می‌شناسند. پیدا کردن کلمات کلیدی محتوا و پیدا کردن یک ارتباط بین محتوای صفحه‌ی وب و محتوای سوال کاربر، Content Mining گفته می‌شود.

Hyper Links اطلاعاتی را درباره‌ی سایر مستندات روی وب که در سند دیگری مهم هستند تهیه می‌کند. این لینک‌ها عمقی را به سند اضافه می‌کنند و حالت چند بعدی که از خصوصیات وب است ایجاد می‌کنند. کاوش این ساختار لینک دومین بخش یعنیWeb Structure Mining  است.

در نهایت ارتباطی با سایر مستندات روی وب که به وسیله‌ی جستجوی قبلی شناخته شده‌اند، وجود دارد. این ارتباط در صفحه‌های جستجو (log) و دستیابی ذخیره می‌شود. کاوش این Log ها سومین بخش یعنی Web Usage Mining را تشکیل می‌دهد.

درک کاربر اغلب یک بخش مهم از Web Mining است. تحلیل جستجوهای قبلی کاربر، شکلی که کاربر ترجیح می‌دهد اطلاعات پیدا شده را ببیند و سرعت در پاسخ ممکن است در پاسخ دادن به پرس و جوی کاربر موثر باشد.

Web Mining در ماهیت نظم خاصی دارد. پل زدن بین فیلدهایی مثل اطلاعات بازگشتی، پردازش زبان‌های طبیعی، استخراج اطلاعات، Machine Learning، پایگاه داده، داده کاوی، ذخیره‌ی داده، طراحی رابط کاربر و Visual کردن.

در این تحقیق ما به بررسی جنبه‌های مختلفWeb Data Mining  می‌پردازیم.

فهرست مطالب

فصل اول داده کاوی و وب 1

مقدمه. 2

1-1 کاوش داده روی وب... 3

1-2 الگوهای USAGE MINING.. 7

1-3 Web Structure Mining. 8

1-4 در خواست‌ها و جهت‌ها 10

1-5 خلاصه 11

فصل دوم پردازش‌ها و تکنیک‌های web data mining 12

 مقدمه 13

2-1 پردازش web data mining 13

2-2 چرا data mining web؟ 16

2-2-1 مراحل :Data mining 18

2-2-2 چالش‌ها 20

2-3 جنبه‌های واسط کاربر. 21

2-4 خروجی‌ها، متدها و تکنیک‌های web data mining   22

2-4-1 خروجی‌های data mining web 24

2-4-2 پیاده سازی‌های data mining web 27

2-5 data mining در مقابل data mining web   29

2-6 خلاصه 31

فصل سوم کاوش پایگاه داده‌های وب 32

مقدمه 33

3-1 مفهوم کلی جستجوی پایگاه داده‌های وب 33

3-2 توابع مدیریت پایگاه دادة وب و داده کاوی.. 34

3-3 اشتراک داده در مقابل داده کاوی در وب 36

3-4 کاوش پایگاه‌های دادة نیمه ساخت یافته 38

3-5 Web mining و Meta data 43

3-6 کاوش پایگاه داده‌های توزیع شده، ناهمگن، وراثتی و متحد در وب: 48

3-7 معماری‌ها و web data mining 58

3-8 خلاصه 61

فصل چهارم بازیابی اطلاعات و داده کاوی در وب 62

مقدمه 63

4-1 موتورهای جستجوگر. 63

4-2 web data mining برای موتورهای جستجو 65

4-3 پویش داده‌های چندگانه وب 68

4-4 کاوش متن 68

4-5 کاوش تصویر. 72

4-6 کاوش ویدئو 75

4-7 کاوشAudio 77

4-8 کاوش نوع داده‌ی چند رسانه‌ای 79

4-9 سیستم سوال/جواب و داده کاوی وب 82

4-10 زبانهایMark up و داده کاوی وب... 84

4-11 خلاصه 85

فصل پنجم مدیریت اطلاعات و داده کاوی وب... 86

مقدمه 87

5-1 Collaborative- Data mining: 87

5-2 مدیریت دانش‌ها و داده کاوی وب... 89

5-3 محاسبات بی‌سیم و داده کاوی وب... 91

5-4 کیفیت سرویس و داده کاوی وب... 93

5-5 خلاصه 95

فصل ششم کاوش الگوهای کاربردی و ساختار روی وب... 97

مقدمه 98

6-1 خروجی‌ها و تکنیک‌های web usage mining. 99

6-2 تحلیل web usage mining   101

6-3 CRM و کاربردهای تجارت هوشمند 103

6-4 کاوش ساختار روی وب 109

نتیجه گیری.. 111

مراجع 114

فهرست اشکال

فصل اول

شکل 1-1 طبقه بندی Web mining 3

شکل 1-2 : داده کاوی در وب 4

شکل 1-3 Web mining روی پایگاه داده‌ی رابطه‌ای 5

شکل 1-4 : داده کاوی چند رسانه‌ای 5

شکل 1-5 : انبار داده و کاوش در اینترنت... 6

شکل 1-6 : داده کاوی و visualization در اینترنت 7

شکل 1-7 : تحلیل الگوهای بکار رفته و پیش بینی رفتارها 8

شکل 1-8 : کاوش الگو 9

شکل 1-9 : وب کاوی در E-Commerce 10

شکل 1-10: وب کاوی برای موتورهای جستجو. 11

فصل دوم

شکل 2-1: برخی نواحی کاربرد data mining. 16

شکل 2-2: چرا data mining web؟ 17

شکل 2-3: مراحل جستجو. 19

شکل 2-4: پردازش روی نتایج.. 20

شکل 2-5 : برخی چالش‌های Data mining 21

شکل 2-6: مثالی از یک واسط کاربر برای جستجو. 22

شکل 2-7 : وظایف، تکنیک‌ها و روش‌های data mining. 24

شکل 2-8 : خروجی‌های data mining. 26

 شکل 2-9 : برخی پیاده سازی‌های data mining web 28

 شکل 2-10: تکنیک‌های web mining برای E- commerce 30

فصل سوم

شکل 3-1 : جستجو در پایگاه داده‌ها در وب 33

شکل 3-2: مکانیابی و وساطت برای کاوش در پایگاه دادة روی وب. 34

شکل 3-3: داده کاوی شیئی رابطه‌ای.. 35

شکل 3-4: توابع پایگاه داده وب و کاوش.... 36

شکل 3-5 : داده کاوی متحد شده : پیاده سازی I 37

شکل 3-6 : داده کاوی متحد شده: پیاده سازی II 37

شکل 3-7 : اتصال قوی بین داده کاو و DBMS. 39

شکل 3-8 : اتصال ضعیف بین داده کاو و DBMS. 39

شکل 3-9 : استخراج ساختار و سپس کاوش.... 40

شکل 3-10 : کاوش و سپس ادغام. 40

شکل 3-11: داده کاو مشابه یک واسط در یک ارتباط ضعیف DBMS نیمه ساخت یافته. 41

شکل 3-12: مخزن داده بر پایة XML: پیاده سازی 1. 42

شکل 3-13 : مخزن داده بر پایة XML : پیاده سازی 2. 42

شکل 3-14 : کاوش مخازن وب... 43

شکل 3-15: متادیتای استفاده شده در داده کاوی........................................................................................ 44

شکل 3-16: کاوش متادیتا 44

شکل 3-17: انبار و کاوش.... 45

شکل 3-18: متادیتا برای کاوش چند رسانه‌ای.. 46

شکل 3-19: متادیتا برای web mining 46

شکل 3-20 : متادیتا یک انبار مرکزی برای کاوش 47

شکل 3-21: پردازش و کاوش توزیع شده 48

شکل 3-22 : ماژول‌هایی از DP برای داده کاوی 49

شکل 3-23: مثال داده کاوی توزیع شده 49

شکل 3-24: داده کاوی روی پایگاه داده توزیع شده 50

شکل 3-25: داده کاوی روی منابع دادة نا همگن.. 51

شکل 3-26: کاوش و سپس اجتماع 51

شکل 3-27: کاوش interoperating و مخزن 52

شکل 3-28: عامل‌های داده کاوی اجتماعی 53

شکل 3-29: همکاری میان عامل‌های کاوش 53

شکل 3-30: سیستم‌ها کاوش را روی پایگاه دادة اشتراکی انجام می‌دهند. 54

شکل 3-31: واسط برای مجتمع سازی.. 55

شکل 3-32: مهاجرت و سپس کاوش.... 56

شکل 3-33: کاوش پایگاه داده‌های وراثتی.. 56

شکل 3-34: استخراج الگو از پایگاه داده‌ها وراثتی.. 57

 شکل 3-35: معماری 5 مرحله‌ای برای داده کاوی متحد. 58

شکل 3-36: معماری سه ردیفه داده کاو 59

شکل 3-37: encaps lation ماژول‌های داده کاوی مثل اشیاء 59

شکل 3-38: push/ pull و داده کاوی (یک مثال) 60

شکل 3-39: داده کاوی، سرورهای داده و سرورهای کاربردی.. 60

فصل چهارم

شکل 4-1 : موتورهای جستجو و وب سرورها 64

شکل 4-2 : ماژول‌های موتورهای جستجو. 64

شکل 4-3 : اتصال قوی بین وب کاو و موتور جستجو. 67

شکل 4-4 : ارتباط ضعیف بین موتور جستجو و وب کاو 67

شکل 4-5 : تبدیل دادۀ نا ساخت یافته به دادۀ ساخت یافته برای کاوش.... 69

شکل 4-6 : تکمیل سیستم بازیابی اطلاعات 70

شکل 4-7 : کاوش مستقیم روی داده‌های غیر ساخت یافته. 70

شکل 4-8 : طبقه بندی کاوش متن.. 72

شکل 4-9 :کاوش تصویر. 73

شکل 4-10: طبقه‌بندی کاوش تصویر. 74

شکل 4-11 : کاوش متن استخراج شده از داده با فرمت ویدئو. 76

شکل 4-12 : کاوش مستقیم داده با فرمت ویدئو. 76

شکل 4-13 : طبقه بندی کاوش ویدئو. 77

شکل 4-14 : کاوش متن استخراج شده از داده با فرمت صدا 77

شکل 4-15 : کاوش مستقیم داده با فرمت صدا 78

شکل 4-16 : طبقه بندی کاوش صدا 79

شکل 4-17 : کاوش و سپس اجتماع 80

شکل 4-18 : اجتماع و سپس کاوش 81

شکل 4-19 : کاوش داده‌ی چند رسانه‌ای 82

شکل 4-20 : سیستم سوال/ جواب + موتور جستجو + وب کاو 84

 شکل 4-21 : ارتباط قوی بین پایگاه داده‌ی XML و داده / وب کاو 85

شکل 4-22 : ارتباط ضعیف بین پایگاه داده‌ی XML و داده / وب کاو 85

فصل پنجم

شکل 5-1 : همکاری بین عامل‌های کاوش 87

 شکل 5-2 : همکاری تیم‌ها در استفاده از پایگاه داده‌های مشترک برای کاوش 88

شکل 5-4 : مدیریت دانش و داده کاوی وب 90

شکل 5-5 : آموزش و داده کاوی وب 91

شکل 5-6 : مدیریت اطلاعات بی سیم و داده کاوی وب... 93

 شکل 5-7 : Qos  و داده کاوی وب 94

شکل 5-8 : اجتماع سرویس‌های وب و داده کاوی.. 95

فصل ششم

شکل 6-1 : تحلیل الگوهای کاربردی و روندهای پیش‌بینی 98

 شکل 6-2: خروجی‌ها و تکنیک‌های داده کاوی 101

شکل 6-3: انواع تحلیل.. 103

شکل 6-4 : web mining برای e-commerce. 108

شکل 6-5 : بازبینی web structure mining. 109

شکل 6-6: خروجی‌های web structure mining. 110