پایان نامه پروژه
تکنیک‌ها، ابزارها و روشهای Web Data Mining
فایل ورد قایل ویرایش
125صفحه ورد word
فقط 9000تومان
چکیده
در عصر حاضرWeb Mining محیط اینترنت جهانی را تبدیل به محیطی کاربردی‌تر کرده است. که کاربران می‌توانند سریع‌تر و راحت‌تر اطلاعات مورد نیازشان را پیدا کنند که شامل : کشف و تحلیل داده، مستندات وmulti media از محیط اینترنت جهانی می‌باشد.Web Mining از جزئیات سند و محتویات سند و ساختار Hyper Link برای کمک به کاربر جهت مشاهده اطلاعات مورد نیازش استفاده می‌کند.
وب و موتورهای جستجو خودشان شامل اطلاعات ارتباطی درباره‌ی مستندات هستند وWeb Mining این ارتباطات را کشف می‌کند و به سه بخش تقسیم بندی می‌نماید.
در اولین بخش Web Content Minin، موتورهای جستجو محتویات را با کلمات کلیدی تعریف می‌کنند و می‌شناسند. پیدا کردن کلمات کلیدی محتوا و پیدا کردن یک ارتباط بین محتوای صفحه‌ی وب و محتوای سوال کاربر، Content Mining گفته می‌شود.
Hyper Links اطلاعاتی را درباره‌ی سایر مستندات روی وب که در سند دیگری مهم هستند تهیه می‌کند. این لینک‌ها عمقی را به سند اضافه می‌کنند و حالت چند بعدی که از خصوصیات وب است ایجاد می‌کنند. کاوش این ساختار لینک دومین بخش یعنیWeb Structure Mining است.
در نهایت ارتباطی با سایر مستندات روی وب که به وسیله‌ی جستجوی قبلی شناخته شده‌اند، وجود دارد. این ارتباط در صفحه‌های جستجو (log) و دستیابی ذخیره می‌شود. کاوش این Log ها سومین بخش یعنی Web Usage Mining را تشکیل می‌دهد.
درک کاربر اغلب یک بخش مهم از Web Mining است. تحلیل جستجوهای قبلی کاربر، شکلی که کاربر ترجیح می‌دهد اطلاعات پیدا شده را ببیند و سرعت در پاسخ ممکن است در پاسخ دادن به پرس و جوی کاربر موثر باشد.
Web Mining در ماهیت نظم خاصی دارد. پل زدن بین فیلدهایی مثل اطلاعات بازگشتی، پردازش زبانهای طبیعی، استخراج اطلاعات، Machine Learning، پایگاه داده، داده کاوی، ذخیره‌ی داده، طراحی رابط کاربر و Visual کردن.
در این تحقیق ما به بررسی جنبه‌های مختلفWeb Data Mining می‌پردازیم.
فهرست مطالب
1-4 در خواست‌ها و جهت‌ها 10
1-5 خلاصه 11
فصل دوم پردازش‌ها و تکنیک‌های web data mining 12
2-2-1 مراحل :Data mining 18
2-4 خروجی‌ها، متدها و تکنیک‌های web data mining 22
2-4-1 خروجی‌های data mining web 24
2-4-2 پیاده سازی‌های data mining web 27
2-5 data mining در مقابل data mining web 29
2-6 خلاصه 31
فصل سوم کاوش پایگاه داده‌های وب 32
3-1 مفهوم کلی جستجوی پایگاه داده‌های وب 33
3-2 توابع مدیریت پایگاه دادة وب و داده کاوی.. 34
3-3 اشتراک داده در مقابل داده کاوی در وب 36
3-4 کاوش پایگاه‌های دادة نیمه ساخت یافته 38
3-5 Web mining و Meta data 43
3-6 کاوش پایگاه داده‌های توزیع شده، ناهمگن، وراثتی و متحد در وب: 48
3-7 معماری‌ها و web data mining 58
3-8 خلاصه 61
فصل چهارم بازیابی اطلاعات و داده کاوی در وب 62
مقدمه 63
4-1 موتورهای جستجوگر. 63
4-2 web data mining برای موتورهای جستجو 65
4-3 پویش داده‌های چندگانه وب 68
4-4 کاوش متن 68
4-5 کاوش تصویر. 72
4-6 کاوش ویدئو 75
4-8 کاوش نوع داده‌ی چند رسانه‌ای 79
4-9 سیستم سوال/جواب و داده کاوی وب 82
4-10 زبانهایMark up و داده کاوی وب... 84
فصل پنجم مدیریت اطلاعات و داده کاوی وب... 86
مقدمه 87
5-1 Collaborative- Data mining: 87
5-2 مدیریت دانش‌ها و داده کاوی وب... 89
5-3 محاسبات بی‌سیم و داده کاوی وب... 91
5-4 کیفیت سرویس و داده کاوی وب... 93
فصل ششم کاوش الگوهای کاربردی و ساختار روی وب... 97
6-1 خروجی‌ها و تکنیک‌های web usage mining. 99
6-2 تحلیل web usage mining 101
6-3 CRM و کاربردهای تجارت هوشمند 103
6-4 کاوش ساختار روی وب 109
فهرست اشکال
فصل اول
شکل 1-1 طبقه بندی Web mining 3
شکل 1-3 Web mining روی پایگاه داده‌ی رابطه‌ای 5
شکل 1-4 : داده کاوی چند رسانه‌ای 5
شکل 1-5 : انبار داده و کاوش در اینترنت... 6
شکل 1-6 : داده کاوی و visualization در اینترنت 7
شکل 1-7 : تحلیل الگوهای بکار رفته و پیش بینی رفتارها 8
شکل 1-8 : کاوش الگو 9
شکل 1-9 : وب کاوی در E-Commerce 10
شکل 1-10: وب کاوی برای موتورهای جستجو. 11
فصل دوم
شکل 2-1: برخی نواحی کاربرد data mining. 16
شکل 2-2: چرا data mining web؟ 17
شکل 2-4: پردازش روی نتایج.. 20
شکل 2-5 : برخی چالش‌های Data mining 21
شکل 2-6: مثالی از یک واسط کاربر برای جستجو. 22
شکل 2-7 : وظایف، تکنیک‌ها و روشهای data mining. 24
شکل 2-8 : خروجی‌های data mining. 26
شکل 2-9 : برخی پیاده سازی‌های data mining web 28
شکل 2-10: تکنیک‌های web mining برای E- commerce 30
فصل سوم
شکل 3-1 : جستجو در پایگاه داده‌ها در وب 33
شکل 3-2: مکانیابی و وساطت برای کاوش در پایگاه دادة روی وب. 34
شکل 3-3: داده کاوی شیئی رابطه‌ای.. 35
شکل 3-4: توابع پایگاه داده وب و کاوش.... 36
شکل 3-5 : داده کاوی متحد شده : پیاده سازی I 37
شکل 3-6 : داده کاوی متحد شده: پیاده سازی II 37
شکل 3-7 : اتصال قوی بین داده کاو و DBMS. 39
شکل 3-8 : اتصال ضعیف بین داده کاو و DBMS. 39
شکل 3-9 : استخراج ساختار و سپس کاوش.... 40
شکل 3-10 : کاوش و سپس ادغام. 40
شکل 3-11: داده کاو مشابه یک واسط در یک ارتباط ضعیف DBMS نیمه ساخت یافته. 41
شکل 3-12: مخزن داده بر پایة XML: پیاده سازی 1. 42
شکل 3-13 : مخزن داده بر پایة XML : پیاده سازی 2. 42
شکل 3-14 : کاوش مخازن وب... 43
شکل 3-18: متادیتا برای کاوش چند رسانه‌ای.. 46
شکل 3-19: متادیتا برای web mining 46
شکل 3-20 : متادیتا یک انبار مرکزی برای کاوش 47
شکل 3-21: پردازش و کاوش توزیع شده 48
شکل 3-22 : ماژول‌هایی از DP برای داده کاوی 49
شکل 3-23: مثال داده کاوی توزیع شده 49
شکل 3-24: داده کاوی روی پایگاه داده توزیع شده 50
شکل 3-25: داده کاوی روی منابع دادة نا همگن.. 51
شکل 3-26: کاوش و سپس اجتماع 51
شکل 3-27: کاوش interoperating و مخزن 52
شکل 3-28: عامل‌های داده کاوی اجتماعی 53
شکل 3-29: همکاری میان عامل‌های کاوش 53
شکل 3-30: سیستم‌ها کاوش را روی پایگاه دادة اشتراکی انجام می‌دهند. 54
شکل 3-31: واسط برای مجتمع سازی.. 55
شکل 3-32: مهاجرت و سپس کاوش.... 56
شکل 3-33: کاوش پایگاه داده‌های وراثتی.. 56
شکل 3-34: استخراج الگو از پایگاه داده‌ها وراثتی.. 57
شکل 3-35: معماری 5 مرحله‌ای برای داده کاوی متحد. 58
شکل 3-36: معماری سه ردیفه داده کاو 59
شکل 3-37: encaps lation ماژول‌های داده کاوی مثل اشیاء 59
شکل 3-38: push/ pull و داده کاوی (یک مثال) 60
شکل 3-39: داده کاوی، سرورهای داده و سرورهای کاربردی.. 60
فصل چهارم
شکل 4-1 : موتورهای جستجو و وب سرورها 64
شکل 4-2 : ماژول‌های موتورهای جستجو. 64
شکل 4-3 : اتصال قوی بین وب کاو و موتور جستجو. 67
شکل 4-4 : ارتباط ضعیف بین موتور جستجو و وب کاو 67
شکل 4-5 : تبدیل دادۀ نا ساخت یافته به دادۀ ساخت یافته برای کاوش.... 69
شکل 4-6 : تکمیل سیستم بازیابی اطلاعات 70
شکل 4-7 : کاوش مستقیم روی داده‌های غیر ساخت یافته. 70
شکل 4-8 : طبقه بندی کاوش متن.. 72
شکل 4-9 :کاوش تصویر. 73
شکل 4-10: طبقه‌بندی کاوش تصویر. 74
شکل 4-11 : کاوش متن استخراج شده از داده با فرمت ویدئو. 76
شکل 4-12 : کاوش مستقیم داده با فرمت ویدئو. 76
شکل 4-13 : طبقه بندی کاوش ویدئو. 77
شکل 4-14 : کاوش متن استخراج شده از داده با فرمت صدا 77
شکل 4-15 : کاوش مستقیم داده با فرمت صدا 78
شکل 4-16 : طبقه بندی کاوش صدا 79
شکل 4-17 : کاوش و سپس اجتماع 80
شکل 4-18 : اجتماع و سپس کاوش 81
شکل 4-19 : کاوش داده‌ی چند رسانه‌ای 82
شکل 4-20 : سیستم سوال/ جواب + موتور جستجو + وب کاو 84
شکل 4-21 : ارتباط قوی بین پایگاه داده‌ی XML و داده / وب کاو 85
شکل 4-22 : ارتباط ضعیف بین پایگاه داده‌ی XML و داده / وب کاو 85
فصل پنجم
شکل 5-1 : همکاری بین عامل‌های کاوش 87
شکل 5-2 : همکاری تیم‌ها در استفاده از پایگاه داده‌های مشترک برای کاوش 88
شکل 5-4 : مدیریت دانش و داده کاوی وب 90
شکل 5-5 : آموزش و داده کاوی وب 91
شکل 5-6 : مدیریت اطلاعات بی سیم و داده کاوی وب... 93
شکل 5-7 : Qos و داده کاوی وب 94
شکل 5-8 : اجتماع سرویس‌های وب و داده کاوی.. 95
فصل ششم
شکل 6-1 : تحلیل الگوهای کاربردی و روندهای پیش‌بینی 98
شکل 6-2: خروجی‌ها و تکنیک‌های داده کاوی 101
شکل 6-4 : web mining برای e-commerce. 108
شکل 6-5 : بازبینی web structure mining. 109
شکل 6-6: خروجی‌های web structure mining. 110
تکنیک‌ها، ابزارها و روشهای Web Data Mining وب کاوی
