خلاصه:
در این بخش، به گوگل خواهم پرداخت، یک نمونة اصلی از یک موتور جستجوی در مقیاس وسیع که استفاده وسیعی از ساختار اراده شده در فوق متنی می کند. گوگل برای جستجو و یافتن (Crawl) و شاخص بندی وب به طور مؤثر و تولید نتایج هرچه رضایت بخش تر نسبت به سیستم های موجود طراحی شده است. این نمونه اصلی با پایگاه داده ای متشکل متن و فوق پیوند کامل 24 میلیون صفحه در http://google.standard.edi/ موجود می باشد. مهندسی یک موتور جستجو یک وظیفة چالش آور است. موتورهای جستجو دهها تا صدها میلیون صفحه وب متشکل از تعداد قابل ملاحظه ای موضوعهای متفاوت را شاخص بندی می کنند و پاسخ گوی دهها میلیون پرس و جو به صورت روزانه هستند. بر خلاف اهمیت بالای موتورهای جستجوی برروی وب تحقیقات آکادمیک بسیار اندکی برروی آنها صورت گرفته است (در کشور عزیز ما دقیقاً هیچ مطالعه و تحقیقی صورت نگرفته است). علاوه بر این به دلیل سرعت پیشرفت تکنولوژی وب، امروزه ساخت یک موتور جستجو مسبت به سه سال پیش بسیار متفاوت است. این بخش به بررسی و توصیف عمقی این موتور جستجوی وب در مقیاس وسیع می پردازد. جدای از مشکلات تغییر مقیاس تکنیکهای جستجوی قدیمی داده با این وسعت، چالشهای تکنیکی جدیدی در زمینه استفاده از اطلاعات اضافی ارائه شده در فوق متن برای تولید نتایج جستجوی بوجود آمده است. این بخش به این که چگونه می توان یک سیستم در مقیاس وسیع عملی که بتواند اطلاعات اضافی ارائه شده در فقو متن را استخراج کند را تولید کرد، پاسخ خواهد گفت. همچنین ما به این مشکل که چگونه می توان با مجموعه های فوق متن کنترل نشده (هر کسی می تواند هر چه خواست بنیسد) کنار آمد، نیز دقت خواهیم کرد.
1. معرفی
وب چالشهای جدیدی برای بازیابی اطلاعات ایجاد می کند. حجم اطلاعات موجود برروی وب به سرعت در حال افزایش است و به همان نسبت تعداد کاربران جدید که در جستجوی وب بی تجربه هستند افزایش می یابد. مردمی که احتمالاً وب را از طریق گراف پیوند آن مرور می کنند، اغلب کار خود را با شاخصهای ذخیره شده با کیفیت بالای انسانی مانند یاهو! یا موتورهای جستجو شروع می کنند. لیتهاس ذخیره و نگهداری شده توسط انسانی موضوعهای معروف را به طور موثری پوشش می دهند اما شخصی بودن، گران و پرهزینه بودن برای ساخت و نگهداری، کندی در پیشرفت و ناتوانی در پوشش موضوعهای مبهم و پیچیده از عیبتهای عمده آنها محسوب می شود. موتورهای جستجو بر پایة هم خوانی کلمات کلیدی معمولاً نتیج را با کیفیت بسیار پایین برمی گرداند. برای بهتر شدن شرایط، بعضی شرکتهای تبلیغاتای تلاش وسیعی برای بدست آوردن نظر مردم از طریق گمراه کردن موتورهای جستجوی اتوماتیک می کنند. اقایان سرگی برین و لاورنس پیج موتور جستجوی در مقیاس وسیعی ساخته اند که به تعداد زیادی از مشکلات سیستم های موجود پرداخته است. و آن استفاده وسیعی از این ساختمام ارائه شده در فوق متن می کند به منظور فراهم کردن نتایج جستجوی با کیفیت بالاتر، اسیم این سیستم، گوگل، انتخاب شده است. زیرا گوگل تلفظ معمول googol یا 10100 است و بسیار مناسب هدف ما برای ساختن یک موتور جستجوی بسیار در مقیاس وسیع است.
1.1 موتورهای جستجوی وب – گسترش یافتن: 1994-2001
تکنولوژی موتورهای جستجو باید به میزان زیادی تغییر پیدا می کرد تا بتواند هماهنگی خود را با گسترش وب حفظ کند. در 1994، یکی از اولین موتورهای جستجوی وب یعمی کرم وب گسترة جهانی (WWWW) شاخصی از000/110 صفحه وب و اسناد در دسترس وب داشت. از نوامبر 1998 موتورهای جستجوی برتر ادعای شاخص بندی از 2 میلیون (WebCrawler) تا 100 میلیون (از (Search Engine Watch صفحه وب و سند را داشتند. قابل پیش بینی است که تا سال 2001 یک شاخص جامع از وب شامل بیش از دو میلیارد سند باشد. در همان زمان تعداد پرس و جوهایی که موتورهای جستجو اداره می کنند به طور شگفت آوری افزایش می یابد. در ماه مارس و آوریل 1994، کرم وب گستره جهانی (wwww) به طور روزانه حدوداً 1500 پرس و جو را دریافت می کرد. در ماه نوامبر 1998، آلتاویستا (Altavista) اظهار داشت که روزانه حدود 20 میلیون پرس و جو را اداره می کند. با افزایش تعداد کاربران وب و سیستمهای اتوماتیک که از موتورهای جستجو پرس و جو می کنند به نظر می رسد که تا سال 2001 موتورهای جستجو صدها میلیون پرس و جو را اداره خواهند کرد. هدف سیستم گوگل توجه به بسیاری از مشکلات کیفیتی و مقیاس پذیری است که با عرضه تکنولوژی موتورهای جستجوی اینترنتی به میزان زیادی گسترش یافته اند.
1.2.1 گوگل: تغییر دادن وب
این موتور جستجوایی که در سطح وب امروز باشد چالشهای بسیاری را پدید می آورد. تکنولوژی جستجو و یافتن سریع برای جمع آوری و به روز رسانی سندهای وب لازمی می باشد. فضای ذخیره سازی بهید به طور کارآمدی برای ذخیره شاخصها و به طور اختیاری خود سندها بکار گرفته شود. سیستم شاخص بندی باید صدها گیگا بایت داده را به طور کارآمد پردازش کند. پرس و جحوها باید به سرعت اداره شوند (با نرح صدها تا هزاران پرس و جو در ثانیه).
همان گونه که وب گسترش می یابد این وظایف نیز به طور صعودی مشکل می شوند. اگرچه عملکرد سخت افزار و هزینه ها به طور چشمگیری بهبود یافته اند و تا حدی از این سختی را تعدیل کرده اند. با این وجود تعدادی استثنای قابل اشاره نیز مانند زمان استوانه یابی دیسک و قابلیت ادامه کار در شرایط غیرمنتظره سیستم عامل وجود دارند. در طراحی گوگل هر دو مسئلهع گسترش وب و تغییرات تکنولوژیک در نظر گرفته شده اند. گ.گل برای تغییر مقیاس دادن مجموعه داده ها به خوبی طراحی شده است و از فضای ذخیره سازی به طور مؤثری استفاده می کند. ساختمان داده های آن برای دسترسی سریع بهینه سازی شده اند (به بخش 4.2 نگاه کنید). علاوه بر این، هزینه شاخص بندی و ذخیره متن یا HTML نهایتاً بستگی نمسبی به میزان در دسترسی آنها دارد و این بر تغییر مقیاس منتاسب برای سیستم های متمرکز شده مانند گوگل تاثیرگذار است.
.3.1 اهداف طراحی
.1.3.1 کیفیت جستجوی بهینه شده
هدف اصلی در طراحی گوگل بهینه کردنم موتورهای جستجوی وب است. در سال 1994، بعضی از مردم تصور می کردند یک شاخص جستجوی کامل امکان یافتن هر چیزی را میسر می سازد. بر طبق مقالة بهترینهای وب 1994 – پیمایشگرها و «بهترین سرویس پیمایشی باید امکان یافتن تقریباً هر چیزی را به آسانی فراهم کند (هنگامی که تمام داده ها وارد شدند)». اگرچه وب 1999 کاملاً متفاوت است. هر کسی که اخیراً از یک موتور جستجو استفاده کرده باشد به سادگی در می یابد که کامل بودن شاخص تنها عامل مؤثر بر کیفیت نتایج جستجو نمی باشد. «نتایج آشغال» اغلب تمام نتایج مورد علاقه کاربر را خراب می کنند. در حقیقت در نوامبر 1999، تنها یکی از چهار مکوتور تجاری برتر نتایج را خودش می یابد (در پاسخ در ده نتیجه برتر، صفحه جستجو شده خودش را برمی رگداند). یکی از دلایل اصلی این مشکل این است که تعداد سندهای موجود در شاخصها به دلایل روشنی افزایش پیدا کرده اند اما توانایی کاربر بریا یافتن و نگاه کردن اسناد پیشرفت نکرده است. مردم هنوز خواستار نتیجه اول جستجو هستند. به همین دلیل، همان طور کهئ اندازة مجموعه گسترش می یابد، به ابزارهایی که دقت بسیار بالایی دارند نیاز بیشتری پیدا می شود (تعداد اسناد مربوط و مناسب برگردانده شده، در بین ده نتیجه برتر می آید). در واقع، گوگل می خواهد مفهوم «مناسب» فقط شامل بهترین اسناد باشد درحالیکه ممکن است، ده ها هزار سند تقیرباً وجود داشته باشد. خوش بینی های جدیدی در زمینه بهبود عملکرد موتورهای جستجو و سایر برنامه های اجرایی با استفاده بیشتر از اطلاعات فوق متنی بوجود آمده است
[Kleinberg 98]. علی الخصوص، ساختمان پیوندها [Page 98] و نوشته پیوندها اطلاعات زیادی برای قضاوت مناسب و فیلترینگ کیفیت فراهم می کند. گوگل از هر دوی ساختمان پیوند و متن انکر استفاده می کند.
.2.3.1 تحقیقات موتور جستجوی آکادمیک
جدای از گسترش بسیار زیاد، وب به طور افزایشی در طول زمان حالت تجاری به خود گرفته است، در سال 1993، %5/1 از سرویس دهندگان وب بر دامنه .com قرار داشتند. این مقدار در سال 1998 به %60 رسید. در همان زمان، موتورهای جستجو از حوزة آکادمیک به تجاری کوچ کردند. تا امروز اغلب پیشرفتهای موتورهای جستجو در شرکتهایی صورت می گیرد که حداقل میزان انتشار جزئیات را دارند. این باعث می شود تکنولوژی موتور جستجو تا حد زیادی مثل جادوی سیاه مخفی باقی بماند و گرایش تبلیغاتی پیدا کند. با گکوگل، سعی شده است تا پیشرفت و فهم بیشتری در قلمرو آکادمیک صورت گیرد.
یکی دیگر از اهداف طراحی ساخت سیستمهایی بود که تعداد قابل قبولی از مردم می توانند استفاده کنند. قابلیت کاربری در طراحی بسیار مهم بوده است زیرا بنظر می آید که اغلب تحقیقات جالب شامل تأثیر استفاده گسترده از سیستمهای مدرن وب در دسترس هستند می باشد. برای مثال، هر روز دهها میلیون جستجو اجرا می شوند. اگرچه، بدست آوردن این داده ها مشکل است، بیشتر به این دلیل که با توجه به جوانب اقتصادی این داده ها ارزشمند هستند.
هدف نهایی طراحی گوگل ساخت یک معماری که قابلیت پشتیبانی از فعالیتهای تحقیق نوظهور برردی داده های در مقیاس وسیع وب را داشته بوده است. برای پشتیبانی از استانداردهای تحقیقاتی نوول، گ.گل تمام اسناد فعلی را که جستجو می کند و می یابد به صورن فشرده ذخیره می کند. یکی از اهداف اصلی طراحی گوگل بوجود آوردن محیطی بود تا سایر محققات بتوانند به سرعت وارد شده، قسمت بزرگی از وب را پردازش کرئه و نتایج جالب توجهی را تولید کنند که در غیر این صورت تولدی آنها غیر ممکن باشد. در مدت زمان کوتاهی سیستم به جایی رسید که تعداد زیادی مقاله و تحقیق با استفاده از پایگاه داده گ.گل ایجاد شده بودند و بسیاری دیگر، در دست اقدام هستند. هدف دیگر بوجود آوردن یک محیط لابراتوار مانند بود که محققان و حتی دانشجویان بتوانند تجربیات جالب و پیشنهادات مفیدی برروی داده های وب در مقیاس وسیع گوگل داشته باشند.
2. ویژگیهای سیستم
موتور جستجوی گوگل دو ویژگی مهم دارد که به تولید نتایج با وضوح و دقت بالا کمک می کند. اول، گوگل از ساختار پیوند وب برای محاسبه رتبه بندی کیفیت برای هر صفحه وب استفاده می کند. این رتبه بندی، رتبه صفحه نامیده می شود. دوم، گوگل از پیوند برای بهبود نتایج جستجو بهره می گیرد.
1.2- رتبه صفحه: نظم بخشیدن به وب
گراف فراخوانی (پیوند) وب یک منبع بسیار مهم است که توسط موتورهای جستجوی وب کنونی بی استفاده مانده است. گوگل نقشه هایی شامل بیش از یک میلیارد از این فقو پیوندها که نمونه ای چشمگیر از کل هسته را بوجود آورده است. این نقشه ها اجازه محاسبه سریع «رتبه صفحه» یک صفحه وب را می دهند، یک معیار عینی که اهمیت اشاره به آن برابر با تصویر ذهنی مردم از اهمیت است. بخاطر این تطابق، رتبه یک صفحه راه عالی برای اولویت دادن به نتایج جستجوهای کلمه کلیدی در وب. برای اغلب موضوعهای معروف یک نوشته ساده متناظر با جستجحو است به این معنی که محدود به تیترهای صفحات باشد یعنی زمانی که نتایج جتوسط رتبه بندی صفحه اولویت بندی می شوند به طور قابل تحسینی اجرا می شوند. برای جستجوهای کاملاً متنی نیز در سیستم اصلی گوگل رتبه بندی صفحه کمک قابل ملاحظه ای می کند.
1.2.2. توصیف محاسبه رتبه صفحه
منابع نوشته آکادمیک در وب عمدتاً از طریق شمارش نوشته ها یا پیوندهای بازگشتی به یک صفحه خاص به کار گرفته شده اند. این کار تقریبی از اهمیت یا کیفیت صفحه به دست می دهد. رتبه بندی صفحه این مفهوم را از طریق نرمال سازی بوسیله تعداد پیوندها در یک صفحه و نه شمارش پیوندها به طور مساوی در تمام صفحات، گسترش می دهد، رتبه بندی صفحه به صورت زیر تعریف می شود:
در نظر بگیرید که صفحات TN…T1 به صفحه a اشاره می کند (یعنی منبع هستند). پارامتر d یک گامل محدود ساز است که می تواند بین 0 تا 1 تنظیم شود و اغلب d با مقدار 0.85 تنظیم می شود. توضیحات بیشتر در مورد d در بخش بعید اارئه می شود. بنابراین C(A) به عنوان تعداد صفحاتی که از صفحه A خارج می شوند، تعریف می شود. رتبه صفحه A به صورت زیر داده می شود.
RR (A)=)1-d)+d(PR(T1)/C(T1)+…+PR(Tn)/C(Tn))
توجه کنید که رتبه های صفحه یک توضیح احتمالی برروی صفحات می دهد، بنابراین مجموع رتبه های تمام صفحات وب یک (1) خواهد بود.
رتبه صفحه یا PR(a) می تواند بوسیلة یک الگوریتم تکرار ساده محاسبه شود و با بردار خاص اصلی از ماتریس پیوند نرمال شده از وب تطابق داده شود. بنابراین، رتبه بندی صفحه 26 میلیون صفحه وب می تواند در کمتر از چند ساعت برروی یک ایستگاه کاری متوسط محاسبه شود. بسیاری جزئیات دیگری هستند که از محدوده این مقاله خارج است.
2.1.2. توجیه شهودی
رتبه صفحه می تواند به عنوان یک مدل از رفتار عملکرد کاربر فرض شود. فرض می کنیم که یه «مرورگر تصادفی» وجود دارد چکه یک صفحه به طور تصادفی به او داده می شود و او برروی پیوندها کلیک می کند و هیچگاه دکمه (BACK) را نمی زند اما سرانجام خسته می شود و از یک صفحه تصادفی دیگر کار خود را ادامه می دهد. احتمال اینکه این مرورگر تصادفی یک صفحه را ملاقات کند رتبه آن صفحه می باشد و d یعنی عامل محدودساز احتمال این است که آن «مرورگر تصادفی» از هر نسخهع خسته شود و تقاضای یک صفحه تصادفی دیگر بکند. تفاوت مهم این است که عامل محدودساز d را تنها یک صفحه، یا گروهی از صفحات اضافه کنیم. این کار امکان شخصی سازی را ایجاد می کند و تقریباً گمراه کردن عمدی سیستم به منظور بدست آوردن یک رتبه بالاتر را غیرممکن می سازد. گوگل انشعابات متعدد دیگری برای رتبه بندی صفحه دارد که از محدوده این نوشته خارج است.
توجیه شهودی دیگر این است که یک صفحه می توان یک رتبه صفحه بالا داشته باشد اگر صفحات زیادی به آن اشاره کنند یا صفحاتی وجود دارند که به آن اشاره می کنند و خود رتبه صفحه بالایی دارند. به ضوح، صفحاتی که به خوبی از جاهای محتلفی از وب تکرار می شوند ارزش نگاه کردن دارند. همچنین، صفحاتی که ممکن است یک احضار از طرف جایی مانند صفحه خانگی یاهو! داشته باشند عموماً ارزش نگاه کردن دارند. اگر یک صفحه کیفیت بالایی نداشته باشد یا یک پیوند شکسته شده باشد به احتمال زیاد صفحه خانگی یاهو! به آن پیوند نمی شود. ضمناً رتبه بندی صفحه هر دوی این حالات و حالات دیگر را با وزن دهی تبلیغی به طور بازگشتی از طریق ساختار پیوند وب انجام می دهد.
.2.2 متن انکر (Anchor)
در موتور جستجوی گوگل با نوشتة پوندها به شیوه های خاصی برخورد می شود. اغلب موتورهای جستجو نوشته یک پویند را به صفحه ای که پیوند در آن است مربوط می سازند. گ.گل علاوه بر این نوشته پیوند را به صفحه ای که به آن اشاره می کند نمیز مربوط می سازد. این کار منافع زیادی دارد. اول، انکرها اغلب توصیف دقیق تری از صفحات وب نسبت به خود صفحات ارائه می دهند. دوم، انکرها ممکن است برای سندهایی که نمی توانند توسط موتورهای جستجوی بر پایه متن شاخص بندی شوند وجود داشته باشندذ. مانند عکسها، برنامه ها، و پایگاه ها داده. این کار در حقیقت امکان بازگرداندن صفحاتی را که عمل جستجو و دانلود (Crawl) برروی آنها صورت نگرفته است را می دهد. توجه کنید که صفحاتی که عمل جستجو و دانلود برروی آنها صورت نگرفته است می توانند ایجاد مشکل کنند از آنجا که آنها هیچ گاه برای صحت و اعتبار منطقی قبل از برگردانده شدن به کاربر چک نمی شود. در این حالت موتور جستجو حتی می تواند صفحه ای را که اصلاً وجود ندارد اما فوق پیوندها به آن اشاره می کنند بازگرداند. اگرچه امکان دسته بندی نتایج وجوود دارد درنتیجه این مشکل خاص به ندرت اتفاق می افند.
ایده متن انکر تبلیغاتی به صفحه ای که به آن باز می گرئئ توسط کرم وب گسترده جهانی (WWWW) تحقق پیدا کرد. زیرا این متن به جستجوی اطلاعات غیرمتنی و گسترش دامنه جستجو با سندهای دانلودی کمتر کمک می کند. گوگل به این دلیل از انکر تبلیغاتی استفاده می کند که متن انکر می تواند در فراهم کردن کیفیت بهتر نتایج کمک کند. استفاده مفید از متن انکه به دلیل حجم بالای که باید پردازش شود از نظر تکنیکی مشکل است. در مجموعه جستوجو و یافته شده حال حاضر گوگل که شامل 240 میلیون صفحه است بیش از دو و نیم میلیارد انکر شاخص بندی شده وجود دارد.
فرمت این مقاله به صورت Word و با قابلیت ویرایش میباشد
تعداد صفحات این مقاله 31 صفحه
پس از پرداخت ، میتوانید مقاله را به صورت انلاین دانلود کنید
دانلود مقاله آناتومی یک موتور جستجو وب فوق متنی در مقیاس وسیع
