ارائه روشي جديد در تشخيص اسناد تقريبا تكراري

كارشناسي ارشد

چكيده با گسترش استفاده از سايت‌هايي نظير سايت‌هاي خبري، وبلاگ‌ها، شبكه‌هاي اجتماعي و سيستم‌هاي پرسش و پاسخ، توليد محتوا در وب روز به روز رو به افزايش است. محتواي توليد شده در بسياري از اين سايت‌ها، بسيار شبيه به هم مي‌باشد كه منجر به توليد صفحات تقريبا تكراري در اينترنت شده است. وجود اين گونه صفحات منجر به وجود اطلاعات تقريبا تكراري در نتايج موتورهاي جستجو شده است كه كارايي اين سيستم‌ها را كاهش مي‌دهد. در نتيجه نياز به روشي كه بتواند اسناد تقريبا تكراري را شناسايي نمايد ضروري به نظر مي‌رسد. مساله‌ي مطرح آن است كه شناسايي اسناد تقريبا تكراري از بين حجم بسيار زياد اسناد وب وقت‌گير و هزينه‌بر مي‌باشد. هدف از اين پروژه ارائه‌ي روشي است كه بتواند با دقت و سرعت بالا اسناد تقريبا تكراري را شناسايي نمايد. روش پيشنهادي بر مبناي دو تابع مشابهت عمل مي‌نمايد: تابع مشابهت كم‌هزينه و پرهزينه. بر اساس معيار مشابهت كم‌هزينه، ابتدا اسناد به گروه‌هايي تقسيم‌بندي مي‌شوند به طوري كه احتمال آن‌كه اسناد متعلق به گروه‌هاي متفاوت تقريبا تكراري يكديگر باشند، بسيار كم باشد. از آنجا كه براي بخش‌بندي از تابع مشابهت كم‌هزينه استفاده مي‌شود، حجم بسيار زياد اسناد با سرعت بالايي به بخش‌هاي كوچكي تقسيم‌بندي مي‌شود. سپس معيار مشابهت پرهزينه بر روي اسناد هر بخش به طور مجزا اعمال مي‌گردد. از آنجا كه تعداد اسناد قرار گرفته در هر بخش كم مي‌باشد، لذا شناسايي اسناد تقريبا تكراري در هر بخش نيز با سرعت بالايي انجام خواهد پذيرفت. كلماتي كه تنها در يك سند ظاهر شده‌اند (كلمات يكتا) و همچنين كلماتي كه در تعداد كمي از اسناد رخ داده‌اند (كلمات كم‌تكرار) به ترتيب به عنوان معيار مشابهت كم‌هزينه و پرهزينه مورد استفاده قرار گرفته‌اند. اين ايده كاملا متضاد با رهيافت‌هاي پيشين مي‌باشد. در روش‌هاي پيشين از كلماتي كه در درصد قابل توجهي از اسناد ظاهر شده‌اند به عنوان معيار مشابهت استفاده شده است. نتايج حاصل از ارزيابي روش پيشنهادي بر روي دو مجموعه داده نشان داد كه كلمات كم‏تكرار در يك سند خصوصيت‌هاي خوبي از سند براي تشخيص محتواي آن مي‌باشند. اين كلمات مي‌توانند با دقت بالايي اسناد با شباهت بالاي محتوايي را تشخيص دهند. از طرفي از آنجا كه تعداد كلمات كم‏تكرار نسبت به كلمات پرتكرار كمتر مي‌باشند، ميزان حافظه‌ي مورد نياز روش پيشنهادي به منظور نگهداري اطلاعات اين كلمات كم مي‌باشد. اين نتايج همچنين نشان داد كه استفاده از ايده‌ي بخش‌بندي اسناد به طور قابل ملاحظه‌اي سرعت روش پيشنهادي را بدون كاهش دقت افزايش مي‌دهد. واژه‌هاي كليدي: اسناد تقريباً تكراري، كم‌تكرار، يكتا، معيار مشابهت كم‌هزينه و پرهزينه، بخش‌بندي

189802

دانشگاه علم و صنعت ايران

نرم‌افزار

دكتر حسن نادري