ارزيابي كاربردپذيري و عملكرد جستجوي چت‌بات‌هاي جميناي و كوپايلت در مقايسه با موتورهاي جستجوي گوگل و بينگ

كارشناسي ارشد

چكيده هدف: هدف پژوهش حاضر، مقايسه كاربردپذيري و عملكرد جستجوي دو چت‌بات جميناي و كوپايلت با دو موتور جستجوي گوگل و بينگ و شناسايي ابزاري با بالاترين سطح كاربردپذيري و عملكرد جستجو در ميان اين چهار ابزار جستجو است. روش: اين پژوهش از نظر هدف، كاربردي و از نظر نحوه گردآوري داده‌ها، توصيفي-پيمايشي است. با توجه به اينكه اين پژوهش در يك مقطع خاص از زمان صورت مي‌‌گيرد، پژوهش حاضر از نوع پيمايشي مقطعي به حساب مي‌آيد. روش مورد استفاده در اين پژوهش از نوع تحقيقات ارزيابانه است. جامعه آماري شامل سه دسته بود: موتورهاي جستجوي عمومي، چت‌بات‌هاي عمومي، و دانشجويان تحصيلات تكميلي. براي نمونه‌گيري از روش‌هاي نمونه‌گيري هدفمند و در دسترس استفاده شد. حجم نمونه برابر با 60 دانشجو (30 دانشجو از دانشكده‌هاي علوم و فناوري هاي زيستي و شيمي و 30 دانشجو از دانشكده علوم تربيتي و روان شناسي) بود. جمع‌آوري اطلاعات با استفاده از چك ليست و پرسش‌نامه صورت گرفت. براي جمع آوري دادههاي عملكرد جستجوي موتورهاي جستجو و چت‌بات‌ها در صحت و سرعت پاسخگويي، چك ليستي تنظيم شد كه حاوي 60 سؤال از سطح آسان به سخت و معيارهاي قضاوت بود. براي جمع‌آوري داده‌هاي كاربردپذيري نيز از پرسش‌نامه SUS استفاده شد. براي تعيين روايي هر دو ابزار از سه نفر از متخصصان رشته علم اطلاعات و دانش شناسي و براي تعيين پايايي پرسشنامه SUS از آلفاي كرونباخ استفاده شد. دادهها نيز به دو روش توسط دانشجويان تحصيلات تكميلي و محقق ثبت و ضبط شد. براي تحليل داده‌ها از روش‌هاي آماري ( مانند ميانگين، درصد، فراواني) و نرم افزار اكسل استفاده شد. يافته‌ها: يافته‌هاي پژوهش نشان مي‌دهد موتور جستجوي گوگل با كسب بالاترين امتياز در مقياس كاربردپذيري (62.54 درصد)، در مقايسه با ساير ابزارهاي مورد بررسي عملكرد بهتري دارد. پس از گوگل، به ترتيب چت‌بات جميناي، موتور جستجوي بينگ، و چت‌بات كوپايلت قرار دارند. در ارزيابي عملكرد جستجو بر اساس سرعت جستجو، چت‌بات جميناي با ميانگين سرعت 10.33 ثانيه، سريع‌ترين ابزار شناخته شد. موتور جستجوي بينگ با 11.30 ثانيه در رتبه دوم، گوگل با 13.73 ثانيه در رتبه سوم، و چت‌بات كوپايلت با 16.46 ثانيه در رتبه آخر قرار دارند. همچنين در پاسخگويي به سؤالات آسان، بينگ با 3.33 ثانيه و در پاسخگويي به سؤالات متوسط و سخت جميناي با 11.28 و 14.50 ثانيه در رتبه نخست قرار دارد. از نظر صحت پاسخگويي، جميناي با دقت 98 درصد، بالاترين ميزان صحت را در ميان ابزارهاي مورد بررسي دارد. پس از آن كوپايلت با 93 درصد، گوگل با 91.46 درصد،و بينگ با 85 درصد به ترتيب در جايگاههاي بعدي قرار دارند. نتايج نشان مي‌دهد كه جميناي به طور كلي دقت بالاتري در پاسخگويي به سؤالات داشته و خطاي كمتري را مرتكب شده است. نتيجه‌گيري: يافته‌هاي پژوهش حاكي از آن است كه در حال حاضر، موتورهاي جستجوي سنتي مانند گوگل همچنان از نظر كاربردپذيري برتري نسبت به چت‌بات‌ها دارند. بااين‌حال، با توجه به پيشرفت‌هاي سريع در حوزه هوش مصنوعي، اين برتري ممكن است در آينده نزديك تغيير كند. چت‌بات‌ها به ويژه در پاسخگويي به سؤالات متوسط و پيچيده، عملكرد بهتري از خود نشان مي‌دهند. نتايج اين پژوهش حاكي از آن است كه چت‌بات‌ها پتانسيل جايگزيني موتورهاي جستجوي سنتي را در آينده دارند. بااين‌حال، براي تحقق اين امر، چت‌بات‌ها بايد در زمينه‌هاي مختلفي مانند دقت، جامعيت و سرعت پاسخگويي بهبود يابند.

230762

دانشگاه اصفهان

علم اطلاعات و دانش شناسي- مديريت اطلاعات

مهرداد چشمه سهرابي