عنوان
ارائه يك مكانيزم يادگيري تقويتي مناسب براي استفاده در شبيه‌سازي فوتبال دوبعدي
نويسنده اصلي
محمّد غضنفري
مقطع تحصيلي
كارشناسي ارشد
چكيده
چكيده
امروزه موفقيت در محيط¬هاي چندعامله به يكي از چالش¬هاي هوش مصنوعي مبدل گشته است. اين¬گونه محيط¬ها به دليل پويايي ناشي از وجود چند عامل خودمختار بسيار پيچيده¬تر از محيط¬هاي تك عامله مي¬باشند. شبيه¬سازي فوتبال دوبعدي به عنوان يك محيط چند عامله بسيار پيچيده مورد توجه محققان حوزه يادگيري ماشين قرار دارد. موفقيت در اين محيط به واسطه دارا بودن خواصي از جمله پويايي، پيوستگي، عدم قطعيت، داراي خطا بودن، نيمه مشاهده پذيري و ابعاد بسيار بالايي كه دارد، بسيار پيچيده و دشوار مي¬باشد.
يادگيري تقويتي يا RL يادگيري بر اساس تعامل پيوسته عامل با محيط، و استفاده از سعي و خطاي هدايت شده به وسيله بازخورد محيط (پاداش يا تنبيه) مي¬باشد. در اين روش عامل در محيط اعمالي انجام مي¬دهد و به تبع آن¬ها از محيط بازخورد (پاداش) مثبت يا منفي مي¬گيرد. عامل بر اساس اين¬كه در هر حالت از محيط و به ازاي انجام هر عمل چه پاداشي گرفته است، سياست بهينه را در آن محيط مي آموزد.
عليرغم موفقيت¬هاي چشمگير RL در مسائل مختلف، اين روش با چند چالش جدي از جمله عدم مقياس پذيري در برخورد با محيط¬هاي با ابعاد بالا (نحسي ابعاد) روبروست. اين مسئله استفاده از RL را در محيط¬هاي بزرگ و پيچيده مثل شبيه¬سازي فوتبال دشوار مي¬سازند.
از طرفي در بسياري از مسائل نياز به همكاري چند ربات براي انجام دادن يك وظيفه مشترك احساس مي¬شود. متاسفانه با افزايش كارخانجات و آزمايشگاه¬هايي كه اين ربات¬ها را توليد مي¬كنند، هميشه امكان تطبيق اين تيم از عامل¬ها از قبل وجود نخواهد داشت؛ لذا ايجاد توانايي همكاري با عامل¬هاي ناشناس براي يك عامل هوشمند بسيار مفيد است.
در اين پژوهش با پيشنهاد يك مكانيزم يادگيري تقويتي دو لايه سعي در يادگيري همكاري با يك هم¬تيمي ناشناس براي عامل شبيه¬سازي فوتبال دوبعدي به منظور موفقيت در مسئله Half Field Offense را داشته¬ايم.
عامل در يك لايه به يادگيري همكاري با هم¬تيمي¬هاي مختلف مي¬پردازد و سپس در يك لايه بالاتر يادگيري تطبيق سريع با عامل ناشناس بر پايه يادگيري¬هاي لايه اول را انجام مي¬دهد.
اصلي¬ترين چالش در اين كار تطبيق يادگيري تقويتي با محيطي به بزرگي و پيچيدگي شبيه¬سازي فوتبال است. مكانيزم پيشنهاد شده در اين پژوهش به كمك تعريف مناسب ويژگي¬هاي محيط و خلاصه¬سازي اطلاعات توانسته بر ابعاد بالاي محيط غلبه كرده و نتايج آن بهبود چشمگيري نسبت به كارهاي ارائه شده در اين زمينه تا كنون داشته است.
واژه‌هاي كليدي: يادگيري تقويتي، شبيه¬سازي فوتبال دوبعدي، محيط چندعامله، همكاري با عامل ناشناس، خلاصه سازي اطلاعات، Q-Learning، Half Field Offense
شماره ركورد
189140
دانشگاه
دانشگاه علم و صنعت ايران
رشته تحصيلي
هوش مصنوعي و رباتيك
استاد راهنما
دكتر ناصر مزيني - دكتر محمد رضا جاهد مطلق