طراحي مسير بهينه براي رباتهاي چرخدار زميني در محيط هاي ناشناخته با استفاده از يادگيري تقويتي و ميدان پتانسيل

كارشناسي ارشد

در اين پايان¬نامه، راه¬كاري براي طراحي مسير كه يكي از مهم¬ترين چالش¬هاي ربات¬هاي چرخ¬دار است، معرفي شده¬است. محيط¬ عملياتي ربات¬ها به¬صورت ناشناخته است. بنابراين واحد طراحي مسير بايد در هر گام، قادر به طراحي كوتاه¬ترين مسير تا هدف با توجه به اطلاعات محلي ربات و ديگر اعضاي گروه، به-صورت بي¬درنگ باشند. بنابراين منظور از مسير بهينه، كوتاه¬ترين مسير تا هدف است. روش ميدان پتانسيل ويژگي¬هايي همچون ساختار مبتني بر روش¬هاي بهنيه¬سازي براي حل مساله و توانايي يافتن كوتاه¬ترين مسير را دارد. اما مشكل اساسي آن وجود كمينه¬هاي محلي است. يادگيري Q توانايي يادگيري تنها با دريافت پاداش و جزا را دارد كه اين امر، ساختار حل مساله را ساده مي¬كند. همچنين يادگيري Q توانايي يادگيري و تصميم¬گيري به¬صورت بي¬درنگ را هم دارا مي¬باشد. بنابراين با توجه به ويژگي¬هاي هر يك از اين دو روش، يادگيري Q براي اجتناب از برخورد با موانع و روش ميدان پتانسيل براي جهت¬گيري و حركت به¬سمت هدف درنظر گرفته¬شده¬اند. براي رفع كند بودن فرايند يادگيري Q، از يادگيري Dyna-Q استفاده شده¬است. از مهم¬ترين دلايل برخورد با موانع، نبود آموزش در شروع فرايند يادگيري، وجود حالت-هاي تعريف نشده و مستقل بودن حالت¬ها از يكديگر است. براي رفع اين مشكلات، در روش پيشنهادي تصميم گرفته¬شد كه ابتدا صلاحيت عمل انتخاب شده توسط يادگيري Q بررسي و درصورت اشتباه بودن عمل انتخاب¬شده، روش ميدان پتانسيل به¬عنوان ناظر، عمل مناسب را انتخاب كند و عمل مناسب به يادگيري Q آموزش داده و سپس اجرا شود. در اين پايان¬نامه، براي نزديك شدن به شرايط تضمين همگرايي يادگيري Q، ماتريسي تحت عنوان ماتريس ويژگي معرفي شده¬است كه امكان يادگيري حالت¬هاي تجربه¬نشده از حالت¬هاي تجربه¬شده را فراهم مي¬كند. در روش پيشنهادي، براي رفع مشكل كمينه¬ي محلي در روش ميدان پتانسيل، از مفهومي به نام مانع مجازي استفاده شده¬است تا پتانسيل موقعيت ربات به-گونه¬اي تغيير يابد كه همواره مسير و جهتي مناسب براي خارج شدن از كمينه¬ي محلي ايجاد شود. بنابراين روشي تحت عنوان يادگيري تقويتي بهبود¬يافته با حضور ناظر روش ميدان پتانسيل تطبيقي، براي طراحي مسير ربات¬ها ارائه شده¬است. همچنين در اين پايان¬نامه، از دو سيستم فازي براي نرم¬تر كردن حركت، در هر يك از ربات¬ها استفاده شده¬است. نتايج به¬دست آمده براي روش ميدان پتانسيل تطبيقي، حاكي از آن است كه روش ارائه¬شده قادر به خارج¬شدن از كمينه¬ي محلي در محيط¬هايي با هدف و موانع ثابت و پويا است. يادگيري تقويتي بهبوديافته با حضور ناظر، حساسيتي در قبال حالت¬هاي تعريف¬نشده نشان نمي¬دهد و در طي آموزش (اولين تا آخرين رخداد) هيچ برخوردي با مانع رخ نمي¬دهد. تعداد درايه-هايي از جدول Q كه پر شده¬اند، به¬طور قابل توجه¬اي بيشتر از زماني است كه يادگيري Q بدون حضور ماتريس ويژگي استفاده شده¬بود. در نتيجه، مشخص شد كه استفاده از ماتريس ويژگي، افزايش سرعت همگرايي و نزديك¬شدن به شرايط تضمين همگرايي در يادگيري تقويتي را در پي دارد.

196149

دانشگاه علم و صنعت ايران

مهندسي برق-كنترل

جناب آقاي دكتر فرخي