برنامه ريزي مسير عامل در محيط ها ي گسسته ديناميكي مبتني بر الگوريتم هاي يادگيري تقويتي عميق

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

برنامه¬ريزي مسير به صورت حركت عامل از مكان فعلي به سمت هدف تعريف مي¬شود. يك برنامه¬ريزي حركتي قابل قبول بايد بتواند برخورد بين عامل و مانع¬ها موجود در محيط را تشخيص دهد، تا عامل بتواند مسير خود را تغيير دهد يا قبل از وقوع برخورد متوقف شود. يادگيري تقويتي در زمينه رباتيك و برنامه¬ريزي مسير سابقه طولاني دارد. اما امروزه با بهبود قابل توجه قدرت محاسباتي و ظرفيت ذخيره¬سازي، يادگيري تقويتي عميق به طور گسترده¬ در هوش مصنوعي مورد استفاده قرار گرفته است. به¬كارگيري يادگيري عميق در مسائل مربوط به فضاي حالت با ابعاد بالا كاربرد زيادي دارد. در برنامه¬ريزي مسير، روش¬ها¬ي يادگيري تقويتي عميق به دليل عدم نياز به استفاده از نقشه قبلي، بسيار مفيد هستند و برا¬ي اجتناب از برخورد با مانع¬ها به كار مي-روند. اين بدان معناست كه با يادگيري عميق، يادگيري تقويتي قادر به حل وظايف پيچيده¬تر با دانش قبلي كم¬تر است. هدف از اين پژوهش، برنامه¬ريزي مسير عامل در محيط¬ها¬ي گسسته ديناميكي و استاتيكي مبتني بر الگوريتم¬ها¬ي يادگيري تقويتي عميق است. به اين منظور روش¬ها¬ي يادگيري تقويتي عميق تحت عنوان¬ يادگيري عميق Q و تركيب آن با مكانيزم آثار شايستگي و هم¬چنين الگوريتم¬ها¬ي مزيت بازيگر نقاد و مزيت نا¬¬هم¬زمان بازيگر نقاد پيشنهاد مي¬شوند. به اين منظور، در اين تحقيق حالات مختلفي از مانع و هدف در حالت تك¬عامله و چند¬عامله در نظر گرفته مي¬شوند. در ابتدا حالت استاتيكي براي برنامه¬ريزي مسير سيستم تك عامل بررسي مي¬شود و سپس الگوريتم¬ها¬ي پيشنهادي برنامه¬ريزي مسير تك عامل براي حالت¬ها¬ي مانع ثابت و هدف متحرك، مانع متحرك و هدف ثابت و هم¬چنين هدف و مانع متحرك پيشنهاد مي¬شود. هم¬چنين براي سيستم¬ها¬ي چند¬عامله برنامه¬ريزي مسير سيستم در حالت مانع و هدف ثابت با استفاده از روش يادگيري عميق Q پيشنهاد مي¬شود. در اين پژوهش، به دليل عدم آگاهي عامل از نقشه محيط از روش¬ها¬ي يادگيري تقويتي عميق بدون مدل به همراه شبكه¬ها¬ي عميق كاملاً متصل و شبكه¬ها¬ي كانولوشني به كار مي¬رود. الگوريتم¬ها¬ي يادگيري تقويتي عميق از آزمون و خطا استفاده مي¬كنند و براي پيش¬بيني نتيجه به داده¬هاي فعلي نياز ندارند. در عوض، از اشتباهات درس مي گيرند تا پاداش را به مقدار بيشينه برسانند و احتمال تكرار اشتباهات گذشته را كاهش دهند. نتايج شبيه¬سازي، عملكرد مطلوب روش¬ها¬ي پيشنهادي در حالات مختلف برنامه¬ريزي مسير را نشان مي¬دهند. هم¬چنين نشان داده مي¬شود كه با استفاده از روش يادگيري عميق Q با مكانيزم آثار شايستگي سرعت همگرايي به طور قابل ملاحظه¬اي افزايش مي¬يابد.

214295

كنترل

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان

مرضيه كمالي، حامد جلالي

مريم ذكري، فريد شيخ الاسلام