استفاده از يادگيري تقويتي و شبكه‌هاي عصبي گراف براي بهينه سازي مسيريابي

اصفهان : دانشگاه صنعتي اصفهان

رياضي كاربردي

كارشناسي ارشد

يادگيري تقويتي عميق (DRL) روشي نوين در حوزه‌ي هوش مصنوعي است كه با تركيب يادگيري تقويتي و شبكه‌هاي عصبي عميق، قابليت‌هاي هر دو را در يك چارچوب ادغام كرده است. در سال هاي اخير DRL بهبود چشمگيري در حل مسائل مختلف از خود نشان داده است. يادگيري Q عميق(DQN) يكي از محبوب‌ترين گونه‌هايDRL است كه در معماري آن از تركيب يادگيري Q و شبكه‌ي عصبي استفاده مي‌شود. از مهم‌ترين مزيت‌هاي DRL مي‌توان به توانايي آن در يادگيري مستقيم از داده‌هاي خام اشاره كرد. علاوه بر اين،DRL به‌راحتي مي‌تواند با رويكردهاي ديگر همچون يادگيري چند عاملي تركيب شود و دامنه كاربردهاي آن گسترش يابد. با وجود اين مزايا، روش هاي مبتني بر DRL با چالش هاي مختلفي رو به رو هستند. از مهم ترين اين چالش ها مي توان به عدم قابليت تعميم پذيري اشاره كرد. مدل‌هاي DRL غالباً براي محيط خاصي آموزش مي‌بينند و در صورت تغيير در ديناميك محيط، كارايي آن به طور چشم گيري كاهش مي يابد. به بياني ديگر آنها قادر به عملكرد صحيح در هنگام اعمال بر روي توپولوژي‌هاي شبكه‌اي كه در طول آموزش مشاهده نشده‌اند، نيستند و تنها بر روي توپولوژي هاي ديده شده عملكرد قابل قبولي دارند. DRLمعمولاً در محيط‌هايي كه روابط ساده دارند، عملكرد خيلي خوبي از خود نشان مي‌دهد. اما وقتي صحبت از روابط پيچيده و بلندمدت بين اجزاي محيط به ميان مي‌آيد، دچار مشكل مي‌شود. به بيان ساده‌تر DRL معمولاً براي درك تأثير تغييرات در يك بخش از محيط بر ساير بخش‌ها، به اطلاعات واضح و مستقيم نياز دارد. اما در بسياري از محيط‌هاي واقعي، اين روابط ساده نيستند. مثلاً در يك شبكه حمل‌ونقل، اگر در يك خيابان تصميمي گرفته شود (مثلاً تغيير در جريان ترافيك)، اثر آن مي‌تواند چند خيابان دورتر و بعد از چند مرحله آشكار شود. اين تعاملات زنجيره‌اي و غيرمستقيم مسئله اي است كه DRL به‌ سختي مي‌تواند آن را ياد بگيرد، زيرا معمولاً به داده‌هاي زياد و تجربه‌هاي طولاني نياز دارد تا چنين وابستگي‌هاي پيچيده‌اي را كشف كند. در اين پايان‌نامه براي حل اين قبيل مشكلات از شبكه هاي عصبي گراف GNNاستفاده مي كنيم. اين شبكه با استفاده از اطلاعات موجود در ساختار گراف، ويژگي‌هاي هر گره و يال را استخراج مي‌كند و با استفاده از اين ويژگي‌ها، به تحليل و پيش‌بيني ويژگي‌هاي ديگر مي پردازد. از GNN براي رمزگذاري ساختار گراف استفاده مي‌شود و به سيستم اين امكان را مي دهد كه تصميمات آگاهانه‌تري را اتخاذ كند. ادغام GNN و DQN سبب مي شود با بهره‌گيري از قابليت GNN براي رمزگذاري داده‌ها و مدل‌سازي تعاملات درون ساختارهاي گراف، توانايي DQN براي عملكرد در محيط‌هاي پيچيده افزايش يابد.

237648

علم داده

رياضي

دانشگاه صنعتي اصفهان