يادگيري نيمه‌نظارتي فدرال مولد در سرور‌هاي لبه‌اي

دكتري

امروزه با افزايش سرعت توليد، تنوع و پراكندگي داده‌ها، اهميت پردازش توزيع‌شده بيشتر شده است. محاسبات لبه به عنوان يك راهكار توزيع‌شده، با انتقال وظايف پردازشي به نزديكي منابع داده، به بهبود حريم خصوصي، كاهش هزينه‌هاي ارتباطي و افزايش كارايي كمك مي‌كند. در همين راستا، يادگيري فدرال در سرور‌هاي لبه‌اي امكان آموزش مدل‌هاي مشترك بدون نياز به انتقال داده‌هاي محلي را فراهم مي‌كند. همچنين، روش‌هاي يادگيري نيمه‌نظارتي فدرال براي كاهش هزينه‌هاي برچسب‌گذاري و افزايش دقت مدل‌ها در اين محيط‌ها توسعه يافته‌اند. اكثر روش‌هاي موجود، از جمله ميانگين‌گيري فدرال كه بر اساس تجميع مدل‌ها هستند، به دليل انتقال پارامترهاي مدل‌هاي محلي، هزينه‌هاي ارتباطي بالايي دارند. در مقابل، روش‌هاي تقطير دانش تنها با انتقال خروجي مدل‌هاي محلي هزينه‌هاي ارتباطي را كاهش مي‌دهند، اما معمولاً دقت كمتري دارند و فرض مي‌كنند كه داده‌هاي مشترك براي آموزش وجود دارد كه در عمل قابل تحقق نيست. در اين پژوهش، روش GFD-SSL مبتني بر تقطير دانش و شبكه‌هاي نيمه‌نظارتي مولد متخاصم ارائه شده كه هيچ فرضي درباره نحوه توزيع داده‌ها روي مشتري‌ها ندارد. اين روش شامل دو مرحله است: در مرحله اول (يادگيري محلي)، هر مشتري مدل خود را با داده‌هاي محلي آموزش داده تا توزيع پيش‌بيني‌هاي مدل به توزيع داده‌هاي محلي همگرا شود. در مرحله دوم (انتقال دانش)، هر مشتري با توجه به سهم داده‌هاي محلي از كل مجموعه داده‌ها، داده‌هاي مصنوعي توليد كرده و به سرور ارسال مي‌كند. سپس، خروجي مدل خود را بر روي داده‌هاي مصنوعي مشترك محاسبه كرده و براي تجميع به سرور ارسال مي‌كند. مشتريان با مقايسه خروجي‌هاي مدل خود با خروجي تجميع‌شده در سرور، يك عبارت تنظيم‌كننده محاسبه كرده و بر اساس آن وزن مدل‌هاي خود را به‌روز مي‌كنند. با اين كار، هر مشتري به نزديك كردن و همگرا كردن خروجي مدل خود با خروجي تجميع‌شده سراسري تشويق مي‌شود و به اين ترتيب، دانش سراسري به مدل‌هاي محلي منتقل مي‌شود. در شبكه‌هاي نيمه‌نظارتي مولد متخاصم، آموزش همزمان متمايزكننده و طبقه‌بند به كاهش كارايي مدل منجر مي‌شود. براي رفع اين مشكل، در اين پژوهش روش TGFD-SSL با تفكيك وظايف متمايزكننده و طبقه‌بند از طريق تكنيك شبكه‌هاي نيمه‌نظارتي مولد متخاصم سه‌گانه معرفي شده است. همچنين جهت بهبود نتايج روي مجموعه داده‌هايNon-IID ، روش JSA-GFDSSL مبتني بر تكنيك توجه و بعنوان راهكاري نوين براي وزن‌دهي به مجموعه داده‌ها و مشتري‌ها ارائه شده است. اين وزن‌دهي با استفاده از فاصله جنسن-شانون انجام مي‌شود و در زمان تجميع خروجي مدل‌ها در سرور براي بهبود دقت نتايج استفاده مي‌شود. ارزيابي روش‌هاي ارائه ‌شده بر روي مجموعه‌ داده‌هاي مختلف نشان داد كه روش GFD-SSL به صورت ميانگين تا %15 دقت بالاتري، به‌ويژه در مورد مجموعه داده‌هاي Non-IID، نسبت به روش‌هاي پيشرو و مشابه دارد. همچنين، روش‌هاي TGFD-SSL و JSA-GFDSSL به ترتيب دقت مدل‌ها را %2.27 و %3.15 افزايش دادند. علاوه بر اين روش ارائه شده از نظر ميزان ارتباطات بهينه و نتايج بهتري ارائه مي‌دهد.

230325

دانشگاه اصفهان

مهندسي كامپيوتر - نرم افزار

احمد براآني دستجردي , رضا رمضاني