Learning to Predict Generative Adversarial Network Robustness from Training Dynamics
Kurzbeschreibung
Diese Arbeit untersucht die Fragestellung, ob sich die Robustheit und qualitative Leistungsfähigkeit von Generative Adversarial Networks bereits in frühen Phasen des Trainingsprozesses vorhersagen lässt. Im Zentrum steht die Hypothese, dass trainingsinterne Signale wie Gradientenstatistiken, Lossfunktions-werte, Parameteraktualisierungen sowie weitere aus historischen Trainingsläufen abgeleitete Dynamiken ausreichen, um belastbare Aussagen über die spätere Modellqualität zu treffen. Aufbauend auf einer systematischen Aufarbeitung einschlägiger Literatur zu Trainingsdynamiken neuronaler Netzwerke, Stabilitätsanalysen und prädiktiven Qualitätsindikatoren wird ein vergleichbarer Rahmen konzipiert, der Trainingsprozesse von Generative Adversarial Networks auf Metaebene beschreibt.
Auf dieser Basis wird ein lernbasiertes Vorhersagemodell entwickelt, das Trainingsverläufe aus historischen Experimenten analysiert und daraus robuste Prädiktoren für Modellstabilität, Konvergenzverhalten und resultierende Datenqualität ableitet. Besonderes Augenmerk liegt auf der Identifikation früher Indikatoren für Mode-Kollapse, instabile Trainingsphasen und übermäßige Oszillationen zwischen Generator und Diskriminator. Die gewonnenen Erkenntnisse werden genutzt, um ein Verfahren zur frühzeitigen Qualitätsabschätzung zu entwerfen, das potenziell als Grundlage für adaptive Early-Stopping-Strategien oder dynamische Trainingssteuerung dienen kann.
Die vorgeschlagene Methodik wird empirisch auf mehreren GAN-Architekturen und Datensätzen evaluiert. Die Evaluation erfolgt anhand etablierter Qualitätsmetriken sowie durch einen Vergleich der prognostizierten mit den tatsächlich erreichten Modellergebnissen. Die Arbeit leistet somit einen Beitrag zum besseren Verständnis von Trainingsdynamiken generativer Modelle und zeigt auf, wie frühe Trainingsinformationen zur effizienten Ressourcennutzung und zur Steigerung der Robustheit generativer Lernverfahren eingesetzt werden können.
Voraussetzungen
Franceschi, L., Donini, M., Perrone, V., Klein, A., Archambeau, C., Seeger, M., ... & Frasconi, P. (2024). Hyperparameter optimization in machine learning. arXiv preprint arXiv:2410.22854.
Bischl, B., Binder, M., Lang, M., Pielok, T., Richter, J., Coors, S., ... & Lindauer, M. (2023). Hyperparameter optimization: Foundations, algorithms, best practices, and open challenges. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 13(2), e1484.
