Sicherheit in künstlichen neuronalen Netzen steht im Fokus von Kira Maags Arbeit. Dies umfasst unter anderem die Erkennung von Fehlern bei Vorhersagen, womit dann wiederum solche Netze verbessert werden können. Ein weiterer Aspekt ist die Widerstandsfähigkeit gegen Angriffe oder Täuschungen, die etwa Modelle zur Bilderkennung stören können, die aber für den Menschen nicht wahrnehmbar sind.
Maag: „Es ist wichtig, dass neuronale Netze robust sind, das heißt unter anderem, dass sie nicht nur sicher mit ihren Trainingsdaten arbeiten können, sondern auch im alltäglichen Betrieb, wenn sie etwa eingesetzt werden, um unbekannte Objekte zu erkennen.“ Im Sinne der Zuverlässigkeit müssen die KI-Systeme auch erkennen, wenn sie Probleme bei ihren Vorhersagen haben und diese dem User anzeigen, sodass dieser absehen kann, zu welchem Grad er sich auf die Vorhersagen verlassen kann.
Die Sicherheitsuntersuchungen von KI-Methoden will die Forscherin an der HHU weiter fortsetzen, unter anderem, um Vorhersagefehler frühzeitig mithilfe von visuellem Feedback – zum Beispiel über sogenannte Unsicherheitsheatmaps oder durch Ausgaben, in denen Bereiche gekennzeichnet werden, die für die Vorsage wichtig sind – erkennen zu können. Auch will sich Jun.-Prof. Maag um die Transparenz und Erklärbarkeit von KI-Modellen mithilfe von Datenvisualisierung kümmern. „Mit meiner Arbeitsgruppe will ich geeignete Interpretationswerkzeuge entwickeln, um die oft kaum nachvollziehbare Weise, wie die KI zu Vorhersagen kommt, erklärbar zu machen.“
Zur Person
Kira Maag (geboren 1993 in Wuppertal) studierte Wirtschaftsmathematik (Bachelor 2016) und Mathematik (Master 2018) an der Bergischen Universität Wuppertal. 2021 promovierte sie ebenfalls dort im Fach Mathematik zu „Prediction Rating and Performance Improvement for Segmentation Networks by Time-Dynamic Uncertainty Estimates“. Als Postdoc arbeitete sie anschließend an der Ruhr-Universität Bochum und an der Technischen Universität Berlin. Zum 1. Oktober 2024 wurde sie zur Juniorprofessorin für Datenvisualisierung/Visual Analytics an der Wissenschaftlichen Einrichtung Informatik der HHU berufen.
Die sogenannte vertrauenswürdige Künstliche Intelligenz ist Prof. Maags Forschungsschwerpunkt. Hierunter fallen Sicherheitsaspekte wie die Fehlererkennung von Vorhersagen, die Widerstandsfähigkeit, Robustheit und Zuverlässigkeit neuronaler Netze. Sie veröffentlichte bisher rund zehn Beiträge in begutachteten Fachzeitschriften und Konferenzbänden, unter anderem bei der IEEE/CVF Winter Conference on Applications of Computer Vision, der IEEE International Joint Conference on Neural Networks oder imJournal of Optimization Theory and Applications.