Visualisierung von Unsicherheiten in Modellvorhersagen

Hintergrund

Die Studierende Alisa Vlasov, Daniel Schmidt, Sebastian Braun, Bastian Jakobi, Alexander Rolwes, Cedric Roussel des Master-Studiengangs Angewandte Informatik haben im Rahmen des Moduls Informationsvisualisierung zusammen mit Ihrem Professor Prof. Klaus Böhm ein Paper zur Thematik Visualisierung der Unsicherheiten von Klassifikationsmodellen für die Unfallschwere von Autounfällen erarbeitet.

Modellvorhersagen mithilfe künstlicher Intelligenz sind häufig mit Wahrscheinlichkeiten und daraus resultierenden Unsicherheiten einzelner Klassen versehen. Die Herausforderung ist es dabei, die Unsicherheiten durch geeignete Modelle für den Endnutzer sichtbar zu machen. 

Die Forschungsfragen die das Team dabei beschäftigten waren:

1. Wie lassen sich korrekte und falsche Klassifikationen in einer Modellvorhersage zur Unfallschwere darstellen?
2. Wie lassen sich diese Unsicherheiten anhand von Wahrscheinlichkeiten der Unfallschwere kommunizieren?

Die Ergebnisse

Die Studierenden zeigen in Ihrem Paper vier unterschiedliche Visualisierungsprofile von Klassifizierungsmodellen. Dabei wurde aus 3 geeigneten Machine Learning Modellen ausgewählt und das Modell mit den besten Ergebnissen verwendet (XGB). Als Datenbasis diente die deutsche Unfallstatistik von 2016-2022. Die Schwere von Unfällen in Deutschland wird hier in leicht, schwer und tödlich klassifiziert.

Als Visualisierungsprofile wurden dabei unterschiedliche Kombinationen aus Visulisierungstechniken wie Symbole, Formen, Farben und Transparenz verwendet. Die dargestellten Parameter auf den Karten waren dabei Position, Unfallschwere, Vorhersage/ Tatsächlich eingetreten, Richtige oder Falsche Vorhersage, Sichere/ Unsichere Vorhersage. Zusätzlich wurden auch Filterfunktionen in die Darstellung eingebaut um die Übersichtlichkeit zu erhöhen (Pop-Up Windows).

In der Diskussion der Arbeit kam man zum Schluss dass jede Visualisierungsprofil seine individuellen Vor- und Nachteile sowie spezielle Herausforderungen hat. Gerade Farben sind oft ein guter Ansatz zur intuitiven Darstellung der Modelle doch besteht je nach Farbwahl auch die Gefahr der Misinterpretation. Ebenso wie Unsicherheit/Sicherheit überhaupt deifiniert und anhand eines Threshhold Sliders dargestellt/ verändert werden können.