Die Prognosegüte sagt nicht immer etwas über die Qualität eines Modells aus: Eine Prognosegüte von 99% und höher klingt zunächst nach einem fantastischen Ergebnis – die tatsächliche Qualität des dahinterliegenden Prognosemodells ist damit allerdings noch längst nicht nachgewiesen.
Folgendes Beispiel verdeutlicht das grund
sätzliche Problem: Man muss sich einen Fall
vorstellen, indem für 100 Bilder vorhergesagt werden soll, ob diese einen Hund oder eine Katze abbilden. Wenn nun 99 Bilder einen Hund und nur eines eine Katze zeigt, dann wird eine Prognosegüte von 99% erreicht, wenn man ganz einfach für jedes Bild vorhersagt, dass es einen Hund abbildet. Sobald diesem recht simplen Prognosemodell eine andere, ausgeglichenere Datenbasis zur Prognose vorgelegt wird, beispielsweise 50 Hundebilder und 50 Katzenbilder, wird dieses genauso „erfolgreich“ sein wie eine komplett zufällige Vorhersage. Ist die Datenbasis also unausgeglichen, zum Beispiel sehr viele Bilder vom Typ A und nur wenige Bilder vom Typ B, ist es in der Regel sinnvoller bzw. aussagekräftiger, die Prognosegüte nur für die seltenen bzw. interessanten Fälle zu betrachten. Und diese beträgt dann in unserem Hund-Katze-Beispiel 0%, da das eine Katzenbild fälschlicherweise als Hundebild prognostiziert wurde.
Als Citizen Data Scientist sollte man also immer kritisch hinterfragen, worauf sich die Prognosegüte genau bezieht, welche einem genannt wird. Wenn zum Beispiel für 80% der Kunden korrekt vorhergesagt wird, ob diese ihren Vertrag kündigen oder nicht, dann ist das je nachdem, wie viele Kunden grundsätzlich kündigen, ein mehr oder weniger beeindruckendes Ergebnis. Viel spannender ist in dem Fall, wie viele der tatsächlichen Kündiger korrekt als solche vorhergesagt werden konnten. Hierzu ist auch dieser Spiegel Online-Artikel interessant zu lesen.
Comentários