NannyML ist eine Open-Source-Python-Bibliothek zur Überwachung von Machine-Learning-Modellen nach dem Deployment, insbesondere in Situationen, in denen Ground-Truth-Labels verzögert oder gar nicht verfügbar sind. Sie richtet sich an Data Scientists, ML-Ingenieure und MLOps-Teams, die Leistungseinbrüche, Daten-Drift oder verdeckte Modellfehler im produktiven Einsatz erkennen müssen.

Im Gegensatz zu herkömmlichen Tools ermöglicht NannyML die Schätzung von Leistungsmetriken ohne echte Zielwerte, mithilfe fortgeschrittener statistischer Verfahren. Das ist besonders nützlich in Bereichen wie Kredit-Scoring, Betrugserkennung oder Empfehlungssystemen, in denen Rückmeldungen erst mit Verzögerung eintreffen.

Zentrale Vorteile:

• Schätzt Modellleistung ohne Labels (z. B. Accuracy, Precision, Loss)

• Erkennt Daten-Drift und Veränderungen in der Feature-Bedeutung

• Bietet interaktive Visualisierungen und Berichte für die Analyse

Was sind die Hauptfunktionen von NannyML?

Leistungsschätzung ohne Ground Truth

Bewertet die Modellleistung, auch wenn die tatsächlichen Ergebnisse noch fehlen:

• Verwendet Methoden wie CBPE (Confidence-Based Performance Estimation) und DLE (Direct Loss Estimation)

• Schätzt Klassifikations- und Regressionsmetriken über die Zeit

• Erkennt plötzliche Leistungseinbrüche, die sonst unbemerkt bleiben

• Ideal für Umgebungen mit verzögertem Feedback

Erkennung von Daten-Drift

Überwacht Veränderungen in den Eingabedaten:

• Drift-Erkennung auf Feature- und Gesamtdatenebene

• Verwendet Metriken wie Jensen-Shannon-Divergenz, PSI, Wasserstein-Distanz

• Identifiziert die relevantesten Merkmale für den Drift

• Unterstützt bei Entscheidungen zum Retraining

Vergleich zwischen geschätzter und realer Leistung

Sobald Labels verfügbar sind, vergleicht NannyML die geschätzten und tatsächlichen Metriken:

• Darstellung der Verläufe von geschätzter vs. realer Leistung

• Beurteilung der Zuverlässigkeit der Schätzmethoden

• Grundlage zur Optimierung der Überwachungsstrategie

Analyse von Feature-Bedeutung und Datenqualität

Ermöglicht Einblicke in Veränderungen des Modellverhaltens:

• Erfasst Verschiebungen in der Wichtigkeit von Features

• Findet fehlende oder fehlerhafte Daten in Produktionsumgebungen

• Hilft beim Aufdecken von Ursachen für Modellverschlechterungen

Berichtserstellung und Visualisierung

Bietet Tools zur visuellen Diagnose und Kommunikation:

• Unterstützung für Jupyter Notebooks und HTML-Export

• Interaktive Dashboards für zeitbasierte Analysen

• Erleichtert das Verständnis und die Dokumentation von Anomalien

Warum NannyML?

• Monitoring ohne Labels: Unverzichtbar bei verzögertem Feedback

• Fortschrittliche Statistikverfahren: Geht über klassische Monitoring-Tools hinaus

• Open Source und modellunabhängig

• Aussagekräftige Visualisierungen für technische Analysen

• Für reale Produktionssysteme entwickelt – robust und einsatzbereit