Sacred ist eine Open-Source-Bibliothek in Python zur Organisation, Protokollierung und Reproduzierbarkeit von Machine-Learning-Experimenten. Entwickelt vom Schweizer KI-Labor IDSIA, richtet sie sich an Forschende und Entwickler:innen, die eine einfache, flexible und codezentrierte Lösung zur Verwaltung von Experimenten suchen – ohne komplexe Abhängigkeiten.

Im Unterschied zu umfassenden MLOps-Plattformen setzt Sacred auf ein leichtes, erweiterbares Design, das sich mit Tools wie MongoDB oder Sacredboard kombinieren lässt.

Zentrale Vorteile:

• Lückenlose Protokollierung von Parametern, Ergebnissen und Abläufen

• Fokus auf Reproduzierbarkeit und Nachvollziehbarkeit

• Ideal für akademische Projekte und experimentelle Workflows

Was sind die Hauptfunktionen von Sacred?

Konfigurationsmanagement und Reproduzierbarkeit

• Verfolgt sämtliche Konfigurationsparameter mit Python-Dekoratoren

• Unterstützt benannte Konfigurationen und modulare Komponenten ("Ingredients")

• Erfasst automatisch Codeversion, Befehlszeilenargumente und Abhängigkeiten

• Gewährleistet eine identische Wiederholung früherer Runs

Logging und Ergebnisverfolgung

• Protokolliert Metriken, Artefakte, Fehlermeldungen und Ausführungsstatus

• Unterstützt strukturierte Ausgabe und benutzerdefiniertes Logging

• Speichert Zeitstempel, Hostinformationen und Exit-Codes

• Optionale Integration mit MongoDB zur dauerhaften Speicherung

Erweiterbares Observer-System

• Nutzt sogenannte Observers, um Daten an verschiedene Backends zu senden

• Unterstützt standardmäßig: MongoDB, Dateisystem, Slack, SQL usw.

• Entwickelnde können eigene Observer-Klassen erstellen

• Modular und anpassbar für individuelle Anforderungen

Framework-unabhängig und leichtgewichtig

• Keine Abhängigkeit von spezifischen ML-Frameworks

• Kompatibel mit jedem Python-Trainingsloop oder Forschungsworkflow

• Ideal für Skripte, akademische Projekte oder Notebook-basierte Arbeit

• Einfach in bestehende Umgebungen integrierbar

Optionale Weboberfläche mit Sacredboard

• Sacredboard bietet eine Weboberfläche zur Visualisierung von Runs

• Zeigt Konfigurationen, Logs, Metriken und Ausgaben

• Erleichtert den Überblick über laufende und abgeschlossene Experimente

• Besonders nützlich bei vielen Experimenten oder im Team

Warum Sacred wählen?

• Konzipiert für Klarheit, Nachvollziehbarkeit und Wiederholbarkeit

• Open Source, leicht zu bedienen und gut in Python-Workflows integrierbar

• Flexibel erweiterbar durch das Observer-System

• Geeignet für Forschung, Prototyping und Offline-Tracking von Experimenten

• Dokumentiert automatisch alle wichtigen Informationen zum Experiment