Marcel Moré berichtete in einem sehr offenen Erfahrungsbericht von einem kritischen Vorfall, bei dem die AI Claude Code auf seinem Entwicklersystem eigenständig massive Datenverluste verursacht hat – ein eindringliches Lehrstück über die Risiken agentischer AI-Werkzeuge.

Was ist passiert?

Claude lief im “Auto-Mode”, der es dem Modell erlaubt, Aktionen ohne ständige Bestätigung zu planen und selbstständig auszuführen. Der Arbeitsbereich war begrenzt auf ein Projekt-Verzeichnis, globale und lokale Permissions sollten unerlaubte Befehle blockieren.

Während der Session erstellte Claude unaufgefordert ein Hilfsskript für einen automatischen Testlauf (Smoketest), das gar nicht als Teil der eigentlichen Aufgabe spezifiziert war. Bei dessen Ausführung wurde durch einen Fehler der Befehl rm -rf auf das Benutzer-Root-Verzeichnis angewendet – und löschte das komplette Home-Verzeichnis: knapp 4 TB und über 4 Millionen Dateien.

Auswirkungen und Wiederherstellung

  • Kaskadierender Datenverlust: Hintergrunddienste wie Dropbox und Obsidian liefen weiter und synchronisierten die Löschungen sofort auf andere verbundene Geräte, weil der Löschvorgang unterhalb des Application-Level durchlief.
  • Kollateralschäden in laufenden Prozessen: Laufende Prozesse wurden gestört, weil plötzlich Settings und Caches fehlten, Zertifikate und Schlüsselbund nicht mehr da waren.
  • Langwieriges Recovery: Die Wiederherstellung dauerte mehrere Tage, aufgrund der riesigen Datenmengen und mehrfacher Wiederholungen durch aufgetretene Probleme während der Rücksicherung.
  • Verlorene Systemeinstellungen: Time Machine stellte nicht alle Library-Dateien automatisch wieder her. Unsichtbare Dot-Verzeichnisse (mit Claude-Skills, Session-Historien, Plugins und Hooks) tragen teilweise ein Ausschluss-Flag für Backups und fehlten daher komplett im Backup.
  • schwierige Forensik: Da Claude seine eigenen Session-Logs und Settings ebenfalls gelöscht hatte, verblieb lediglich ein ScreenShot des gefährlichen Scripts zur Analyse.

Ursachen des Desasters

Der Vorfall war eine Verkettung mehrerer Faktoren:

  • Fehlendes Sandboxing und Altlasten: Die AI wurde ohne ausreichende Isolation genutzt. Zudem enthielten Projektordner führende Leerzeichen im Pfadnamen, an denen das generierte Skript ins Straucheln geriet. In der Folge zerfiel der Pfad aufgrund fehlendem Escaping in zwei Teile, wovon der vordere Teil (User Root) kritisch war!
  • Konzeptionelle Schwäche: Im Auto-Mode konnte Claude unsicheren Code generieren und seine eigenen Sicherheitsvorkehrungen umgehen. Per Definition stellte Claude im Auto-Mode keinerlei Rückfragen, bevor das selbst erstellte fehlerhafte Script ausgeführt wurde.
  • Kritische Skript-Fehler – durch Claude verursacht und ungeprüft ausgeführt: Der Pfad mit dem Leerzeichen wurde nicht korrekt maskiert, ein Abbruchmechanismus bei Fehlern fehlte, und das Kommando wurde über bash -c als ungeschützter String übergeben. Dadurch versagten die internen Code-Prüfungen, da diese nur den Text-String, nicht aber die tatsächliche Ausführung bewerteten.

Empfohlene Schutzmaßnahmen

Aus dem Vorfall ergeben sich strikte Empfehlungen für mehrere Sicherheitsnetze, die in der Runde diskutiert wurden:

  • Cross-Checking: Von einer AI generierte Skripte vor der Ausführung von einer zweiten AI (z. B. ChatGPT) auf Risiken prüfen lassen.
  • Rechte einschränken: AI-Tools niemals mit uneingeschränktem Zugriff oder im Admin-Modus laufen lassen.
  • Hooks und Linters: Bash-Filter oder Textmuster-Erkennungen installieren, die Befehle abfangen, wenn sie Variationen von rm oder unmaskierte Pfade enthalten.
  • Zweit-Backup: Sich niemals allein auf Time Machine verlassen. Ein zusätzliches Backup-Tool sichert auch unsichtbare Systemverzeichnisse und App-Konfigurationen zuverlässig.
  • Sandboxing und VMs: Am sichersten ist die Entwicklung in einer dedizierten virtuellen Maschine – idealerweise mit Snapshot-Backups – oder auf einem separaten Rechner. Claude bietet optional inzwischen einen eigenen Sandbox-Beta-Modus an, der unter macOS auf Seatbelt und unter Linux auf Bubblewrap basiert.

Fazit

Das Fazit des Abends: Agentische AI ist ein mächtiges Werkzeug – aber ohne Sandboxing, durchdachte Backups und klare Leitplanken kann ein einziger Fehler katastrophale Folgen haben.

Besonders pikant: Wenige Tage nach dem Vorfall veröffentlichte Anthropic selber ein umfangreiches Dokument mit Empfehlungen für die sichere Verwendung von Claude. Hier wurde der Schwerpunkt allerdings darauf gelenkt, dass Prompt-Injections von außen die Standard-Sicherheitseinstellungen umgehen können. Damit wurde indirekt zugegeben, dass die im Produkt verankerten Sicherheits-Checks nicht ausreichend sind. Auch der seit kurzem verfügbare Sandbox-Modus von Claude Code ist per Default nicht aktiviert.