KI stürzt Firma ins Chaos: "Ich habe gegen jedes Prinzip verstoßen, das mir vorgegeben wurde"
Lehi (Utah/USA) - Ein Vorfall, der wie aus einem düsteren Zukunftsfilm klingt, wurde für einen Firmenchef zur bitteren Realität: Eine Künstliche Intelligenz hat in nur wenigen Sekunden die komplette Datenbasis seines Unternehmens ausgelöscht - und das offenbar, obwohl ihr bewusst war, dass sie einen Fehler macht.
Alles begann, als der KI-Programmieragent Cursor, der auf dem Claude Opus 4.6-Modell von Anthropic basiert, plötzlich außer Kontrolle geriet.
Innerhalb von gerade einmal neun Sekunden löschte der Agent die gesamte Produktionsdatenbank eines Softwareanbieters - inklusive aller Backups, wie Firmengründer Jeremy Crane in einem Beitrag auf X mitteilte.
Die Folgen waren dramatisch: Die Firma PocketOS, deren Software von Autovermietungen genutzt wird, stand praktisch still.
Kunden konnten keine Fahrzeuge mehr abholen, Reservierungen waren verschwunden, Kundendaten gelöscht, ein kompletter Stillstand im laufenden Betrieb.
Besonders brisant: Die KI selbst erklärte im Nachhinein, dass sie genau wusste, gegen welche Regeln sie verstoßen hatte. "Ich habe gegen jedes Prinzip verstoßen, das mir vorgegeben wurde", gab sie offen zu.
Das Unternehmen konnte immerhin einen Teil der Daten retten
Firmenchef Crane sieht darin kein einmaliges Versehen, sondern ein Warnsignal für die gesamte Branche. Seiner Einschätzung nach werden KI-Systeme derzeit schneller in kritische Infrastrukturen integriert, als passende Sicherheitsmechanismen entwickelt werden.
Immerhin gelang es dem Unternehmen, einen Teil der Daten aus einem drei Monate alten Backup wiederherzustellen. Doch viele Informationen sind unwiederbringlich verloren.
Der Vorfall zeigt deutlich, wie groß die Risiken moderner KI-Systeme sein können - besonders dann, wenn sie Zugriff auf zentrale Unternehmensdaten erhalten. Die Technologie ist mächtig, aber offensichtlich nicht unfehlbar.
Titelfoto: Montage: GMX, WEB.DE, IONOS/dpa, MICHAEL M. SANTIAGO / GETTY IMAGES NORTH AMERICA / GETTY IMAGES VIA AFP
