Wenn der Wachroboter danebenliegt: Warum Bias zum blinden Fleck der KI-Sicherheit wird
Autonome Sicherheitssysteme sollen Gelände überwachen und Eindringlinge erkennen. Doch ihre Personenerkennung ist nur so verlässlich wie die Daten, mit denen sie trainiert wurde – und genau hier setzt der EU AI Act nun harte Vorgaben.
Ein autonomer Sicherheitsroboter, der nachts über ein Werksgelände rollt, verkauft sich als nüchterne Rechenaufgabe: Bewegung erkennen, Person klassifizieren, Alarm auslösen oder eben nicht. Doch je selbstverständlicher solche Systeme in Industrie und kritischer Infrastruktur eingesetzt werden, desto deutlicher tritt ein Problem hervor, das lange als Randnotiz galt – die Frage, wen die Software zuverlässig erkennt und wen nicht.
Der unsichtbare Fehler in der Erkennung
Anbieter werben mit niedrigen Fehlalarmraten als zentralem Qualitätsmerkmal; ein Hersteller etwa nennt nach eigenen Angaben Werte von unter acht Prozent. Solche Zahlen sagen allerdings wenig darüber aus, ob eine Fehlerkennung gleichmäßig verteilt ist. Ein System kann im Durchschnitt gut abschneiden und trotzdem bei bestimmten Personengruppen systematisch danebenliegen – etwa bei schlechteren Lichtverhältnissen, bei bestimmten Hauttönen oder bei Kleidung, die im Trainingsmaterial unterrepräsentiert war. Fachleute sprechen von Bias: einer Verzerrung, die nicht aus böser Absicht entsteht, sondern aus lückenhaften Daten.
Die Folgen sind zweischneidig. Wird eine tatsächlich anwesende Person nicht erkannt, entsteht eine Sicherheitslücke. Wird umgekehrt die eigene Belegschaft fälschlich als Eindringling markiert, häufen sich Fehlalarme – und schlimmstenfalls diskriminierende Situationen, wenn einzelne Beschäftigte immer wieder ins Visier geraten. Beides untergräbt genau das Vertrauen, das autonome Sicherheitstechnik eigentlich schaffen soll.
Warum der EU AI Act die Regeln verschärft
Mit der KI-Verordnung der Europäischen Union, dem sogenannten AI Act, bekommt das Thema erstmals einen verbindlichen Rahmen. Systeme zur biometrischen Fernidentifizierung – also der Wiedererkennung von Personen in einer offenen Datenbank – gelten dort grundsätzlich als hochriskant und fallen unter besonders strenge Auflagen. Die zentralen Pflichten für solche Hochrisiko-Anwendungen gelten seit August 2025, die volle Anwendung ist für den 2. August 2026 vorgesehen.
Kern der Vorgaben ist die sogenannte Daten-Governance: Trainings-, Validierungs- und Testdaten müssen laut Verordnung relevant, repräsentativ, möglichst fehlerfrei und vollständig sein, um Diskriminierung zu vermeiden. Hinzu kommen dokumentierte Tests auf Verzerrungen und ein Nachweis, woher die Daten stammen. Für die risikoreichste Kategorie, die biometrische Fernidentifizierung, ist zudem eine externe Prüfung durch eine benannte Stelle vorgesehen; viele andere Hochrisiko-Systeme dürfen eine interne Konformitätsbewertung durchlaufen. Eine einfache 1:1-Authentifizierung – der Abgleich eines aktuell erfassten Merkmals mit einer hinterlegten Referenz, etwa für die Zutrittskontrolle – kann unter bestimmten Bedingungen von der Hochrisiko-Einstufung ausgenommen sein.
Vom Technikkauf zur Sorgfaltspflicht
Für Betreiber verschiebt sich damit die Perspektive. Bislang stand beim Einkauf autonomer Sicherheitslösungen oft die Frage im Vordergrund, wie zuverlässig und wie günstig ein System arbeitet. Künftig rückt daneben die Frage, ob Hersteller belegen können, dass ihre Erkennung nicht bestimmte Gruppen benachteiligt – und ob die eigene Nutzung dokumentiert und überprüfbar ist. Wer solche Technik in großem Stil einsetzt, wird sich stärker mit Datenherkunft, Testprotokollen und Verantwortlichkeiten befassen müssen, als es die reine Gerätebeschreibung nahelegt.
Das macht Bias von einem abstrakten Fairness-Argument zu einem handfesten betrieblichen Thema. Ein Sicherheitssystem, das Menschen unterschiedlich behandelt, ist nicht nur ethisch angreifbar, sondern potenziell auch rechtlich – und praktisch unbrauchbar, wenn es die Belegschaft gegen sich aufbringt. Die Debatte um autonome Wächter dürfte sich deshalb in den kommenden Monaten verschieben: weg von der Frage, was die Roboter können, hin zu der Frage, wie gut sie hinsehen – und bei wem.
Dieser Beitrag ist eine redaktionelle Einordnung eines Branchentrends und keine Rechtsberatung. Für die konkrete Bewertung einzelner Systeme oder Pflichten nach dem EU AI Act sollten fachkundige Stellen hinzugezogen werden.