Brutal AI

RatgeberFallstudien

Fallstudie: Falsche KI-Antworten von 41 % auf 0 %

Kurz gesagt

Ein Industrieunternehmen wollte Fragen an seine Händler- und Garantiedaten in normaler Sprache stellen. Wir haben die Qualität mit 34 echten Fachfragen gemessen, in vier Runden.

Der Anteil falscher Antworten sank von 41 Prozent auf 0 Prozent. Wo die Daten selbst fehlerhaft waren, antwortet das System nicht, statt zu raten.

Anteil falscher Antworten je Runde, 34 Fachfragen0 %20 %40 %60 %41 %Runde 156 %Runde 215 %Runde 30 %Runde 4
Benchmark im Pilot eines Industrieunternehmens (2026), 34 Fachfragen je Runde: 41 % falsche Antworten in Runde 1, 56 % in Runde 2, 15 % in Runde 3, 0 % in Runde 4. In Runde 2 beantwortete das System mehr Fragen statt sie abzulehnen, dabei stieg zuerst auch der Anteil falscher Antworten.

Die Ausgangslage

Die Daten lagen in mehreren Systemen. Wer eine Frage hatte, brauchte einen Bericht oder die IT. Die Frage war, ob eine KI auf diesen Daten verlässlich genug antwortet, um im Alltag genutzt zu werden.

Was wir gemacht haben

  • Ein Engineer arbeitete in der Microsoft-Umgebung des Kunden, mit dessen Anmeldung und Berechtigungen.
  • Über die Datenbank legten wir eine semantische Schicht: Begriffe, Kennzahlen und Regeln so, wie die Fachabteilung sie versteht.
  • Der Zugriff der KI läuft über ein eigenes Gateway, nur lesend.
  • Gemessen wurde mit 34 echten Fachfragen, jede Runde gleich, Antworten einzeln geprüft.

Das Ergebnis

Der Anteil falscher Antworten fiel über vier Runden von 41 auf 0 Prozent. Runde 2 war zunächst schlechter, weil das System mehr Fragen beantwortete statt abzulehnen. Mit der Schärfung der semantischen Schicht sanken danach die Fehler.

Wo die Quelldaten selbst unvollständig oder falsch waren, verweigert das System die Antwort und sagt warum. Das ist gewollt: Eine ehrliche Lücke ist besser als eine plausible falsche Zahl.

Alles, was im Projekt für den Kunden entstand, also Code, Prompts und Konfiguration, gehört dem Kunden.

Häufige Fragen

Wie misst man, ob KI-Antworten auf Unternehmensdaten stimmen?

Mit einem festen Satz echter Fachfragen, deren richtige Antworten bekannt sind. Jede Runde werden alle Fragen gestellt und die Antworten einzeln geprüft: richtig, teilweise richtig, korrekt abgelehnt oder falsch.

Was ist eine semantische Schicht?

Eine Beschreibung der Daten in der Sprache des Fachbereichs: was eine Kennzahl bedeutet, wie sie berechnet wird und welche Regeln gelten. Die KI fragt über diese Schicht ab, statt Tabellen zu erraten.

Wie lange dauert so ein Pilot?

In diesem Fall acht Wochen. In der Regel geht ein Pilot bei Brutal AI schneller.

Wir rechnen es mit Ihnen durch.

Bringen Sie Ihre Lizenzliste mit. In einem Gespräch sehen wir, welche Tools sich ersetzen lassen und was das über fünf Jahre bedeutet.