Neue KI-Chatbots machen weniger Fehler

Welche immense Entwicklung Künstliche Intelligenz (KI) nimmt, zeigt ein Versuch der Entwicklungsagentur Rheinland-Pfalz (EA). Seit Populärwerden von ChatGPT Ende 2022 haben wir den diversen KI-Diensten am Markt experimentell unter anderem die umfangreiche Sammlung von Förderbestimmungen für Betroffene der Naturkatastrophe 2021 vorgelegt. Die Maschinen sollten sinnvolle Antworten auf Fragen von Betroffenen zum Antragsverfahren geben. 

Entwicklungsschritte: Besser werden

Leider waren die ersten Ergebnisse ernüchternd. Doch jetzt, im Frühjahr 2024, macht es die KI deutlich besser. Die KIs werden ständig weiterentwickelt, neu trainiert, die Algorithmen verstehen besser, was ein Mensch im Chat erfragt. Und entsprechend angeleitet und eingestellt, halluzinieren die Bots weniger, erfinden seltener Dinge hinzu. Eine KI bringt zunächst ihr vom Hersteller antrainiertes Weltwissen mit. Was ihr fehlt, ist Spezialwissen für bestimmte Zwecke.

Wissenslücken: Spezialisieren und anpassen

Zum Beispiel zu Förderverfahren. Wer die Häufig gestellten Fragen (FAQ) zum Wiederaufbau in Rheinland-Pfalz ausdruckt, bekommt allein bei den Informationen für Privatpersonen an die 42 DIN-A4-Seiten. Das wäre viel Lektüre – und eine gute Sammlung für einen Chatbot, der das Dokument komplett erfasst und Fragen dazu beantwortet. Zum Beispiel zu der Frage, wie man als Betroffener Geld beantragen kann und welche Voraussetzungen gelten, um eine Förderung zu bekommen. 15 Milliarden Euro stehen in Rheinland-Pfalz zur Verfügung. Damit alles gerecht und mit rechten Dingen zugeht, gelten Regeln für vorzulegende Nachweise, Fristen und Grenzen. 

Ernüchternde Anfänge: Fehler einräumen

Die ersten Tests der Entwicklungsagentur vor einem Jahr mit KI-Systemen waren ernüchternd. Bei Diensten wie MyAskAI und Dante AI konnten wir zwar die FAQ hinterlegen. Doch die Antworten der anschließend bereitgestellten Chatbots, die man in eine Webseite hätte einbauen können, waren fehlerhaft. Mal erfand die Maschine Obergrenzen, die in den FAQ nicht genannt waren, mal verrechnete sie sich, wenn für einen sechsköpfigen Haushalt der zerstörte Hausrat ersetzt werden sollte. 

Da ist etwa in den FAQ für den Ersatz von Hausrat ausdrücklich von 13.000 Euro für die erste im Haushalt gemeldete Person die Rede, 8.500 Euro für die zweite Person und 3.500 Euro für jede weitere Person. Bei sechs Leuten ergibt das 35.500 Euro – und die KI errechnete stattdessen mal 32.000 Euro, mal 28.500 Euro. Für eine „offizielle“ KI, waren und sind solche Rechenfehler intolerabel, selbst wenn man dazu schreibt, dass die KI fehlerhafte Antworten liefern kann.

Fortschritt messen: Präziser antworten

In den vergangenen Monaten hat sich die KI stark weiterentwickelt. Die Qualität der Antworten wurde vielfach verbessert. Zwar ist ChatGPT weiterhin eine „Black Box“, aus der für Außenstehende nicht ersichtlich ist, wie sie auf ihre Antworten kommt. Doch ergeben sich in vielen Versuchen neuerdings präzisere und zunehmend fehlerfreie Ergebnisse. So auch bei unserem experimentellen „WiederaufbauGPT“.

Dialoge testen: Umgangssprache verstehen

„Mein Haus ist hin. Wie viel Kohle gibt’s?“ So burschikos und umgangssprachlich lautet seit Jahr und Tag unsere Einstiegsfrage beim Testen diverser KIs im Zusammenspiel mit den FAQ. Das Ergebnis nennt heute, im Frühjahr 2024, richtigerweise die Fördersätze für den Ersatz vom verlorenen Hausrat und die bis zu 80 Prozent hohe Förderung für den Wiederaufbau eines zerstörten Hauses. 

Interessant werden Antworten im weiteren Verlauf: Auf fiktive Neubaukosten von 500.000 Euro berechnet die KI richtigerweise aus den bis zu 80 Prozent Fördergeld eine Summe von 400.000 Euro. Bei sechs gemeldeten Personen im Haushalt kommt die KI zusätzlich für den Hausrat auf 35.500 Euro. Und selbst bei dem ausgedachten Ereignis, dass einen Monat nach der Katastrophe Zwillinge geboren wurden, zählt die Maschine eins und eins zusammen: Eine Bestimmung besagt, dass jüngere Kinder hinzuzurechnen sind, sofern sie vor dem 15. Januar 2022 geboren wurden.

Unterm Strich ergeben sich durch solche präziseren KIs vielfältige Möglichkeiten fürs Übersetzen von Bestimmungen und Verfahrensregeln. 

Zugangsbarrieren: Kosten aufdecken

 Getrübt wird diese Einschätzung allerdings durch die Geschäftsmodelle der amerikanischen KI-Dienste. Der oben verlinkte Chat ist zwar zum Nachlesen frei zugänglich; wer diese spezialisierte WiederaufbauGPT-KI einmal selbst ausprobieren wollte, müsste Abonnent des kostenpflichtigen ChatGPT-4 sein. Die Kosten betragen 20 US-Dollar im Monat. Dann steht die WiederaufbauGPT-KI unter der Adresse https://chat.openai.com/g/g-JeZDrcxUE-wiederaufbaugpt zur Verfügung. Achtung, die Anwendung ist weiterhin nur experimentell; die FAQ werden immer mal wieder ergänzt, in unserem Test-Bot allerdings nicht aktualisiert. Es bleibt ein Test.

Technische Hürden: Integration ermöglichen

Das Unternehmen OpenAI bietet für die auf seiner Webseite angebotenen KI-Dienste keine Mechanik an, den bereitgestellten Chatbot auf einer fremden Webseite wie wiederaufbau.rlp.de einzubauen. Das allerdings wäre eine wichtige Voraussetzung für die Nutzung dieser KI. Über andere technische Wege, Stichwort API-Anbindung und Hinterlegen von eigenen Trainingsdaten, wäre ein solches Widget möglich – sei es für bestimmte FAQ, gezielt gecrawlte Webseiten-Inhalte und bereitgestellte PDF-Sammlungen.

Zukunftsaussichten: Weiterentwickeln und prüfen 

Nötig wird dann auch eine erprobte Nachverfolgung: Wenn ein Bot auf einer Webseite Antworten gibt, sollte er nicht unbeobachtet bleiben. Es braucht Protokolle und nachträgliche Prüfungen. Gegebenenfalls müssen hinterlegte Dokumente aufgrund der gewonnenen Erfahrung anders formuliert werden. Doch wenn sich die KIs so weiterentwickeln wie in den vergangenen Monaten, ergeben sich vielseitige neue Bots, die sich seltener als bisher verrechnen oder Falschauskünfte geben. Die Tests und Bewertungen der Ergebnisse gehen weiter.