Warum Ihr Firmen-Chatbot nicht funktioniert — und was stattdessen hilft

Ich habe denselben Firmen-Chatbot dreimal gebaut. Erst mit naiver Stichwortsuche. Dann mit hybridem RAG. Dann mit einer vollständigen agentischen Schleife mit Tool-Calling.

Die ersten beiden fühlten sich wie Demos an. Der dritte fühlte sich an wie ein Kollege, der die Dokumentation tatsächlich gelesen hat.

Das Setup

Die Aufgabe war einfach: Fragen zu internen Firmenprozessen beantworten — Onboarding, IT-Anfragen, Reiserichtlinien. Das Zeug, das in 47 verschiedenen PDFs auf einem SharePoint liegt, den niemand navigieren kann.

Versuch 1: Stichwortsuche

Klassische Volltextsuche mit etwas Ranking. Funktioniert, wenn man die exakte Terminologie des Dokuments kennt. Scheitert, sobald jemand eine natürliche Frage stellt wie „Was mache ich, wenn mein Laptop kaputt ist?”

Versuch 2: Hybrid-RAG

Besser. Vektor-Embeddings plus Stichwortsuche. Die Antworten verbesserten sich, aber das System hatte weiterhin Probleme mit mehrstufigen Fragen oder allem, was Informationen aus mehreren Dokumenten kombinieren musste.

Versuch 3: Agentische Schleife

Hier wurde es interessant. Statt abzurufen und zusammenzufassen, überlegt der Agent, welche Dokumente er konsultieren muss, zieht relevante Abschnitte, gleicht sie ab und konstruiert eine Antwort. Er kann mit „Ich reise nächsten Monat in die USA, was muss ich organisieren?” umgehen — das betrifft Reiserichtlinie, Visa-Anforderungen, Spesenregeln und IT-Equipment.

Das Fazit

Die meisten Standardlösungen, die ich evaluiert habe, stecken bei Versuch 2 fest. Gut genug für eine Demo, nicht gut genug für den Alltag. Die Lücke zwischen „beeindruckend im Meeting” und „tatsächlich nützlich am Montagmorgen” ist genau dort, wo die echte Ingenieursarbeit steckt.