Enterprise AI8 Min. Lesezeit•

Agentic RAG: Was es für Unternehmen bedeutet — und was sich an der Datensouveränität nicht ändert

KI-Agenten, die autonom auf Ihre Dokumente zugreifen und handeln, sind das prägende Enterprise-AI-Thema 2026. Doch je autonomer der Retrieval-Stack wird, desto höher werden die Datensouveränitäts-Anforderungen — nicht geringer. Was sich ändert, was nicht, und warum On-Premise jetzt wichtiger ist denn je.

Die Enterprise-KI-Diskussion hat sich verschoben

Vor zwölf Monaten lautete die Frage: Sollten wir RAG einsetzen?

Heute lautet sie: Wie bauen wir Agenten, die Dokumente autonom abrufen, analysieren und darauf handeln?

Gartner prognostiziert, dass bis Ende 2026 40 % aller Enterprise-Anwendungen KI-Agenten einbetten werden — gegenüber unter 5 % im Jahr 2025. Der Sprung ist kein gradueller Fortschritt, sondern ein Architekturwechsel. Agentic RAG repräsentiert eine grundlegend neue Art, KI in Organisationen einzusetzen — und sie kommt schneller, als die meisten IT-Teams vorbereitet sind.

Doch genau das verschleiert der Hype-Zyklus: Das Datensouveränitätsproblem wird nicht kleiner, wenn Ihr RAG-System autonom wird. Es wird grösser.

Was ist Agentic RAG?

Agentic RAG ist eine RAG-Architektur, in der ein KI-Agent — nicht ein Mensch — entscheidet, was abgerufen wird, wann und wie auf Basis der gefundenen Informationen gehandelt wird.

In einem Standard-RAG-System verläuft der Prozess linear und wird vom Menschen initiiert:

  1. Ein Benutzer stellt eine Frage
  2. Das System ruft relevante Dokumentfragmente ab
  3. Ein LLM generiert eine Antwort
  4. Der Benutzer liest sie

In einem agentischen RAG-System übernimmt die KI das Steuer:

  1. Der Agent erhält ein Ziel — keine blosse Frage
  2. Er entscheidet, welche Dokumente er konsultiert und in welcher Reihenfolge
  3. Er kann iterativ abrufen, analysieren, erneut abfragen und wieder abrufen
  4. Er handelt auf Basis seiner Erkenntnisse: entwirft Antworten, aktualisiert Datensätze, löst Workflows aus, eskaliert an Menschen

Der Agent wartet nicht auf eine Anfrage. Er handelt.

Warum Unternehmen 2026 auf Agentic RAG setzen

Der Mehrwert ist konkret. Standard-RAG beantwortet Fragen. Agentic RAG erledigt Aufgaben.

Was das in der Praxis bedeutet:

  • Rechtsabteilung: Statt dass ein Anwalt Vertragsklauseln einzeln prüft, analysiert ein Agent über Nacht 400 Lieferantenverträge, markiert Abweichungen vom neuen Regulierungsstandard und erstellt einen priorisierten Ausnahmebericht.
  • Finanzen: Ein Agent überwacht eingehende Rechnungen gegen Bestellungen und interne Freigaberichtlinien und eskaliert Abweichungen automatisch an den zuständigen Genehmiger — inklusive Zusammenfassung der Differenz.
  • HR und Compliance: Ein Agent prüft kontinuierlich interne Richtliniendokumente gegen aktualisierte gesetzliche Anforderungen und deckt Lücken auf, bevor es ein Prüfer tut.

Das sind keine Zukunftsszenarien. Es sind aktive Pilotprojekte bei grossen europäischen Unternehmen — heute.

Der Produktivitätsgewinn ist real. Das Risiko ist es auch — und es ist komplexer, als die meisten Organisationen erkennen.

Was sich ändert, wenn RAG autonom wird

In einem Standard-RAG-System ist ein Mensch bei jedem Schritt eingebunden. Wenn das System etwas Unerwartetes abruft, bemerkt es der Nutzer. Wenn eine Antwort falsch wirkt, kann er erneut fragen oder eskalieren.

Agentic RAG entfernt diesen Kontrollpunkt.

Wenn ein KI-Agent autonom auf Ihre Dokumenteninfrastruktur zugreift — Finanzverträge, HR-Akten, Kundendaten, interne Memos — und auf Basis seiner Erkenntnisse handelt, werden drei Dinge kritisch, die vorher lediglich wichtig waren:

1. Zugriffskontrolle auf Agentenebene

Klassische RAG-Zugriffskontrolle ist auf den anfragenden Nutzer ausgerichtet: Was darf diese Person sehen?

Agentic RAG erfordert eine andere Perspektive: Was darf dieser Agent, der im Auftrag dieses Nutzers, für diese spezifische Aufgabe handelt, abrufen?

Ein Agent, der eine Compliance-Prüfung durchführt, sollte nicht dieselben Abrufberechtigungen haben wie ein Agent, der Kundenkommunikation verfasst — auch wenn beide vom gleichen Nutzer ausgelöst werden. Das Zugriffsmodell muss aufgabengebunden sein, nicht nur nutzerbezogen.

Die meisten aktuellen RAG-Sicherheitsimplementierungen sind auf diese Unterscheidung nicht vorbereitet.

2. Nachvollziehbarkeit autonomer Entscheidungen

Wenn ein Mensch ein Dokument liest und eine Entscheidung trifft, existiert ein impliziter Prüfpfad: Die Person kann ihre Überlegungen erklären.

Wenn ein KI-Agent 400 Dokumente liest und eine Empfehlung ausspricht, muss der Prüfpfad explizit und maschinengeneriert sein. Welche Dokumente wurden abgerufen? In welcher Reihenfolge? Welche Fragmentstellen haben welchen Teil der Ausgabe beeinflusst?

Unter dem EU AI Act — der am 2. August 2026 vollständig in Kraft tritt — müssen Hochrisiko-KI-Systeme in den Bereichen Beschäftigung, Finanzen und Recht genau diese Erklärbarkeit liefern. „Der Agent hat einige Dokumente abgerufen" erfüllt diese Anforderung nicht. Der Retrieval-Pfad muss protokolliert, gespeichert und auf Anfrage vorzeigbar sein.

3. Der Fehler-Wirkungsbereich

In einem Standard-RAG-System betrifft ein Abruffehler eine Antwort für einen Nutzer.

In einem agentischen System kann sich ein Abruffehler über einen gesamten automatisierten Workflow ausbreiten, bevor jemand es bemerkt. Ein vergiftetes Dokument, eine falsch konfigurierte Berechtigung oder ein Abruffehler können nicht nur eine einzelne Antwort korrumpieren, sondern eine Kette nachgelagerter Aktionen.

Der Wirkungsbereich eines Fehlers ist grösser. Die Zeit bis zur Erkennung länger.

Was sich nicht ändert: Die Datensouveränität bleibt unverzichtbar

Hier liegt das, was in der agentischen KI-Diskussion oft übergangen wird:

Die Autonomie des Agenten ändert nichts daran, wo Ihre Dokumente liegen müssen.

Im Gegenteil: Es macht die Frage dringlicher.

Wenn ein menschlicher Mitarbeiter auf sensible Dokumente zugreift, gibt es soziale, rechtliche und institutionelle Rahmenbedingungen für den Umgang damit. Er ist verantwortlich. Er kann befragt, auditiert, diszipliniert werden.

Wenn ein KI-Agent auf dieselben Dokumente zugreift — autonom, in grossem Massstab, möglicherweise rund um die Uhr — sind die einzigen Einschränkungen jene, die in der Architektur verankert sind.

Wenn diese Architektur Ihre Dokumente über einen Cloud-LLM-Anbieter leitet, senden Sie nicht bloss eine Anfrage an eine externe API. Sie senden den Inhalt Ihrer Finanzverträge, Ihrer Kundenkommunikation, Ihrer Compliance-Unterlagen — was auch immer der Agent für relevant befand — an ein externes System, unter dessen Nutzungsbedingungen, mit dessen Protokollierungs- und Aufbewahrungsrichtlinien.

Für Unternehmen in regulierten Branchen — Banken, Gesundheitswesen, Recht, öffentliche Verwaltung — ist das kein akzeptabler Kompromiss, unabhängig davon, was die Datenschutzerklärung des Anbieters besagt.

Warum On-Premise bei Agentic RAG wichtiger ist — nicht weniger

Die kontraintuitive Schlussfolgerung: Je autonomer RAG wird, desto stärker wird das Argument für On-Premise-Deployment.

Hier ist der Grund:

Kontrolle skaliert mit Autonomie. Je autonomer ein KI-System agiert, desto entscheidender ist es, dass Sie jede Schicht der Infrastruktur kontrollieren, auf der es läuft. Cloud-basiertes Agentic RAG bedeutet, dass Sie nicht nur die Datenspeicherung, sondern auch autonomes Schlussfolgern und Handeln an ein Drittanbieter-System delegieren. Retrieval-Logik, Aktionstrigger, Protokollierung — alles geschieht innerhalb der Infrastruktur eines anderen.

On-Premise Agentic RAG hält den Agenten, den Retrieval-Stack, den Dokumentenspeicher und den Prüfpfad innerhalb Ihres Netzwerkperimeters. Jede Entscheidung des Agenten wird lokal protokolliert. Jedes abgerufene Dokument unterliegt Ihren Zugriffsrichtlinien. Jede ausgeführte Aktion ist für Ihr Team auditierbar.

Berechtigungsdurchsetzung ist On-Premise lösbar. Aufgabengebundene Zugriffskontrolle — wie sie Agentic RAG erfordert — ist deutlich einfacher umzusetzen, wenn Sie die Infrastruktur kontrollieren. On-Premise-Deployments können Abrufberechtigungen auf Ebene der Vektordatenbank, zur Abfragezeit, mit vollständiger Sichtbarkeit durchsetzen. Cloud-Deployments hängen von den Zugriffskontroll-APIs des Anbieters ab — die möglicherweise nicht die erforderliche Granularität bieten.

Prüfpfade sind On-Premise vollständig. EU AI Act-Compliance erfordert, dass der vollständige Retrieval-Pfad dokumentiert ist. On-Premise-Deployments können jede Abrufentscheidung, jedes abgerufene Fragment, jede ausgelöste Aktion protokollieren — in einem Format und an einem Ort, den Sie kontrollieren. Cloud-Deployments generieren ebenfalls Protokolle, aber in den Systemen des Anbieters, in seinem Format, unter seinen Aufbewahrungsrichtlinien.

Was das für regulierte Branchen bedeutet

Für Unternehmen in regulierten Sektoren ist Agentic RAG keine Frage des Ob, sondern des Wie und Wo.

Die Produktivitätsgewinne sind zu signifikant, um ignoriert zu werden. Ein Agent, der Hunderte von Dokumenten über Nacht prüft und nur die Ausnahmen eskaliert, die menschliche Aufmerksamkeit erfordern, ist kein Nice-to-have — es ist ein Wettbewerbserfordernis.

Aber die Compliance-Anforderungen sind genauso nicht verhandelbar. DSGVO, EU AI Act, sektorspezifische Regelungen im Bankbereich (DORA), im Gesundheitswesen (MDR) und im Rechtsbereich (Berufsgeheimnis) stellen Anforderungen, die ein cloud-abhängiges Agentic-RAG-System nicht zuverlässig erfüllen kann.

Die Lösung ist nicht, Agentic RAG zu vermeiden. Es geht darum, es in einer Architektur zu betreiben, in der Autonomie und Nachvollziehbarkeit koexistieren:

  • Agenten, die innerhalb Ihrer Infrastruktur arbeiten — mit Abruf aus Dokumentenspeichern, die Sie kontrollieren, und Protokollierung in Audit-Systemen, die Ihnen gehören
  • Aufgabengebundene Zugriffskontrollen — Agenten können nur auf das zugreifen, was für die spezifische Aufgabe relevant ist
  • Vollständige Retrieval-Nachvollziehbarkeit — jedes abgerufene Dokument, jedes Fragment, jede ausgeführte Aktion wird mit ausreichend Detail protokolliert, um Prüferfragen zu beantworten
  • Menschliche Eskalationspfade — risikobehaftete Entscheidungen werden zur menschlichen Überprüfung markiert, mit der vollständigen Agenten-Begründung in lesbarer Form

Das ist keine theoretische Architektur. Das ist das, was Enterprise-grade On-Premise-RAG-Deployments heute leisten können.

Die Zusammenfassung in kurzen Antworten

Was ist Agentic RAG? Eine Architektur, in der KI-Agenten autonom entscheiden, was sie abrufen und was sie damit tun — statt auf menschliche Fragen zu warten.

Was ändert sich bei Agentic RAG? Zugriffskontrolle muss aufgabengebunden werden, Auditierbarkeit muss maschinengeneriert sein, und die Konsequenzen von Fehlern sind grösser, weil sie sich durch automatisierte Workflows ausbreiten.

Was ändert sich nicht? Sensible Dokumente müssen in Ihrer Infrastruktur bleiben. Autonome Agenten machen das sogar kritischer, weil der Abruf ohne menschliche Kontrolle bei jedem Schritt stattfindet.

Was ist das richtige Deployment-Modell? On-Premise Agentic RAG — wo Agent, Retrieval-Stack, Dokumentenspeicher und Prüfpfad alle innerhalb Ihres Netzwerkperimeters laufen. Das ist die einzige Architektur, die sowohl das Produktivitätsversprechen agentischer KI als auch die Nachvollziehbarkeitsanforderungen regulierter Unternehmensumgebungen erfüllt.

KADARAG ist für genau diese Architektur konzipiert — On-Premise-Retrieval mit vollständiger Auditierbarkeit, berechtigungsbewusster Zugriffskontrolle und vollständiger Retrieval-Protokollierung. Demo vereinbaren und sehen Sie, wie Agentic RAG in Ihrer Infrastruktur funktioniert.

Zurück zu allen Artikeln