Alle Artikel

Lokale KI für Unternehmen: Hardware, Kosten und Grenzen

Was lokale KI im Büro leistet, welche Grafikkarte oder welcher Server nötig ist, was der Betrieb kostet und wo selbst gebaute Ollama-Lösungen scheitern.

Lokale KI8 Min. Lesezeit

Lokale KI bedeutet: Das Sprachmodell läuft auf einem Rechner, der Ihnen gehört und in Ihrem Büro oder Ihrem Rechenzentrum steht. Die Frage, die eine Mitarbeiterin eintippt, verlässt das Firmennetz nicht. Die Antwort wird auf derselben Maschine berechnet. Es gibt kein Konto bei OpenAI oder Google, und es fallen keine Kosten pro Anfrage an.

Für Firmen mit vertraulichen Unterlagen ist das der Hauptgrund. Ein Treuhandbüro, eine Kanzlei oder eine Arztpraxis darf Mandanten- oder Patientendaten nicht ohne Weiteres an einen US-Anbieter schicken. Mit einer lokalen KI stellt sich diese Frage gar nicht erst.

Was eine lokale KI mit Ihren eigenen Dokumenten macht

Ein Sprachmodell allein kennt Ihre Firma nicht. Es weiss nichts über Ihre Mandatsverträge, Ihre internen Weisungen oder die Aktennotiz vom letzten März. Nützlich wird lokale KI erst, wenn sie Ihre Ablage durchsuchen kann.

Das funktioniert so: Ein Programm liest Ihre Dokumente ein (PDF, Word, E-Mails, Scans mit Texterkennung) und legt einen Suchindex an. Stellt jemand eine Frage, sucht das System zuerst die passenden Textstellen und gibt nur diese dem Sprachmodell. Das Modell formuliert daraus eine Antwort und nennt die Quelle. Fachleute nennen das Retrieval-Augmented Generation, kurz RAG.

Typische Fragen im Alltag:

  • "Welche Kündigungsfrist steht im Mandatsvertrag mit der Keller AG?"
  • "Wie haben wir die Privatanteile bei Geschäftsfahrzeugen in den letzten Jahren behandelt?"
  • "Gibt es eine interne Vorlage für Fristerstreckungsgesuche?"
  • "Fasse die Korrespondenz mit dem Steueramt zu diesem Dossier zusammen."

Die Antwort kommt mit Verweis auf Dokument und Seite. Wer sie verwendet, kann sie in wenigen Sekunden prüfen.

Welche Hardware lokale KI braucht

Die wichtigste Grösse ist der Grafikspeicher (VRAM) bzw. bei Apple-Rechnern der gemeinsame Arbeitsspeicher. Das Modell muss vollständig hineinpassen, sonst wird es sehr langsam.

Offene Modelle werden in Milliarden Parametern gemessen (7B, 14B, 32B usw.). Für den Büroeinsatz werden sie meist komprimiert (quantisiert) betrieben. Bei der üblichen 4-Bit-Quantisierung brauchen sie ungefähr so viel Speicher, gemäss einer Übersicht zu Ollama-Hardware:

ModellgrösseSpeicherbedarf (4-Bit, ca.)Passt auf
7–8B5–6 GBGrafikkarte mit 8–12 GB
14B9–10 GBGrafikkarte mit 16 GB
32Brund 20 GBGrafikkarte mit 24–32 GB
70Büber 40 GBWorkstation-Karte oder Mac mit viel Speicher

Dazu kommt Speicher für den Kontext, also für die Dokumentauszüge und den Gesprächsverlauf. Bei mehreren gleichzeitigen Nutzern wächst dieser Anteil. Planen Sie deshalb Reserve ein.

Für Fragen zu eigenen Dokumenten reichen Modelle der Klasse 14B bis 32B in vielen Fällen aus, weil die Fakten aus Ihren Unterlagen kommen und das Modell sie nur zusammenfassen muss. Bei langen Verträgen, gemischten Sprachen (Deutsch, Französisch, Englisch) oder anspruchsvollen Zusammenfassungen merkt man den Unterschied zu grösseren Modellen.

Drei realistische Hardware-Varianten

Workstation mit einer Grafikkarte. Ein Rechner mit einer NVIDIA-Karte mit 24 bis 32 GB VRAM trägt ein 32B-Modell. Die RTX 5090 mit 32 GB kam für 1'999 US-Dollar auf den Markt, wird 2026 im Handel aber deutlich teurer angeboten. Für ein kleines Team ist das ein solider Einstieg.

Mac Studio. Apple-Rechner teilen den Arbeitsspeicher zwischen Prozessor und Grafik. Ein Mac Studio mit M3 Ultra und 96 GB ist in der Schweiz ab rund CHF 3'950 erhältlich und kann damit auch grössere Modelle laden. Er ist leise und sparsam, beantwortet Fragen aber langsamer als eine starke NVIDIA-Karte, wenn viele Personen gleichzeitig arbeiten.

Server mit Profi-Grafikkarte. Für 20 bis 50 Nutzer oder für 70B-Modelle kommen Karten wie die NVIDIA RTX PRO 6000 mit 96 GB in Frage. Sie startete bei rund 8'500 US-Dollar, Mitte 2026 nannte Nvidias eigener Shop 13'250 US-Dollar. Dazu kommen Servergehäuse, Speicher und Einbau.

Die Grafikkartenpreise schwanken 2026 stark, weil die Nachfrage nach KI-Hardware hoch ist. Holen Sie aktuelle Offerten ein, bevor Sie budgetieren.

Laufende Kosten

Bei lokaler KI zahlen Sie die Hardware einmal. Danach fallen an:

  • Strom (abhängig von Auslastung und Grafikkarte)
  • Wartung: Betriebssystem, Treiber, Modell-Updates, Sicherheitspatches
  • Zeit Ihrer IT oder Ihres IT-Partners
  • Ersatz der Hardware nach einigen Jahren

Es gibt keine Rechnung pro Anfrage. Ob das günstiger ist als ein Cloud-Abo, hängt davon ab, wie viele Personen die KI wie oft nutzen. Eine Rechnung mit Beispielzahlen finden Sie im Beitrag Die wahren Kosten von KI: Cloud-Tokens vs. eigene Infrastruktur.

Lokal, hybrid oder Cloud im Vergleich

LokalHybridCloud (z. B. ChatGPT Enterprise)
Wo liegen die Dokumente?Eigener ServerEigener ServerBeim Anbieter
Wo rechnet das Sprachmodell?Eigener ServerCloud-AnbieterCloud-Anbieter
Was verlässt das Haus?NichtsFrage und wenige kurze TextauszügeFrage und hochgeladene Dateien
Grafikkarte nötig?JaNeinNein
KostenmodellEinmalig Hardware plus BetriebServer plus Kosten pro AnfrageAbo pro Nutzer
Ohne Internet nutzbar?JaNeinNein

Die hybride Variante ist ein vernünftiger Kompromiss für viele Firmen. Wichtig ist, wie sie gebaut ist: Gut umgesetzt bleiben Dokumente, Suchindex und Protokolle auf Ihrem Server, und nur die Frage plus drei bis fünf kurze Auszüge gehen an das Sprachmodell in der Cloud. Schlecht umgesetzt werden ganze Dateien hochgeladen. Mehr dazu im Beitrag Nicht jedes hybride RAG ist gleich.

Gegenüber ChatGPT ist ein lokales Modell beim Allgemeinwissen und beim Schreiben schwächer. Bei Fragen zu Ihren eigenen Dokumenten fällt dieser Unterschied kleiner aus, weil die Inhalte aus Ihren Unterlagen stammen.

Was bei selbst gebauten Ollama-Lösungen im Büro schiefgeht

Ollama ist ein beliebtes Gratis-Programm, um offene Modelle auf einem eigenen Rechner zu starten. Für einen ersten Versuch am eigenen Laptop ist es ideal. Im Büro mit mehreren Personen zeigen sich schnell Lücken.

Keine Benutzerverwaltung. Ollama hat keine eingebaute Anmeldung. Wer die Adresse im Netz erreicht, kann das Modell nutzen. Cisco Talos fand 2025 über 1'100 offen im Internet erreichbare Ollama-Server, rund ein Fünftel davon mit Modellen, die ohne Berechtigung abrufbar waren.

Zugriffsrechte auf Dokumente. Wenn Sie Dokumente einbinden, sieht die KI alles, was eingelesen wurde. Die Lernende im Sekretariat bekommt dann womöglich Auszüge aus der Lohnbuchhaltung oder aus Dossiers, für die sie keine Berechtigung hat. Die Rechte aus Ihrem Dateisystem müssen bei jeder Antwort mitgeprüft werden. Einfache Bastellösungen tun das nicht.

Viele Nutzer gleichzeitig. Ein Modell, das bei einer Person flüssig antwortet, wird bei zehn gleichzeitigen Anfragen zäh. Ohne Warteschlange und passende Hardware brechen Anfragen ab.

Updates. Neue Modellversionen, Sicherheitslücken in Ollama selbst, Treiber-Updates: Jemand muss das verfolgen. Oft ist das die Person, die das System an einem Wochenende aufgesetzt hat und später nicht mehr im Haus ist.

Keine Protokolle. Wer hat wann was gefragt? Für Berufsgeheimnisträger und für Nachweise gegenüber Mandanten kann das wichtig werden.

Neue Dokumente. Die Ablage ändert sich täglich. Der Suchindex muss mitlaufen, sonst antwortet die KI auf Basis eines veralteten Standes.

Checkliste vor dem Kauf

  • Welche Ablagen soll die KI durchsuchen (Fileserver, SharePoint, DMS, E-Mail)?
  • Wie viele Personen nutzen sie gleichzeitig, und wie viele insgesamt?
  • Müssen Zugriffsrechte pro Dossier oder Mandant eingehalten werden?
  • In welchen Sprachen sind Ihre Dokumente?
  • Darf irgendein Text das Haus verlassen (dann ist hybrid möglich), oder gar nichts (dann lokal)?
  • Wer betreut Updates, Backups und Störungen?
  • Braucht es ein Protokoll der Anfragen?
  • Welches Budget gilt für Hardware, und welches für den laufenden Betrieb?

Lokale KI mit KADARAG

KADARAG ist ein KI-Assistent für Ihre Ablage, der auf Ihrem eigenen Server läuft. Er übernimmt die Teile, an denen Eigenbauten meist scheitern: Anmeldung, Zugriffsrechte aus Ihren bestehenden Dateiberechtigungen, laufende Indexierung neuer Dokumente, Quellenangaben mit Seitenzahl und Protokolle. Sie wählen den lokalen Betrieb ohne Internet oder den hybriden Betrieb ohne Grafikkarte, bei dem nur Frage und kurze Auszüge an ein Cloud-Modell gehen.

Nächster Schritt

Nehmen Sie die Checkliste oben und beantworten Sie die Fragen mit Ihrer IT. Damit lässt sich die nötige Hardware auf eine Variante eingrenzen. Wenn Sie das gemeinsam mit uns durchgehen möchten, vereinbaren Sie ein Erstgespräch.

Sehen Sie KADARAG mit Ihren eigenen Fragen

30 Minuten, unverbindlich. Wir zeigen Ihnen, wie KADARAG mit Unterlagen wie Ihren arbeitet, und klären, ob lokal oder hybrid passt.