Internes LLM erstellen: Firmenwissen statt Halluzination

Die Entscheidung steht: Das Unternehmen soll ein eigenes internes LLM bekommen, quasi ein firmeneigenes ChatGPT, auf das sich jede Mitarbeiterin und jeder Mitarbeiter verlassen kann, ohne Angst vor erfundenen Antworten. Auf dem Papier klingt das nach der saubersten Lösung überhaupt.

In der Praxis ist es ein eigenständiges Infrastrukturprojekt, mit allem, was dazugehört: einem Basismodell, eigenem Serverbetrieb und einer Technik, die dafür sorgt, dass das System wirklich nur aus Firmenwissen antwortet. Was genau dahintersteckt, wo die Grenzen liegen und wie Unternehmen das Thema in der Praxis angehen, zeigt dieser Artikel.

Was ein internes LLM eigentlich ist

Ein internes LLM ist ein Sprachmodell, das ein Unternehmen selbst hostet und betreibt, auf eigenen Servern oder in einer eigens abgesicherten privaten Cloud. Über eine Anbindung an interne Quellen, etwa Handbücher, SOPs, interne Wikis, Schulungsunterlagen oder Produktdokumentation, lassen sich seine Antworten gezielt auf diese Inhalte stützen. Hierbei können bestimmte Bereiche auch bewusst ausgelassen werden. Die Daten und die Verarbeitung laufen dabei vollständig innerhalb der eigenen Infrastruktur, nicht über die Server eines Drittanbieters wie OpenAI, Anthropic oder Google. KI-Assistent ist dabei der Oberbegriff: Darunter fallen sowohl selbst gehostete interne LLMs als auch Managed-Service-Lösungen wie der Elephant KI-Assistent.

Wie ist ein internes LLM technisch aufgebaut?

Drei Bausteine braucht es dafür typischerweise:

1. Ein Basismodell: Meist Open Source oder source available wie Llama, Mistral oder Qwen. Die meisten Varianten sind für Unternehmen kostenlos nutzbar, je nach Modell und Unternehmensgröße gelten aber Nutzungsgrenzen oder kommerzielle Lizenzbedingungen, die vorab geprüft werden sollten. Llama etwa erlaubt kommerzielle Nutzung kostenlos, außer das eigene Unternehmen hat inklusive verbundener Unternehmen insgesamt über 700 Millionen monatlich aktive Nutzer in eigenen Produkten, dann ist eine separate Lizenz bei Meta nötig. Zudem schließt die Lizenz bestimmte Anwendungsfälle aus und verlangt ab Llama 3, dass eigene Fine Tunes "Llama" im Namen tragen. Bei Mistral sind die meisten offenen Modelle unter Apache 2.0 frei nutzbar, einzelne Modelle wie Devstral 2 123B verlangen eine kostenpflichtige Lizenz, sobald der weltweite monatliche Konzernumsatz des nutzenden Unternehmens 20 Millionen US Dollar übersteigt. Bei Qwen sind kleinere Varianten meist Apache 2.0, ältere große Modelle wie Qwen 72B hatten eine eigene Lizenz mit einer Grenze von 100 Millionen monatlich aktiven Nutzern. Die aktuelle Generation Qwen3 steht durchgängig unter Apache 2.0, auch in den großen Varianten.

2. Eigene oder gemietete Serverinfrastruktur: Mit ausreichend Rechenleistung, auf der das Modell läuft.

3. Eine Retrieval-Architektur (RAG): Sie gleicht Fragen zunächst mit den passenden internen Inhalten, dem sogenannten Firmenwissen, ab, bevor das Modell daraus eine Antwort formuliert. Statt eine Antwort direkt aus dem trainierten Gedächtnis des Modells zu generieren, sucht das System zuerst die Textstelle, die inhaltlich zur Frage passt, nicht nur nach übereinstimmenden Wörtern, sondern nach Bedeutung und übergibt erst diese gefundene Stelle zusammen mit der Frage an das Modell.

Dazu kommt laufender Betrieb: Modell-Updates, Sicherheitspatches, Zugriffsrechte, Skalierung bei steigender Nutzung. Technisch machbar, aber ein dauerhafter IT-Aufwand, den viele Unternehmen so nicht betreiben wollen oder können.

ChatGPT oder Claude als Alternative zum internen LLM: möglich, aber aufwendig

ChatGPT und andere Optionen wie Claude oder Gemini funktionieren bei einfachen Anfragen und niedrigschwelligen Themen sehr gut. Technisch lässt sich auch mehr anbinden, als man zunächst denkt: Google Drive oder Confluence lassen sich bei ChatGPT ebenfalls verbinden, und mit einer Business- oder Enterprise-Lizenz werden Eingaben nicht zum Training des Modells verwendet. Der Unterschied zu einem dedizierten KI-Assistenten liegt also nicht darin, dass ChatGPT das grundsätzlich nicht könnte.

Der eigentliche Unterschied liegt im Aufwand und in der Konsistenz:Individuelle statt zentrale Konfiguration. Bei ChatGPT oder Claude muss jede Person selbst festlegen, aus welchem Wissen geantwortet werden soll, und über eigene Prompts oder Custom Instructions dafür sorgen, dass ausschließlich aus diesem Wissen zitiert wird. Das funktioniert, hängt aber von der Sorgfalt jeder einzelnen Person ab und lässt sich über ein größeres Team kaum konsistent halten. Ein dedizierter KI-Assistent wird dagegen einmal zentral eingerichtet und gilt automatisch für alle Mitarbeitenden gleich, ohne dass jede Person selbst etwas konfigurieren oder prompten muss.

Der Wechsel zu einer dedizierten Lösung muss also nicht zwingend erfolgen, weil ChatGPT technisch limitiert wäre, sondern weil sich Konsistenz, Governance und Auswertung ohne Konfigurationsaufwand für einzelne Mitarbeitende zentral abbilden lassen.

Der Elephant KI-Assistent als Alternative zum internen LLM

Der Elephant KI-Assistent verfolgt dasselbe Ziel wie ein internes LLM, quellenbasierte Antworten aus Firmenwissen, löst es aber ohne eigene Infrastruktur. Statt ein Modell selbst zu hosten, läuft die Retrieval-Logik als Managed Service: Dokumente hochladen oder Quellen wie SharePoint, Confluence oder Google Drive verbinden, der Rest läuft automatisch. Verbundene Quellen synchronisieren sich dabei automatisch, alle 24 Stunden. Ändert sich ein SOP auf SharePoint, steht die aktualisierte Fassung ohne manuellen Aufwand im Assistenten zur Verfügung. Die zentralen Unterschiede zu einem klassischen internen LLM sind Einfachheit statt Infrastrukturaufwand, dazu zwei Sicherheitsmerkmale: Antworten stammen ausschließlich aus freigegebenem Firmenwissen, und fehlende Quellen werden offen benannt, statt eine Antwort zu erfinden. Jede Antwort verlinkt zusätzlich die Originalstelle im Quelldokument, sodass Mitarbeitende selbst nachprüfen können, woher die Information stammt. Technisch ist das auch bei einem selbst gehosteten internen LLM möglich, muss dort aber erst selbst entwickelt und gepflegt werden, statt von Anfang an eingebaut zu sein. Das macht den Assistenten nicht zu einem internen LLM im klassischen Sinn, sondern zu einer einfacheren Alternative für Unternehmen, die dieselben Vorteile wollen, ohne selbst Modelle zu hosten und zu betreiben.

Teamleads entlasten, gerade in den ersten Monaten

Der größte Effekt eines KI-Assistenten, wie dem von Elephant zeigt sich nicht bei erfahrenen Mitarbeitenden, sondern bei neuen. Wer erst wenige Wochen oder Monate dabei ist, hat naturgemäß die meisten Rückfragen, und genau diese Rückfragen landen meist beim Teamlead, weil er oder sie am schnellsten verfügbar ist.Masijar Khedmatgozar, Senior Team Lead bei Enpal, beschreibt den Effekt so: „Der KI-Assistent optimiert unsere Arbeitsprozesse, indem er Routinefragen schnell und präzise beantwortet. Dadurch gewinnen wir Führungskräfte mehr Zeit für unsere Kernaufgaben, ohne durch häufige Anfragen unterbrochen zu werden." Im Fall von Enpal Montage GmbH, einem mehrsprachigen Field-Service-Team, dokumentiert Elephant für das Onboarding konkrete Effekte: 30 Prozent schnellere Einarbeitung und 40 Prozent weniger Präsenztraining, bei über 9.000 Fragen pro Monat, die der KI-Assistent direkt beantwortet, ohne dass ein Teamlead eingebunden werden musste.

Der Elephant KI-Assistent im Alltag

Konkret sieht die einfachere Alternative so aus:

• Fragen können per Text, Sprachnotiz oder Foto gestellt werden, etwa ein Foto eines Fehlercodes an einer Anlage. Antworten kommen in über 95 Sprachen, unabhängig davon, in welcher Sprache das Quelldokument vorliegt, was gerade in Teams mit vielen Nationalitäten relevant ist. Unterstützt werden gängige Formate wie PDF, DOCX, PPTX, XLSX, CSV und Videos.
• Jede gestellte Frage wird zusätzlich als Datenpunkt ausgewertet. Die integrierte Fragen-Analyse zeigt, zu welchen Themen häufig gefragt wird und wo der Assistent keine zufriedenstellende Antwort liefern konnte, filterbar nach Team, Zeitraum und Feedback-Typ. Das macht Wissenslücken sichtbar, bevor sie zu echten Problemen im Feld werden, und ist deutlich präziser als eine nachträgliche Mitarbeiterbefragung.
• Gehostet wird die Plattform in Deutschland, abgesichert über eine Auftragsverarbeitungsvereinbarung nach Art. 28 DSGVO.

Worauf ihr bei der Auswahl eines KI-Assistenten achten solltet

Nicht jedes Tool, das sich KI-Assistent nennt, bietet auch die Quellentreue eines gut umgesetzten internen LLM. Ein paar Fragen, die sich vor der Entscheidung lohnen:

• Antwortet das System ausschließlich aus eurem Firmenwissen oder mischt es unbemerkt freies Wissen aus dem Internet ein? Nur die erste Variante schließt Halluzination durch fremde, ungeprüfte Quellen aus.
• Was passiert, wenn keine passende Quelle gefunden wird? Sagt das System das offen, oder liefert es trotzdem eine Antwort, nur eben geraten?
• Lässt sich das Tool an eure bestehenden Quellen anbinden, etwa SharePoint, Confluence oder Google Drive, und wie häufig synchronisiert es? Ohne automatischen Sync pflegt am Ende doch wieder jemand manuell zwei Systeme parallel.
• Wo werden die Daten verarbeitet, und gibt es eine DSGVO-konforme Auftragsverarbeitungsvereinbarung nach Art. 28? Das ist eine der entscheidenden Fragen zur Datensouveränität, neben dem Serverstandort selbst.
• Lassen sich Zugriffsrechte pro Team einschränken, damit jedes Team nur das Wissen sieht, das für die eigene Arbeit relevant ist?
• Zeigt das Tool, wo Wissen fehlt? Eine Fragen-Analyse macht sichtbar, welche Themen häufig auftauchen und wo keine gute Antwort existiert, das ist der eigentliche Hebel für bessere Dokumentation.
• Unterstützt das System die Sprachen und Dateiformate, die euer Team tatsächlich braucht, und gibt es einen Feedback-Loop, mit dem sich Antworten laufend nachbessern lassen?

Der wichtigste Punkt aber ist: Die Qualität der Antworten hängt am Ende ohnehin direkt von der Qualität und Aktualität der angebundenen Dokumente ab. Ein System, das auf veralteten SOPs aufsetzt, liefert veraltete Antworten, so gut die zugrunde liegende Technik auch ist.

Fazit

Ein internes LLM im eigentlichen Sinn, selbst gehostet, auf eigenen Servern betrieben, löst ein sehr konkretes Problem: Mitarbeitende sollen schnell und verlässlich an Firmenwissen kommen, ohne dass sensible Daten das Unternehmen verlassen und ohne dass ein Sprachmodell aus Verlegenheit Antworten erfindet. Der Preis dafür ist ein dauerhaftes Infrastruktur- und IT-Projekt. Wer dieses Ziel erreichen will, ohne selbst Modelle zu hosten und zu betreiben, findet in Lösungen wie dem Elephant KI-Assistenten eine einfachere und kostengünstigere Alternative: quellenbasierte Antworten aus freigegebenem Firmenwissen, DSGVO-konform gehostet in Deutschland, ohne eigenes IT-Großprojekt. Das ist kein internes LLM im klassischen Sinn, sondern ein pragmatischer Weg zum selben Nutzen, genau da, wo der Aufwand im Arbeitsalltag heute am größten ist: bei den immer gleichen Fragen, die sonst bei den Teamleads landen.