Die eigene KI im Haus – Ihre Daten bleiben bei Ihnen
Große Sprachmodelle laufen heute auch auf eigener Hardware – im Serverraum oder im Rechenzentrum in der EU. Damit nutzen Sie KI für Angebote, Dokumentation und Wissenssuche, ohne dass Konstruktionsdaten, Kundenakten oder Verträge Ihr Unternehmen verlassen.
Warum eine eigene KI?
Öffentliche KI-Dienste sind bequem – aber jede Eingabe verlässt das Unternehmen. Für viele Mittelständler ist das bei sensiblen Inhalten keine Option: Zeichnungen und Verfahren, Personaldaten, Mandanten- und Kundenakten, Kalkulationen. Hinzu kommen Abhängigkeiten von Preismodellen und Nutzungsbedingungen einzelner Anbieter.
Datenhoheit
Modelle und Dokumente liegen auf Ihrer Hardware oder in einem Rechenzentrum in der EU unter Ihrer Kontrolle. Keine Eingabe fließt in das Training fremder Modelle.
Ihr Wissen nutzbar machen
Die KI beantwortet Fragen auf Basis Ihrer eigenen Dokumente – Handbücher, Normen, Angebote, Prüfberichte – mit Quellenangabe.
Planbare Kosten
Statt Gebühren je Benutzer und Anfrage zahlen Sie für Hardware und Betrieb – bei regelmäßiger Nutzung oft günstiger und vor allem kalkulierbar.
Wie funktioniert das technisch?
Offene Sprachmodelle
Es gibt inzwischen leistungsfähige offene Modelle, die sich lokal betreiben lassen und Deutsch gut beherrschen. Sie werden auf einem Server mit einer oder mehreren Grafikkarten (GPU) ausgeführt. Faustregel: Kleinere Modelle mit 7 bis 14 Milliarden Parametern laufen bereits auf einer einzelnen Grafikkarte mit 24 GB Speicher flüssig und genügen für Zusammenfassungen, Entwürfe und Übersetzungen. Größere Modelle für anspruchsvolle Aufgaben benötigen eine oder mehrere Karten mit 48 bis 80 GB Speicher. Die Wahl richtet sich nach Aufgabe, Nutzerzahl und gewünschter Antwortgeschwindigkeit.
RAG – die KI liest Ihre Dokumente
Mit der sogenannten Retrieval Augmented Generation (RAG) durchsucht das System zu jeder Frage zunächst Ihre Dokumentenbestände – etwa Netzlaufwerke, ein Dokumentenmanagementsystem oder SharePoint – und gibt dem Modell die passenden Abschnitte mit. Die Antwort enthält Verweise auf die Quellen, sodass Mitarbeitende sie nachprüfen können. Das Modell muss dafür nicht neu trainiert werden.
Zugriffsrechte wie gewohnt
Entscheidend für die Sicherheit: Die KI darf nur zeigen, was der jeweilige Benutzer auch sonst sehen darf. Die Anmeldung erfolgt über Ihr bestehendes Verzeichnis (Active Directory oder Entra ID) mit Multi-Faktor-Authentisierung, die Dokumentrechte werden übernommen, Zugriffe werden protokolliert.
Typische Einsatzfälle im Mittelstand
- Wissenssuche: „Welche Toleranzen gelten für Bauteil X?" – Antwort aus Zeichnungsstandards und Prüfberichten.
- Angebote und Korrespondenz: Entwürfe auf Basis früherer Angebote, Textbausteine und Preislisten.
- Dokumentation: Arbeitsanweisungen, Prüfprotokolle, Betriebs- und Notfallhandbücher erstellen und aktuell halten.
- Service und Support: Interner Assistent für häufige Fragen von Mitarbeitenden oder Kunden.
- Übersetzung und Zusammenfassung vertraulicher Unterlagen, ohne Upload ins Internet.
On-premises oder Rechenzentrum in der EU?
Im eigenen Haus haben Sie die maximale Kontrolle; benötigt werden ein geeigneter Serverplatz, Kühlung und Stromversorgung. Im Rechenzentrum in der EU sparen Sie Investitionen und skalieren flexibel – mit dedizierter Hardware, verschlüsselter Anbindung und klaren Verträgen zur Auftragsverarbeitung. Beide Varianten lassen sich kombinieren, etwa kleine Modelle im Haus und große im Rechenzentrum.
Der Einstieg in fünf Schritten
- Anwendungsfälle auswählen: Zwei bis drei Aufgaben mit spürbarem Nutzen und klaren Datenquellen.
- Pilot aufsetzen: Ein Server, ein passendes offenes Modell, eine ausgewählte Dokumentensammlung, eine kleine Nutzergruppe.
- Qualität messen: Stimmen die Antworten? Sind die Quellen richtig? Wie schnell ist das System?
- Absichern: Anmeldung über Ihr Verzeichnis, Rechtekonzept, Protokollierung, Datensicherung, KI-Richtlinie und Schulung (KI-Kompetenz nach Art. 4 KI-Verordnung).
- Ausbauen: Weitere Abteilungen und Datenquellen anbinden, Hardware nach tatsächlichem Bedarf erweitern.
Ein solcher Pilot ist in wenigen Wochen umsetzbar – und liefert eine belastbare Grundlage für die Entscheidung über den produktiven Betrieb.
Was kostet eine eigene KI – und was bringt sie?
Die Kosten bestehen im Wesentlichen aus Hardware oder Rechenzentrumskapazität, Einrichtung und laufendem Betrieb. Ein Einstiegssystem für eine Abteilung bewegt sich – je nach Grafikkarte – im Bereich eines gut ausgestatteten Servers; leistungsstärkere Systeme für viele gleichzeitige Nutzer oder große Modelle liegen deutlich darüber. Alternativ lassen sich GPU-Server im Rechenzentrum in der EU monatlich mieten, sodass keine Investition nötig ist.
Dem steht ein messbarer Nutzen gegenüber: Wenn Mitarbeitende Informationen in Sekunden statt in Minuten finden, Angebote schneller entstehen und Dokumentation nicht mehr liegen bleibt, rechnet sich ein System oft schon bei wenigen intensiven Nutzern. Wir empfehlen deshalb, im Pilot die Zeitersparnis bei zwei bis drei konkreten Aufgaben zu messen – das liefert eine belastbare Entscheidungsgrundlage statt Schätzungen.
Worauf Sie achten sollten
- Qualität vor Größe: Ein gut angebundener Dokumentenbestand bringt oft mehr als ein größeres Modell.
- Datenpflege: Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten – ein Aufräumen der Ablage lohnt sich doppelt.
- Grenzen kennen: Auch lokale Modelle können sich irren. Antworten mit Quellenangaben und eine menschliche Prüfung bei wichtigen Entscheidungen bleiben Pflicht.
- Betrieb einplanen: Updates der Modelle und Software, Überwachung, Datensicherung und Zugriffskontrolle gehören von Anfang an dazu.
Wie HA-Net Sie unterstützt
- KI-Beratung: Auswahl der Anwendungsfälle, Modelle und Hardware – herstellerunabhängig.
- Aufbau und Betrieb der KI-Plattform im Haus oder im Rechenzentrum in der EU, inklusive Anbindung Ihrer Dokumente.
- Sicherheit: Managed Secure Access mit Zero Trust und Multi-Faktor-Anmeldung, Protokollierung im SIEM/SOC, Managed Backup und Managed Monitoring für den Dauerbetrieb.
- Governance: KI-Richtlinie, Freigabeprozess und Schulungen – passend zu AI Act und DSGVO.
Ihre eigene KI – sicher und souverän
Lassen Sie uns gemeinsam herausfinden, welcher Einstieg für Ihr Unternehmen sinnvoll ist.
Kontakt aufnehmenStand: Oktober 2026. Hardware-Angaben sind Richtwerte und hängen von Modell, Nutzerzahl und Anforderungen ab. Dieser Beitrag ersetzt keine Rechtsberatung. Quellen: Verordnung (EU) 2024/1689 – KI-Verordnung (EUR-Lex) · BSI – Künstliche Intelligenz · EU-Kommission – Rechtsrahmen für KI