KI-SCHNITTSTELLE · SELF-HOSTED LLM

Lokales LLM self-hosted integrieren

Ihre Daten dürfen das Haus nicht verlassen, aber Sie wollen trotzdem ein KI-Modell in Ihrer Software? Wir betreiben ein self-hosted LLM (Ollama, vLLM, llama.cpp) auf Ihrem Server und binden es über eine OpenAI-kompatible API an. Entwickelt, angebunden und betrieben aus einer Hand.

Per Nachricht anfragen → Alle Systeme, die wir anbinden

Warum ein self-hosted LLM?

Wenn Firmendaten das Haus nicht verlassen dürfen — Kanzlei, Arztpraxis, Behörde, Industrie-IP —, ist ein self-hosted Modell der sauberste Weg: kein Dritt-Prozessor, keine US-Cloud, kein Anbieter-DPA nötig, volle DSGVO-Kontrolle. Das ist arians stärkster Datenschutz-Winkel und die konsequente Umsetzung von „lokaler KI“.

Wir setzen quelloffene Modelle über eine Runtime (Ollama, vLLM oder llama.cpp) auf Ihrem Server auf und binden sie über eine OpenAI-kompatible API an — bestehender OpenAI-Client-Code läuft oft mit nur geänderter Basis-URL weiter, das Datenschutz-Upgrade also ohne Code-Rewrite.

Vertrauen von Unternehmen aus der Region

XK Aesthetics Dr. Kolussis — Kunde von arian IT Service

ESGE Edelstahl und Service — Kunde von arian IT Service

Mongo's Restaurant — Kunde von arian IT Service

SELF-HOSTED-SZENARIEN

Was wir mit lokale LLMs bauen

Konkrete Integrations-Szenarien — kein Baukasten von der Stange.

Streng vertraulicher Assistent

Firmendaten verlassen das Haus nie — für Kanzlei, Praxis, Behörde oder schützenswertes Industrie-Know-how.

On-Prem-RAG

Assistent auf Fileshares/DMS/Wiki mit lokalem Embedding-Modell.

Air-gapped / offline

Betrieb ohne Internetverbindung.

Serien-Klassifikation/-Extraktion

Große Mengen verarbeiten ohne Pro-Token-Cloud-Kosten (nach Hardware-Invest).

Drop-in-Ersatz einer Cloud-API

Über den OpenAI-kompatiblen Endpunkt eine Cloud-Anbindung datenschutzfreundlich ablösen.

Edge / Filiale

Kleines Modell lokal auf moderater Hardware (llama.cpp/Ollama).

Wie wir lokale LLMs anbinden

Wir wählen die passende Runtime — Ollama (einfach), vLLM (Produktion, hoher Durchsatz) oder llama.cpp (Edge/CPU) — und ein passendes offenes Modell, betreiben es auf Ihrem Server und sichern den OpenAI-kompatiblen Endpunkt (Reverse-Proxy, API-Key, mTLS). Die Integration entwickeln wir als echte Softwareentwicklung und betreiben sie weiter — als Ihr IT-Partner für Düsseldorf und Bonn.

Das ist die technische Umsetzung zu unserer Strategie DSGVO-konforme KI; den Use-Case-Rahmen liefert KI-Automatisierung, ein Chatbot auf Firmenwissen KI-Chatbot. Teil unserer Systemintegration.

TECHNIK

Technische Details zur lokale LLMs-Anbindung

Womit wir arbeiten — offengelegt, damit Sie wissen, worauf Sie sich verlassen.

Schnittstelle

Self-hosted Runtimes: Ollama (einfach), vLLM (Produktion, hoher Durchsatz), llama.cpp (Edge/CPU) — alle mit OpenAI-kompatibler HTTP-API (/v1/chat/completions, /v1/embeddings), REST/JSON, Streaming SSE.

Authentifizierung

selbst gesetzt (Reverse-Proxy, API-Key, mTLS) — auf Ihrem Server, Daten bleiben im Haus.

Modelle & Objekte

offene Modelle (Llama, Qwen, Mistral, Gemma, Phi), lokale Embeddings (nomic/bge/e5); Function-Calling & Structured Output modellabhängig.

Gut zu wissen

DSGVO: Daten bleiben zu 100 % im Haus (On-Prem/EU-VPC) — kein Dritt-Prozessor, keine US-Cloud. Lizenz je Modell prüfen: Llama ist KEIN echtes Open Source („Built with Llama“, Namenspflicht, Sonderlizenz ab 700 Mio. MAU), Gemma mit Restriktionen, Qwen meist Apache 2.0. „Lokal = kostenlos“ stimmt nicht: Hardware (GPU/VRAM), Betrieb und Skalierung kommen dazu; Frontier-Aufgaben bleiben eine Cloud-Domäne.

FAQ

Häufige Fragen zur lokale LLMs-Anbindung

Bleiben die Daten wirklich im Haus?

Ja. Das Modell läuft auf Ihrem Server (On-Prem oder EU-VPC) — kein Dritt-Prozessor, keine US-Cloud. Volle DSGVO-Kontrolle; arian ist dabei ggf. Ihr Auftragsverarbeiter.

Welche Modelle und welche Lizenz?

Offene Modelle wie Qwen (meist Apache 2.0), Llama, Mistral, Gemma, Phi. Achtung: Llama ist kein echtes Open Source und Gemma hat Restriktionen — die Lizenz prüfen wir pro Modell vor dem Einsatz.

Läuft bestehender OpenAI-Code weiter?

Meist ja — die Runtimes bieten eine OpenAI-kompatible API, sodass oft nur die Basis-URL geändert werden muss. Datenschutz-Upgrade ohne Code-Rewrite.

Was brauchen wir an Hardware?

Je nach Modellgröße GPU/VRAM bzw. für kleine Modelle auch CPU. „Lokal = kostenlos“ stimmt nicht — Hardware und Betrieb kommen dazu; wir dimensionieren das passend zum Anwendungsfall.