KI-SCHNITTSTELLE · SELF-HOSTED LLM

Lokales LLM self-hosted integrieren

Ihre Daten dürfen das Haus nicht verlassen, aber Sie wollen trotzdem ein KI-Modell in Ihrer Software? Wir betreiben ein self-hosted LLM (Ollama, vLLM, llama.cpp) auf Ihrem Server und binden es über eine OpenAI-kompatible API an. Entwickelt, angebunden und betrieben aus einer Hand.

Per Nachricht anfragen → Alle Systeme, die wir anbinden

Warum ein self-hosted LLM?

Wenn Firmendaten das Haus nicht verlassen dürfen, Kanzlei, Arztpraxis, Behörde, Industrie-IP , , ist ein self-hosted Modell der sauberste Weg: kein Dritt-Prozessor, keine US-Cloud, kein Anbieter-DPA nötig, volle DSGVO-Kontrolle. Das ist arians stärkster Datenschutz-Winkel und die konsequente Umsetzung von „lokaler KI“.

Wir setzen quelloffene Modelle über eine Runtime (Ollama, vLLM oder llama.cpp) auf Ihrem Server auf und binden sie über eine OpenAI-kompatible API an, bestehender OpenAI-Client-Code läuft oft mit nur geänderter Basis-URL weiter, das Datenschutz-Upgrade also ohne Code-Rewrite.

Vertrauen von Unternehmen aus der Region

Tele Pizza AG, Kunde von arian IT Service

XK Aesthetics Dr. Kolussis, Kunde von arian IT Service

ESGE Edelstahl und Service, Kunde von arian IT Service

Mongo's Restaurant, Kunde von arian IT Service

SELF-HOSTED-SZENARIEN

Was wir mit lokale LLMs bauen

Konkrete Integrations-Szenarien, kein Baukasten von der Stange.

Streng vertraulicher Assistent

Firmendaten verlassen das Haus nie, für Kanzlei, Praxis, Behörde oder schützenswertes Industrie-Know-how.

On-Prem-RAG

Assistent auf Fileshares/DMS/Wiki mit lokalem Embedding-Modell.

Air-gapped / offline

Betrieb ohne Internetverbindung.

Serien-Klassifikation/-Extraktion

Große Mengen verarbeiten ohne Pro-Token-Cloud-Kosten (nach Hardware-Invest).

Drop-in-Ersatz einer Cloud-API

Über den OpenAI-kompatiblen Endpunkt eine Cloud-Anbindung datenschutzfreundlich ablösen.

Edge / Filiale

Kleines Modell lokal auf moderater Hardware (llama.cpp/Ollama).

Wie wir lokale LLMs anbinden

Wir wählen die passende Runtime, Ollama (einfach), vLLM (Produktion, hoher Durchsatz) oder llama.cpp (Edge/CPU), und ein passendes offenes Modell, betreiben es auf Ihrem Server und sichern den OpenAI-kompatiblen Endpunkt (Reverse-Proxy, API-Key, mTLS). Die Integration entwickeln wir als echte Softwareentwicklung und betreiben sie weiter, als Ihr IT-Partner für Düsseldorf und Bonn.

Das ist die technische Umsetzung zu unserer Strategie DSGVO-konforme KI; den Use-Case-Rahmen liefert KI-Automatisierung, ein Chatbot auf Firmenwissen KI-Chatbot. Teil unserer Systemintegration.

TECHNIK

Technische Details zur lokale LLMs-Anbindung

Womit wir arbeiten, offengelegt, damit Sie wissen, worauf Sie sich verlassen.

Schnittstelle

Self-hosted Runtimes: Ollama (einfach), vLLM (Produktion, hoher Durchsatz), llama.cpp (Edge/CPU), alle mit OpenAI-kompatibler HTTP-API (/v1/chat/completions, /v1/embeddings), REST/JSON, Streaming SSE.

Authentifizierung

selbst gesetzt (Reverse-Proxy, API-Key, mTLS), auf Ihrem Server, Daten bleiben im Haus.

Modelle & Objekte

offene Modelle (Llama, Qwen, Mistral, Gemma, Phi), lokale Embeddings (nomic/bge/e5); Function-Calling & Structured Output modellabhängig.

Gut zu wissen

DSGVO: Daten bleiben zu 100 % im Haus (On-Prem/EU-VPC), kein Dritt-Prozessor, keine US-Cloud. Lizenz je Modell prüfen: Llama ist KEIN echtes Open Source („Built with Llama“, Namenspflicht, Sonderlizenz ab 700 Mio. MAU), Gemma mit Restriktionen, Qwen meist Apache 2.0. „Lokal = kostenlos“ stimmt nicht: Hardware (GPU/VRAM), Betrieb und Skalierung kommen dazu; Frontier-Aufgaben bleiben eine Cloud-Domäne.

FAQ

Häufige Fragen zur lokale LLMs-Anbindung

Bleiben die Daten wirklich im Haus?

Ja. Das Modell läuft auf Ihrem Server (On-Prem oder EU-VPC), kein Dritt-Prozessor, keine US-Cloud. Volle DSGVO-Kontrolle; arian ist dabei ggf. Ihr Auftragsverarbeiter.

Welche Modelle und welche Lizenz?

Offene Modelle wie Qwen (meist Apache 2.0), Llama, Mistral, Gemma, Phi. Achtung: Llama ist kein echtes Open Source und Gemma hat Restriktionen, die Lizenz prüfen wir pro Modell vor dem Einsatz.

Läuft bestehender OpenAI-Code weiter?

Meist ja, die Runtimes bieten eine OpenAI-kompatible API, sodass oft nur die Basis-URL geändert werden muss. Datenschutz-Upgrade ohne Code-Rewrite.

Was brauchen wir an Hardware?

Je nach Modellgröße GPU/VRAM bzw. für kleine Modelle auch CPU. „Lokal = kostenlos“ stimmt nicht, Hardware und Betrieb kommen dazu; wir dimensionieren das passend zum Anwendungsfall.