[LAYER_5] Sentinel Core: Lokales RAG & LLM ohne Cloud-Abhängigkeit

Wir haben die Fabric gehärtet, die Security-Zonen definiert, die Governance via GitOps etabliert und die Identität via OIDC abgesichert. Jetzt folgt die Krönung von Project Sentinel: Die AI Plane. Hier beweisen wir, dass hochperformante KI-Assistenz keine Internetverbindung und keine 40.000-Euro-GPUs benötigt, um KRITIS-Infrastrukturen zu auditieren.

Die Architektur der Intelligenz

Sentinel Core ist keine monolithische "Black Box", sondern ein fein abgestimmter Container-Stack, der auf dem Management-Host (MGMT-01) operiert.

• Sentinel Core App: Das Frontend (Streamlit-basiert) für den Technical Lead. Hier laufen die Analyse-Threads zusammen.
• Ollama (LLM Engine): Das Kraftwerk. Es hostet die Large Language Models lokal und stellt eine OpenAI-kompatible API bereit.
• ChromaDB (Vector Database): Das digitale Langzeitgedächtnis. Hier werden sensible Dokumente (Netzpläne, BSI-Vorgaben, CFG-Files) in Vektoren transformiert und indexiert (RAG - Retrieval Augmented Generation).

Local RAG: Dokumenten-Analyse im Air-Gap

Der größte Mehrwert für den Betrieb liegt im lokalen RAG-Prozess. Anstatt ein Modell mühsam feinjustieren zu müssen ("Fine-Tuning"), füttern wir Sentinel mit dem aktuellen Kontext der Infrastruktur.

Der Workflow:

1. Ingest: Ein Cisco-Nexus-Config-File wird hochgeladen.
2. Embedding: Das System zerlegt den Text in Chunks und speichert sie in der lokalen ChromaDB.
3. Query: Der Architekt fragt: "Entspricht die vPC-Konfiguration auf Leaf-01 den internen Hardening-Vorgaben?"
4. Inferenz: Die KI zieht sich die relevanten Config-Schnipsel und liefert eine deterministische Antwort – ohne dass ein einziges Token den internen Perimeter verlässt.

Technical Highlight: CPU-Inferenz-Tuning (Modell-Aliasing)

Die größte Herausforderung beim Betrieb lokaler LLMs auf Standard-Serverhardware (ohne NVIDIA-GPUs) ist die Latenz. Ein Standard Llama3-8B Modell benötigt auf reinen CPUs oft Minuten für eine Antwort. Das ist für den operativen Betrieb inakzeptabel.

Die Lösung (The Architect's Hack):
Wir nutzen das hocheffiziente Qwen2.5-1.5B Modell. Dieses Modell ist klein genug, um auf CPUs extrem schnell zu reagieren, aber erstaunlich präzise in der Code-Analyse.

Um die Kompatibilität mit bestehenden Toolchains zu wahren, haben wir ein Modelfile-Aliasing durchgeführt:

codeBash

# Erstellung eines Custom Modelfiles in Ollama
FROM qwen2.5:1.5b
PARAMETER temperature 0.3
SYSTEM "You are a KRITIS Security Expert. Analyze network configs based on BSI standards."

Wir deklarieren dieses Modell im System als Standard-Inferenz-Endpoint. Das Ergebnis: Die Antwortlatenz sank von über 180 Sekunden auf unter 5 Sekunden. Souveräne Intelligenz in Fast-Realtime.

Fazit der Case-Study: Project Sentinel ist Operational

Mit Layer 5 schließt sich der Kreis. Project Sentinel demonstriert, dass moderne IT-Architektur keine Kompromisse zwischen Innovation (KI) und Sicherheit (KRITIS) machen muss. Wir haben bewiesen:

• Infrastruktur ist Code.
• Identität ist der Perimeter.
• KI ist lokal.

Status: Mission Accomplished. Sovereign AI Online.
Architekt: Dieter Bänisch