Souveräne KI für Unternehmen Sie wollen generative KI gewinnbringend und sicher in die Unternehmens-IT integrieren? Dann sind Sie hier richtig. Dieses Buch zeigt Ihnen, wie Sie eine komplette KI-Infrastruktur mit Open-Source-Tools aufbauen und dabei die volle Kontrolle über Ihre Daten behalten. Ingmar Stapel führt Sie durch einen kuratierten Stack für digitale Souveränität : von Ollama als KI-Motor über Open WebUI als professionelles Cockpit bis hin zu RAGFlow für komplexes Firmenwissen. Mit detaillierter TCO-Analyse, Schritt-für-Schritt-Anleitungen und Integration über MCP bauen Sie Ihre eigene KI-Infrastruktur auf lokal, kontrolliert und EU AI Act-konform .

• Komplette KI-Plattform mit Ollama, Open WebUI, RAGFlow und n8n aufbauen

• RAG und Fine-Tuning intelligent kombinieren für maximale Effizienz

• Inklusive Kreativ-Werkstatt für Bild- und Videogenerierung mit ComfyUI
  Aus dem Inhalt:

• Hardware-Auswahl und TCO-Analyse

• Basisinfrastruktur mit Docker

• KI-Modelle und Lizenzen

• Ollama als KI-Engine

• n8n und Flowise AI

• Fine-Tuning mit LLaMA Factory

• ComfyUI für Bildgenerierung

• EU AI Act und Compliance

• Open WebUI als Cockpit

• Prompt Engineering

• RAG und RagFlow für Unternehmens-Know-How

• Model Context Protocol (MCP)

Autorentext
Ingmar Stapel ist Diplom-Informatiker (FH) und seit über 20 Jahren in der Automotive-IT tätig. Als GenAI Innovation Manager begleitet und gestaltet er den Wandel seiner Organisationen hin zu generativer KI und agentischen Systemen: In dieser Rolle berät er, gibt die strategische Richtung vor und erprobt neue Ansätze an der Schnittstelle zwischen den umsetzenden Fachbereichen und der Ausrichtung der Organisation. So verbindet der Autor das strategische Warum und das praktische Wie.Gerade in wirtschaftlich und politisch unsicheren Zeiten ist es Ingmar Stapel ein besonderes Anliegen, dass Unternehmen die eigenen Fähigkeiten aufbauen, um handlungsfähig und unabhängig zu bleiben.Denn nur wer dieses Können im eigenen Haus aufbaut, hat überhaupt die Wahl.

Klappentext

Souveräne KI für UnternehmenSie wollen generative KI gewinnbringend und sicher in die Unternehmens-IT integrieren? Dann sind Sie hier richtig. Dieses Buch zeigt Ihnen, wie Sie eine komplette KI-Infrastruktur mit Open-Source-Tools aufbauen und dabei die volle Kontrolle über Ihre Daten behalten. Ingmar Stapel führt Sie durch einen kuratierten Stack für digitale Souveränität: von Ollama als KI-Motor über Open WebUI als professionelles Cockpit bis hin zu RAGFlow für komplexes Firmenwissen. Mit detaillierter TCO-Analyse, Schritt-für-Schritt-Anleitungen und Integration über MCP bauen Sie Ihre eigene KI-Infrastruktur auf - lokal, kontrolliert und EU AI Act-konform.

• Komplette KI-Plattform mit Ollama, Open WebUI, RAGFlow und n8n aufbauen
• RAG und Fine-Tuning intelligent kombinieren für maximale Effizienz
• Inklusive Kreativ-Werkstatt für Bild- und Videogenerierung mit ComfyUI

Aus dem Inhalt:

• Hardware-Auswahl und TCO-Analyse
• Basisinfrastruktur mit Docker
• KI-Modelle und Lizenzen
• Ollama als KI-Engine
• n8n und Flowise AI
• Fine-Tuning mit LLaMA Factory
• ComfyUI für Bildgenerierung
• EU AI Act und Compliance
• Open WebUI als Cockpit
• Prompt Engineering
• RAG und RagFlow für Unternehmens-Know-How
• Model Context Protocol (MCP)

Inhalt

Materialien zum Buch ... 17

Geleitwort ... 18

Herzliche Danksagung ... 20

Vorwort ... 21

Für wen ist dieses Buch? ... 22

TEIL I. Verstehen ... 25

1. Souveräne KI im Unternehmen: Die strategische Notwendigkeit ... 27

1.1 ... Die drei Säulen der Souveränität: Das Fundament Ihrer KI-Strategie ... 27

1.2 ... Risikomanagement: Public Cloud vs. lokaler Betrieb ... 29

1.3 ... Eine europäische Antwort: Die Schwarz Digits Group als Wegweiser ... 32

1.4 ... Der wirtschaftliche Vorteil: Ihr souveräner Vorsprung ... 33

1.5 ... Das »Warum« Ihrer eigenen KI-Strategie ... 35

TEIL II. Planen ... 39

2. Das souveräne Fundament: Hardware, Architektur und die Total Cost of Ownership (TCO) ... 41

2.1 ... Das physische Fundament: Die Hardware-Philosophie ... 42

2.2 ... Konfigurationsstufen: Vom Allrounder zum dedizierten Server ... 48

2.3 ... Hardware-Souveränität im Klartext -- das Experten-Interview mit der MIFCOM GmbH ... 49

2.4 ... Exkurs: Alternative Architektur -- die DGX-Spark-Plattform ... 54

2.5 ... TCO: Die Wirtschaftlichkeitsberechnung ... 57

2.6 ... Referenzarchitektur: Die souveräne KI-Infrastruktur für den Mittelstand ... 69

TEIL III. Aufbau der eigenen KI-Werkstatt ... 73

3. Praktische Umsetzung: Die Transformation der Hardware zu einem Inferenzserver ... 75

3.1 ... Das Schichtenmodell der Souveränität: Von der Hardware zur Anwendung ... 75

3.2 ... Linux als souveräne Basis: Der Performance- und Kontrollvorteil ... 76

3.3 ... Installation der NVIDIA-Treiber und des CUDA-Toolkits ... 77

3.4 ... System-Isolation: Container als souveräne Enklaven ... 78

3.5 ... Die CUDA-Architektur der Kontrolle: Containerisierung als strategische Basis ... 80

3.6 ... Projekt-Isolation: Virtuelle Umgebungen für Entwicklung und Training ... 81

3.7 ... Hybride Nutzung und Lastspitzen ... 82

3.8 ... SSH-Tunnel: Der sichere Geheimgang zu Ihrem Server ... 83

3.9 ... Die extra Meile im Netzwerk -- sprechende Namen ... 85

3.10 ... Den KI-Wegweiser erstellen und gestalten ... 94

3.11 ... Zusammenfassung ... 97

4. Der globale Marktplatz: KI-Modelle und Lizenzen richtig auswählen ... 99

4.1 ... Die gezielte Suche: Filter für Souveränität und Leistung ... 100

4.2 ... Die Model Card: Qualität, Herkunft und Trainingshintergrund bewerten ... 101

4.3 ... Das Schlüsselformat für On-Premises: GGUF ... 102

4.4 ... Die Spielregeln: Lizenzen und das unternehmerische Risiko ... 104

4.5 ... Fazit und klare Handlungsempfehlung ... 106

5. Die lokale KI-Werkstatt für Sprachmodelle ... 107

5.1 ... Die Qual der Wahl? Nein, die Freiheit der Entscheidung! ... 108

5.2 ... Das unsichtbare Fundament: llama.cpp als Motor der lokalen KI ... 110

5.3 ... LM Studio: Der Allrounder für Einsteiger ... 112

5.4 ... Ollama: Der einfache Weg, um Sprachmodelle im Netzwerk zu betreiben ... 117

5.5 ... vLLM: Die anspruchsvolle Lösung für Unternehmen ... 131

5.6 ... Fazit: Der strategische Gewinn ... 139

6. Das Chat-Cockpit: Die professionelle Weboberfläche für Ihr Team ... 141

6.1 ... Open WebUI: Der ideale Partner für Ollama ... 142

6.2 ... AnythingLLM: Der All-in-one-Spezialist für Dokumente ... 158

6.3 ... LibreChat: Die strukturierte Enterprise-Alternative ... 170

6.4 ... Gegenüberstellung der drei Chat-Cockpits ... 176

6.5 ... KI-Werkstatt -- den Wegweiser weiter ausbauen ... 177

7. Assistive Tools: Die lokale Lösung für assistives agentisches Arbeiten ... 179

7.1 ... Welches Werkzeug passt zu Ihnen? ... 179

7.2 ... Visual Studio Code mit Ollama und Cline ... 181

7.3 ... Sicherheitshinweis für agentische Programmierwerkzeuge ... 185

7.4 ... Mistral-Vibe mit Ollama ... 185

7.5 ... OpenCode mit Ollama ... 196

7.6 ... Hermes Agent mit Ollama ... 207

7.7 ... Claude Code mit Ollama ... 235

7.8 ... Fazit: Anspruch und Wirklichkeit der lokalen Autonomie ... 243

8. OpenClaw: Das universelle Agenten-Gateway ... 247

8.1 ... Was macht OpenClaw so besonders? ... 247

8.2 ... Die »spicy…