KI-Forum· Manuel Wolfsteiner· 27. Mai 2026· 6 Min Lesezeit

Vom Gehirn zum Nervensystem: Wie LLM, RAG, Agenten und MCP zusammenpassen

Vier Schichten, eine Architektur. Eine menschliche Analogie macht die KI-Technik-Begriffe erklärbar — und sortiert sie für eine sinnvolle Roadmap.

Klartext

KI-Systeme lassen sich Entscheidern am besten über die Mensch-Analogie erklären: Ein KI-System hat einen Wissensstand, eine Aufgabe, klare Grenzen und macht Fehler — wie ein neuer Mitarbeiter am ersten Tag. Der Unterschied: KI skaliert. Diese Analogie macht Governance-Entscheidungen intuitiv.

Evidenz-Tier 3: Didaktisches Modell aus über 2.000 Schulungen (ki-fit.at, 2024-2026).

Auf einen Blick

LLM, RAG, AI-Agent und MCP sind vier Schichten eines Systems — keine isolierten Buzzwords.
LLM ist das Gehirn, RAG das Gehirn mit Wissen, der Agent Gehirn mit Händen, MCP das Nervensystem.
Wer nur die Gehirn-Schicht einkauft, erhält schöne Antworten, aber wenig echte Automatisierung.
Ein KI-Betriebssystem entsteht, wenn alle vier Ebenen orchestriert zusammenspielen.
Für KMU reicht meist der Einstieg mit LLM + leichtem RAG — Agenten und MCP kommen später.

Dieser Beitrag ist Teil der Wissensbasis rund um das KI-Forum Linz am 24. Juni 2026 im OÖNachrichten Forum. Autor: Manuel Wolfsteiner, Co-Gründer KI-Forum und Schulungsleiter der EU-AI-Act-Basisschulung.

Je menschlicher wir KI erklären, desto leichter wird Architektur. Gehirn, Wissen, Hände, Nervensystem — mehr braucht es nicht, um die Begriffe LLM, RAG, Agent und MCP zu sortieren und in eine sinnvolle Reihenfolge zu bringen.

LLM — das Gehirn deines Systems

Large Language Models verstehen Sprache, strukturieren Informationen und generieren Texte, Code und Ideen. Sie sind ideal für Entwürfe, Zusammenfassungen und erste Lösungsansätze — aber ohne Kontext und Handlungsoptionen bleiben sie ein isoliertes Gehirn im Glas. Sprich: brillant in der Theorie, hilflos in der Praxis, wenn nichts Spezifisches zum Unternehmen verfügbar ist.

RAG — Gehirn plus Wissen

Retrieval-Augmented Generation verbindet das LLM mit Unternehmenswissen: Dokumente, Wikis, Datenbanken und Tickets. Anfragen werden zuerst im eigenen Wissensbestand recherchiert, bevor die Antwort generiert wird. Das erhöht Relevanz, Nachvollziehbarkeit und Compliance — und ist für 60–70 % der KMU-Use-Cases die wichtigste Erweiterung.

AI-Agent — Gehirn mit Händen

Ein AI-Agent nutzt das LLM als Denkmodul, kann aber zusätzlich Tools aufrufen, Workflows anstoßen und Entscheidungen vorbereiten. Er legt Tickets an, passt Stammdaten an oder bucht Termine — immer entlang definierter Regeln und mit klaren Freigaben. Hier wird KI vom Antwort-Generator zum operativen Werkzeug.

MCP — das Nervensystem

Die Orchestrierungsschicht — etwa über ein Model Context Protocol — verbindet Modelle, Datenquellen und Tools zu einem System. Sie sorgt dafür, dass der richtige Kontext im richtigen Moment am richtigen Ort landet und dass Aktivitäten protokolliert und steuerbar bleiben. MCP ist die Voraussetzung, damit mehrere Agenten und Datenquellen koordiniert zusammenspielen.

Wer nur das Gehirn kauft, bekommt einen sehr klugen Praktikanten ohne Schreibtisch, ohne Akten und ohne Telefon. Erst die anderen drei Schichten machen ihn produktiv.

Was das für den Mittelstand bedeutet

Start mit LLM + leichtem RAG (z. B. Wissensbot über interne Dokumente) ist oft ausreichend.
Agenten lohnen sich dort, wo klar strukturierte Arbeitsschritte oft wiederkehren — z. B. Rechnungs-Klassifikation, Standard-Antworten im Support.
MCP-Orchestrierung wird relevant, sobald mehrere Agenten und Datenquellen zusammenspielen sollen — typischerweise erst ab Reifegrad 3 (KI-Anwender).

Zum Mitnehmen

LLM ist das Gehirn — RAG, Agent und MCP machen es erst produktiv.
Wer nur die Gehirn-Schicht kauft, hat schöne Antworten, aber wenig Automatisierung.
Die Reihenfolge LLM → RAG → Agent → MCP entspricht zugleich der natürlichen Roadmap.
Architektur-Workshop schlägt Tool-Raten: erst Use-Case verstehen, dann Schicht wählen.

Häufige Fragen

Brauchen wir alle vier Schichten von Anfang an?

Nein. Die meisten KMU starten mit LLM + leichtem RAG und kommen damit ein Jahr aus. Agenten und MCP-Orchestrierung folgen, wenn mehrere Use-Cases produktiv sind und Datenquellen orchestriert werden müssen.

Ist RAG immer notwendig?

Für die meisten Unternehmensszenarien ja, weil generische LLM-Antworten ohne Unternehmenskontext nur begrenzt brauchbar sind. Ausnahme: Use-Cases, die nur auf allgemeinem Sprachverständnis basieren — z. B. Übersetzung oder Textumformulierung.

Was unterscheidet einen Agenten von einem klassischen RPA-Bot?

Ein Agent nutzt LLM-Reasoning, um Entscheidungen zu treffen und auf neue Situationen zu reagieren. Ein RPA-Bot folgt starren Regeln. In der Praxis ergänzen sich beide — RPA für deterministische Schritte, Agenten für die unscharfen Übergänge.

Wann lohnt sich MCP-Orchestrierung wirklich?

Sobald drei oder mehr KI-Use-Cases produktiv sind und Daten aus verschiedenen Systemen ziehen müssen. Vorher reicht eine pragmatische Direktanbindung pro Use-Case.

Welche Schicht hat das höchste Compliance-Risiko?

Die Agent-Schicht — weil sie Handlungen ausführt. Hier sind Freigabe-Prozesse, Audit-Trails und menschliche Aufsicht (Human in the Loop) Pflicht, insbesondere bei Hochrisiko-Use-Cases nach EU AI Act Annex III.

Manuel Wolfsteiner, MBA Geschäftsführer ki-fit.at · ISO-zertifizierter KI-Manager (Personenzertifizierung P85) · Co-Gründer KI-Forum
Autoren-Profil · LinkedIn

Machen Sie das KI-Forum zu Ihrem Kompetenz-Turbo

Ein Tag Praxis. Sechs Speaker. EU-AI-Act-Kompetenz-Zertifikat inklusive.

Jetzt Ticket sichern