Was KI- Modelle tatsächlich sind, ist nichts anderes als eine extrem komplexe mathematische Funktion. Im Kern handelt es sich also einfach um eine hochkomplexe mathematische Funktion, die zufällig besonders gut geeignet ist, Vorhersagen auf Sprache oder Bilder zu berechnen. Trotzdem bleibt es eine Funktion, ohne Verständnis für die Inhalte. 

Warum KI-Modelle Unterstützung brauchen

Daraus ergibt sich auch, warum KI-Modelle nicht eigenständig auf Datenbanken, Server oder APIs zugreifen können. Mathematische Funktionen sind dazu nicht in der Lage, unabhängig von ihrer Komplexität. Genauso wenig wie eine einfache Funktion f(x) = x² eine API ansteuern könnte, können es auch KI-Modelle wie GPT-4o nicht. Es braucht jemanden, der die Nutzung dieser Funktion ermöglicht. Bei GPT-4o ist das die Anwendung ChatGPT. Man könnte also sagen: Das eigentliche KI-Modell ist das Gehirn, dem der restliche Körper fehlt.

Tokenisierung & Einbettungen:

• Der eingegebene Text wird in Token (kleinere Blöcke) aufgeteilt. 
• Jedes Token wird einem Vektor im hochdimensionalen Raum zugeordnet, in dem sich Wörter mit ähnlicher Bedeutung gruppieren. 

Der Aufmerksamkeitsmechanismus (Selbstaufmerksamkeit): 

• Wörter beeinflussen sich je nach Kontext gegenseitig – um sicherzustellen, dass "Bank" in Riverbank nicht mit Finanzbank verwechselt wird. 
• Der Aufmerksamkeitsblock wägt die Beziehungen zwischen Wörtern ab und verfeinert ihre Darstellungen dynamisch. 

Feed-Forward-Schichten (Deep Neural Network Processing) 

• Nach der Überprüfung durchlaufen Token mehrere Feedforward-Schichten, die die Bedeutung verfeinern. 
• Jede Schicht lernt tiefere semantische Beziehungen und verbessert so die Vorhersagen. 

Iteration und Deep Learning

• Dieser Prozess wiederholt sich über Dutzende oder sogar Hunderte von Schichten, wobei die Token-Bedeutungen iterativ angepasst werden. 
• Hier kommt das "Deep" im Deep Learning ins Spiel – Schichten über Schichten von Matrixmultiplikationen und Optimierungen. 

Vorhersage & Stichprobenentnahme

• Die endgültige Vektordarstellung wird verwendet, um das nächste Wort als Wahrscheinlichkeitsverteilung vorherzusagen. 
• Das Modell stichprobt aus dieser Verteilung ab und generiert Wort für Wort Text. 

Diese Mechanismen sind der Kern aller LLMs (z. B. ChatGPT). Es ist entscheidend, ein solides Verständnis dafür zu haben, wie diese Mechanismen funktionieren, wenn Sie skalierbare, verantwortungsvolle KI-Lösungen entwickeln möchten.