▸ Informationen zum Arbeitsblatt
Fach
WPF Informatik – Klasse 10
Thema
Einstieg: Wie arbeitet ein Large Language Model (LLM)?
Lernziele
Tokenisierung, Token-für-Token-Vorhersage, Kontextfenster, Temperatur, Halluzinationen, Prompt-Engineering
Lehrkraft
[Name eintragen]
Datenschutz
Keine Daten werden übertragen. Alles läuft im Browser.
0
Warm-up: Was ist ein LLM?

Ein LLM (Large Language Model) ist ein Programm, das Texte Schritt für Schritt fortsetzt. Es kennt keine „Fakten" wie ein Lexikon – es berechnet immer nur: Welches Wort (Token) kommt als nächstes?

Roter Faden dieses Arbeitsblatts:
Schritt 1 → Text wird in Tokens zerlegt  ▸  Schritt 2 → Das Modell sagt das nächste Token voraus  ▸  Schritt 3 → Nur ein begrenzter Kontext wird betrachtet  ▸  Schritte 4–6 → Temperatur, Prompts, Grenzen des Modells
1
Tokenisierung

LLMs verarbeiten Text nicht buchstaben- oder wortweise, sondern als Tokens – Bausteine, die Wörter, Wortteile oder Satzzeichen sein können. Unser Mini-Modell trennt vereinfacht: Wörter und Satzzeichen.

💡 Tipp: Der Text, den du hier eingibst, wird zum Trainingstext des Mini-Modells in Schritt 2. Je mehr verschiedene Sätze, desto reichhaltigere Vorhersagen!

Aufgabe 1

Warum könnte die Aufteilung in Tokens hilfreich sein? Gib 1–2 Beispiele. (1–3 Sätze)

2
Nächstes Token vorhersagen

Das Modell schaut auf den bisherigen Text und sagt: „Welches Token kommt jetzt am wahrscheinlichsten?" Das passiert Token für Token, bis der Text fertig ist.

💡 Unser Mini-Modell (Bigram-Modell): Es schaut immer nur auf das letzte Token des bisherigen Textes und schlägt mögliche Folge-Tokens nach. Ein echtes LLM betrachtet den gesamten Kontext – aber das Grundprinzip ist dasselbe.
⚠️ Standard-Modell aktiv (hardcodiert). Trainiere das Modell zuerst in Schritt 1, um eigene Übergänge zu verwenden.
0.25 niedrig = deterministischer  |  hoch = zufälliger
Modell-Typ: schaut auf letztes 1 Token
Lookup-Kette (wie das Modell intern sucht)
→ Mögliche nächste Tokens:
Generierter Text (Blau = neu hinzugefügt)
Noch nichts generiert. Starttext eingeben und „1 Schritt" klicken.

Aufgabe 2 (Multiple Choice)

Welche Aussage beschreibt am besten, wie ein LLM Text erzeugt?

Exkurs: Von Bigrammen zu Transformern

Unser Mini-Modell ist ein Bigramm-Modell. Echte LLMs wie GPT-4 oder Gemini funktionieren grundlegend anders. Klicke auf die Stufen, um die Entwicklung zu erkunden:

1️⃣
Bigramm-Modell unser Mini-Modell
Schaut auf das letzte 1 Token
2️⃣
N-Gramm-Modelle Trigramm = unser erweitertes Modell
Schaut auf die letzten N Tokens
3️⃣
RNN / LSTM
Neuronales Netz mit „Gedächtnis"
4️⃣
Transformer + Attention GPT-4, Gemini, Claude…
Schaut auf den gesamten Kontext gleichzeitig
→ Verbindung zu Schritt 3: Jedes Modell hat ein Kontextfenster – die Menge an Text, die es gleichzeitig berücksichtigen kann. Bigramm: 1 Token. Trigramm: 2 Tokens. Transformer: tausende bis millionen Tokens. Mehr dazu in Schritt 3 ↓
3
Kontextfenster

Das Modell aus Schritt 2 schaut auf das letzte Token. Echte LLMs schauen auf viele Tokens – aber nie auf alle. Die maximale Anzahl Tokens, die ein Modell gleichzeitig verarbeiten kann, heißt Kontextfenster.

⚡ Warum ist das Kontextfenster begrenzt?
Der Rechenaufwand eines LLM steigt mit jedem weiteren Token stark an. Je größer das Fenster, desto mehr Rechenleistung und Speicher werden benötigt. Deshalb muss man eine Grenze setzen – Tokens, die außerhalb des Fensters liegen, werden komplett ignoriert.
20
Alle Tokens — grau = außerhalb des Fensters (ignoriert), grün = im Fenster (verwendet)
Im Fenster (wird verwendet) Außerhalb – vergessen

Verbindung zu Schritt 2: Klicke auf „Aus diesem Kontext generieren" – das Mini-Modell benutzt dann nur die Tokens im Fenster als Starttext:

Generierter Text (Blau = neu)
Erst „Kontext-Fenster anzeigen", dann „Aus diesem Kontext generieren".

Aufgabe 3 (Richtig / Falsch)

a) Ein LLM kann beliebig viel vorherigen Text gleichzeitig berücksichtigen.
b) Wenn der Prompt sehr lang wird, kann Wichtiges „aus dem Fenster fallen" und wird ignoriert.

4
Prompt-Engineering

Wie du fragst, beeinflusst die Antwort stark. Teste die drei Beispiel-Prompts und beobachte den Unterschied.

Antwort (Mini-Modell, stark vereinfacht)

Aufgabe 4

Nenne zwei Prompt-Bausteine, die die Antwort stark steuern (z. B. Rolle, Umfang, Format). Stichworte reichen.

5
Halluzinationen

LLMs können überzeugend klingen, auch wenn etwas erfunden ist. Dieses Phänomen nennt man Halluzination.

Beispieltext (enthält Fehler!):
„Der Altair 8800 wurde 1975 vorgestellt. Bill Gates gründete Microsoft 1985 direkt für den Altair und Apple verkaufte den ersten iPhone-PC 1979."

Aufgabe 5 (Multiple Choice)

Welche Aussage ist korrekt?

Aufgabe 6

Nenne zwei Dinge, die du bei KI-Antworten immer prüfen würdest.

6
Mini-Experiment: Temperatur und Varianz

Generiere zwei Antworten auf denselben Prompt mit unterschiedlicher Temperatur und vergleiche.

0.05
0.80
Antwort bei Temperatur 1 (niedrig)
Antwort bei Temperatur 2 (hoch)

Aufgabe 7

Beschreibe einen Unterschied, den du zwischen niedriger und hoher Temperatur beobachtet hast. (1–2 Sätze)

7
Abschluss: Was kann ein LLM – und was nicht?

Aufgabe 8

Was würdest du jemandem erklären, der sagt: „Die KI weiß alles"? (2–4 Sätze)

🔑 Lösungshinweise (Selbstkontrolle / Lehrkraft)
  • Aufgabe 2: Richtig ist B – Token-für-Token.
  • Aufgabe 3: a) Falsch, b) Richtig.
  • Aufgabe 5: Richtig ist B – Fakten immer prüfen.
  • Freie Aufgaben (1/4/6/7/8): Tokens = Bausteine; Prompt steuert Rolle/Format/Länge; Fakten prüfen (Zahlen, Namen, Zitate); Temperatur = Zufälligkeit; LLM = Textvorhersage, kein „Wissen".

Standalone-HTML · keine externen Abhängigkeiten · läuft lokal und auf Schulservern