Ohne Prompt kein Studium

Dr. Fabienne Lüthi

Richard Conrardy

22.09.2026

Learning Outcomes

Die Sitzung erklärt, wie Sprachmodelle Text in Tokens und Zahlen darstellen, daraus wahrscheinliche nächste Tokens berechnen und über Parameter oder Werkzeuge gesteuert werden.

Eine Ratemaschine

«Ratemaschine» ist bewusst vereinfacht: Ein Sprachmodell erzeugt Text, indem es fortlaufend das wahrscheinlich nächste Token schätzt. Die folgenden Folien zerlegen diesen Prozess.

Übung

• Setzen Sie sich in 4er Gruppen zusammen.

• Texte werden in 0 oder 1 gespeichert. Mit welchem vordefinierten Schema können Sie einen beliebigen Text so effizient wie möglich speichern?

Die Gruppen rekonstruieren die Grundidee einer Zeichenkodierung: Text muss vor der Verarbeitung als eindeutige Folge von Bits vorliegen. Als Auflösung dient UTF-8 auf der nächsten Folie.

Von Zeichen zu Tokens

Tabelle 1: UTF-8 Codierungen von Zeichen

Character	Unicode code point	UTF-8 hex	UTF-8 binary
A	U+0041	41	01000001
M	U+004D	4D	01001101
Z	U+005A	5A	01011010
a	U+0061	61	01100001
m	U+006D	6D	01101101
z	U+007A	7A	01111010
	U+0020	20	00100000
\n	U+000A	0A	00001010

UTF-8 legt für jedes Zeichen eine Bitfolge fest. Sprachmodelle arbeiten zwar nicht direkt mit einzelnen UTF-8-Zeichen, benötigen aber ebenfalls eine eindeutige digitale Repräsentation als Ausgangspunkt.

Tokens

Tokenisierung übersetzt Text in Einheiten, mit denen das Modell rechnet. Der folgende Code demonstriert diesen Schritt anhand desselben GPT-2-Tokenizers.

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")

texts = [
    "A",
    "cat",
    "Hello world",
    " Hello world",
    "believable",
    "unbelievable",
    "a\nb"
]

for text in texts:
    ids = tokenizer.encode(text, add_special_tokens=False)
    tokens = tokenizer.convert_ids_to_tokens(ids)

    print("Text:", repr(text))
    print("Tokens:", tokens)
    print("Token IDs:", ids)
    print()

Output

Der Code zerlegt mehrere Textbeispiele mit dem GPT-2-Tokenizer. Wichtig ist: Tokens entsprechen nicht zwingend Wörtern; auch Leerzeichen oder Wortteile können eigene Tokens sein.

Text: 'A'
Tokens: ['A']
Token IDs: [32]

Text: 'cat'
Tokens: ['cat']
Token IDs: [9246]

Text: 'Hello world'
Tokens: ['Hello', 'Ġworld']
Token IDs: [15496, 995]

Text: ' Hello world'
Tokens: ['ĠHello', 'Ġworld']
Token IDs: [18435, 995]

Text: 'believable'
Tokens: ['bel', 'iev', 'able']
Token IDs: [6667, 11203, 540]

Text: 'unbelievable'
Tokens: ['un', 'bel', 'iev', 'able']
Token IDs: [403, 6667, 11203, 540]

Text: 'a\nb'
Tokens: ['a', 'Ċ', 'b']
Token IDs: [64, 198, 65]

GPT 2: 50’257 tokens

Modern: > 1’000’000 tokens

Probieren Sie es aus

https://platform.openai.com/tokenizer

Erstellen Sie einen Satz, geben Sie dem Nachbar die ersten paar Tokens und lassen Sie ihn den nächsten Token erraten.

Die Übung macht das Next-Token-Prinzip erfahrbar: Aus einem Kontext wird nicht der einzig richtige, sondern ein plausibler nächster Baustein geschätzt. Der Tokenizer zeigt dabei, dass Wortgrenzen nicht immer mit Tokengrenzen übereinstimmen.

Embeddings

Jede Token-ID wird über eine Embedding-Tabelle in einen Zahlenvektor übersetzt. Der Code zeigt die Form dieses Vektors, nicht eine inhaltlich direkt lesbare Bedeutung einzelner Zahlen.

from transformers import AutoTokenizer, AutoModel
import torch

tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")
model = AutoModel.from_pretrained("openai-community/gpt2")

model.eval()

texts = [
    "A",
    "cat"
]

embedding_layer = model.get_input_embeddings()

for text in texts:
    inputs = tokenizer(text, return_tensors="pt", add_special_tokens=False)
    ids = inputs["input_ids"][0]
    tokens = tokenizer.convert_ids_to_tokens(ids)

    with torch.no_grad():
        # Raw input embeddings: directly from the embedding table
        embeddings = embedding_layer(ids)

    print("Text:", repr(text))
    print("Tokens:", tokens)
    print("Token IDs:", ids.tolist())
    print("Embedding shape:", embeddings.shape)
    print("The vector is:")
    print(embeddings[0].tolist())
    print()

Output

Text: 'cat'
Tokens: ['cat']
Token IDs: [9246]
Embedding shape: torch.Size([1, 768])
The vector is:
[-0.016361085698008537, -0.09340496361255646, 0.2424590289592743, 0.1397625356912613, 0.03876500949263573, -0.2591763436794281, -0.27238377928733826, -0.16245122253894806, 0.16829444468021393, 0.08293303847312927, 0.013625058345496655, -0.27883821725845337, 0.14928586781024933, 0.14083561301231384, 0.05570671334862709, -0.3691481649875641, 0.22002798318862915, -0.042841047048568726, 0.2205713540315628, 0.08649542182683945, 0.12367253750562668, -0.1499468833208084, 0.14462877810001373, -0.11504415422677994, -0.14248539507389069, -0.07152555882930756, -0.0525745190680027, 0.15497425198554993, -0.06780064851045609, -0.2058633267879486, 0.20652440190315247, -0.02965833991765976, 0.08339905738830566, -0.04833613336086273, 0.12067288160324097, 0.1974879652261734, -0.3193340003490448, 0.012369612231850624, 0.10672488063573837, -0.04727446660399437, -0.3036808371543884, 0.11387067288160324, 0.09488601237535477, -0.21753600239753723, 0.07961409538984299, -0.09413309395313263, -0.03938238322734833, -0.07039275020360947, 0.20333722233772278, -0.1554637849330902, 0.2927825152873993, -0.07704915851354599, 0.07868365198373795, 0.12144948542118073, 0.15276168286800385, -0.14643165469169617, 0.4247491657733917, 0.19212593138217926, -0.041541408747434616, -0.0850478857755661, -0.2787071466445923, 0.06556132435798645, -0.20258086919784546, 0.18557333946228027, 0.13530132174491882, -0.08202585577964783, -0.06389398127794266, 0.07009650766849518, 0.16802138090133667, 0.05966462194919586, 0.3264687657356262, -0.10995844006538391, 0.10556178539991379, 0.1844596564769745, -0.11555470526218414, 0.005354898516088724, 0.06634213775396347, 0.18418389558792114, -0.1068630963563919, 0.04913080856204033, -0.08526840806007385, -0.2518639862537384, 0.003143342910334468, 0.1804843693971634, 0.15052711963653564, 0.04419228062033653, -0.2426886111497879, 0.11044622212648392, 0.0970262810587883, 0.11234410107135773, -0.1518537700176239, -0.14437256753444672, 0.23230873048305511, -0.024112675338983536, -0.06765676289796829, 0.1156836450099945, -0.266793429851532, -0.12285173684358597, 0.11203598231077194, 0.06005825847387314, -0.05346614494919777, 0.12588262557983398, -0.09662143886089325, -0.19754476845264435, -0.2031158208847046, 0.13232780992984772, 0.017606088891625404, -0.1331987977027893, 0.11589977890253067, 0.10372360050678253, 0.07220403850078583, 0.1644088327884674, -0.07746899127960205, -0.022746911272406578, 0.1145697683095932, 0.005957134999334812, 0.39594972133636475, -0.08284942060709, 0.012456733733415604, 0.0415172353386879, -0.014682512730360031, -0.135150745511055, -0.05785886570811272, 0.042313102632761, -0.0793331190943718, -0.2702028453350067, 0.2805854380130768, -0.07441112399101257, 0.11179929226636887, 0.09083987772464752, 0.06389196962118149, -0.08819812536239624, -0.01904943957924843, -0.13858816027641296, -0.04897405207157135, -0.17850333452224731, 0.14161550998687744, 0.04971975088119507, -0.04605376720428467, -0.15443900227546692, 0.06617309153079987, -0.05384760722517967, 0.09921273589134216, 0.13080994784832, -0.08854424953460693, -0.2840065062046051, -0.02972940169274807, -0.08819353580474854, -0.03396836295723915, -0.14952079951763153, 0.02950727380812168, 0.06999912858009338, 0.06613373756408691, -0.12824204564094543, -0.05458778887987137, -0.1391710489988327, -0.13682205975055695, 0.03527950122952461, 0.08139467984437943, -0.14360448718070984, -0.05591137707233429, 0.15230049192905426, -0.07797905802726746, 0.2561819553375244, 0.016448795795440674, -0.04333009943366051, 0.04680568352341652, 0.2895946204662323, 0.006858479231595993, 0.2135537564754486, 0.03780953586101532, -0.162540465593338, -0.04209734871983528, -0.010930346325039864, -0.038604531437158585, 0.04526738449931145, 0.2572128474712372, 0.032335713505744934, -0.12058413773775101, 0.01354928221553564, -0.01707439497113228, 0.04041294381022453, -0.2544141113758087, 0.14550462365150452, 0.32653355598449707, -0.05447030067443848, 0.08872339874505997, -0.032053422182798386, 0.1484597772359848, -0.06985272467136383, -0.0605902224779129, 0.21767176687717438, -0.15659214556217194, -0.0619233101606369, -0.2654725909233093, 0.24714842438697815, -0.12134813517332077, -0.07410012185573578, 0.1074477881193161, -0.024348974227905273, -0.2747279703617096, 0.18277612328529358, 0.004594720900058746, 0.14255641400814056, 0.020123416557908058, 0.04133181273937225, -0.018891766667366028, -0.0070403022691607475, -0.03381647914648056, -0.13835126161575317, 0.026912670582532883, 0.14468277990818024, -0.021608944982290268, -0.004169708117842674, -0.03634539991617203, -0.057931527495384216, -0.0908757820725441, -0.13588868081569672, 0.14068809151649475, 0.14214162528514862, 0.004056630190461874, 0.01000190619379282, 0.09966544806957245, -0.0718214139342308, -0.09584313631057739, 0.005125546362251043, -0.2575571537017822, 0.19795745611190796, 0.1544952690601349, 0.022637637332081795, -0.25213515758514404, -0.10910143703222275, -0.14668214321136475, -0.11400547623634338, 0.1382637321949005, -0.19515198469161987, 0.055449772626161575, -0.0036417068913578987, -0.29149243235588074, -0.164504736661911, 0.046878427267074585, -0.225123792886734, 0.20002727210521698, 0.10697862505912781, 0.16506700217723846, -0.07809083163738251, 0.15108534693717957, -0.009537586942315102, 0.09249945729970932, 0.07756288349628448, 0.16313457489013672, 0.15626922249794006, 0.028588488698005676, -0.11567679047584534, 0.03491910174489021, 0.0033353520557284355, -0.08695478737354279, -0.08638929575681686, 0.1233266070485115, -0.0691155344247818, -0.045821744948625565, -0.06007238104939461, 0.050143346190452576, -0.1449822336435318, -0.24250608682632446, -0.07734102755784988, 0.11820480227470398, 0.1351100504398346, 0.19037167727947235, 0.17455287277698517, 0.09251242130994797, -0.12529748678207397, -0.11490848660469055, -0.13117901980876923, -0.21701258420944214, 0.06819556653499603, -0.012136389501392841, -0.17737486958503723, -0.08566293865442276, -0.1905902922153473, 0.2842336595058441, -0.04100750759243965, 0.05296124145388603, 0.047999344766139984, -0.06414822489023209, -0.09112175554037094, 0.29074209928512573, -0.2503187656402588, -0.1084781065583229, 0.17534638941287994, 0.06095774471759796, 0.0465896837413311, 0.009666230529546738, -0.1299930363893509, -0.027251724153757095, 0.049787331372499466, -0.06186866760253906, -0.18665863573551178, -0.07687986642122269, -0.10912930220365524, -0.04098173603415489, -0.06172481179237366, -0.053737953305244446, 0.05815371870994568, -0.09863217920064926, -0.26551467180252075, 0.12357717752456665, -0.002636916469782591, 0.0443752147257328, -0.10180223733186722, -0.16518911719322205, 0.017386866733431816, -0.25606292486190796, 0.043996330350637436, 0.20479539036750793, 0.004895505961030722, -0.021953323855996132, -0.10307517647743225, -0.13869129121303558, 0.04934246465563774, 0.20477673411369324, 0.047282785177230835, 0.16300159692764282, -0.01954091712832451, -0.07137879729270935, -0.07127375900745392, -0.2524056136608124, 0.08521950989961624, -0.16815339028835297, 0.07129006832838058, 0.130120187997818, -0.10878024995326996, -0.018849525600671768, 0.009248165413737297, 0.007848549634218216, 0.22126919031143188, 0.06376611441373825, -0.16165275871753693, -0.036549150943756104, -0.09231092035770416, -0.10518846660852432, 0.11083681881427765, -0.11745647341012955, -0.0016450758557766676, -0.02577287331223488, 0.09020651876926422, 0.10887619853019714, 0.16845135390758514, -0.2664169371128082, -0.030941037461161613, -0.01871739886701107, -0.06784279644489288, -0.142384335398674, -0.0026496881619095802, -0.06233548745512962, -0.0574648417532444, -0.10092271119356155, 0.014226469211280346, -0.1949736773967743, 0.008493809029459953, -0.14015188813209534, 0.03712889924645424, -0.4071781039237976, -0.0478425994515419, 0.4013194143772125, 0.3211887776851654, 0.10507680475711823, 0.03491642326116562, -0.1302030384540558, -0.029799172654747963, -0.17383332550525665, 0.06918296962976456, -0.2638380229473114, 0.1268089860677719, 0.17730343341827393, -0.109433613717556, 0.07369467616081238, -0.04598681256175041, 0.18701305985450745, -0.060537099838256836, -0.13076302409172058, -0.09196111559867859, -0.02904343791306019, -0.05416225269436836, 0.12136288732290268, -0.03084559366106987, -0.11734398454427719, -0.21271629631519318, 0.020885422825813293, 0.2910820245742798, -0.17514750361442566, 0.046861160546541214, 0.07395925372838974, -0.13225147128105164, 0.028280222788453102, 0.21246756613254547, 0.18701842427253723, 0.09781043976545334, 0.17992094159126282, 0.26694661378860474, 0.17093543708324432, -0.11910172551870346, -0.20219770073890686, 0.044475287199020386, 0.06009715422987938, -0.18201203644275665, 0.022370221093297005, 0.19018450379371643, -0.3198891878128052, -0.2551420032978058, 0.07953917235136032, 0.08136606216430664, 0.12448912858963013, 0.08713237196207047, -0.04553601145744324, -0.23420341312885284, 0.11666262894868851, 0.08702189475297928, 0.025680648162961006, -0.20734798908233643, 0.18486300110816956, -0.018431687727570534, 0.049841225147247314, -0.1422727257013321, -0.06821028888225555, 0.13858897984027863, 0.04061681032180786, -0.03245803713798523, 0.21790796518325806, -0.056724026799201965, -0.25683629512786865, -0.09347919374704361, -0.04531891644001007, -0.1317279189825058, 0.068155437707901, -0.27211079001426697, -0.2026086449623108, -0.05646788701415062, -0.013355241157114506, -0.04228202626109123, -0.04154609516263008, -0.055999014526605606, -0.1521988809108734, 0.16170743107795715, -0.07531152665615082, -0.19667938351631165, 0.053582578897476196, -0.09884798526763916, 0.05389460176229477, -0.04893943667411804, 0.02958505228161812, 0.1271725296974182, 0.15667696297168732, 0.018528390675783157, -0.08550908416509628, -0.2336433380842209, 0.18592824041843414, 0.15278755128383636, -0.18235425651073456, -0.08338190615177155, -0.14144834876060486, -0.052624352276325226, 0.1744244396686554, -0.02897842787206173, -0.07534624636173248, -0.009970501996576786, -0.1702166199684143, -0.06763046979904175, 0.08557812869548798, 0.04925626143813133, -0.12563832104206085, -0.1651638001203537, -0.13169142603874207, 0.0677306279540062, 0.020861729979515076, -0.03456887975335121, 0.004781287629157305, 0.12093725055456161, 0.1958766132593155, 0.15197370946407318, 0.07925860583782196, -0.14918960630893707, 0.3141046166419983, 0.1525752693414688, -0.17319747805595398, -0.09137152880430222, 0.13390062749385834, -0.14101886749267578, -0.059530600905418396, -0.025033889338374138, -0.1136339008808136, -0.1206163614988327, -0.112601637840271, -0.04700680449604988, 0.18976610898971558, 0.05645706132054329, -0.20583580434322357, 0.03894269838929176, 0.01765262894332409, -0.2717885375022888, 0.20207126438617706, -0.077913798391819, 0.14437717199325562, 0.10467476397752762, -0.20957966148853302, -0.02104145474731922, 0.17907707393169403, -0.4005124270915985, -0.19312529265880585, 0.10826538503170013, 0.24648120999336243, 0.10261765867471695, -0.05029426887631416, 0.10469899326562881, 0.029899688437581062, -0.10433568805456161, 0.09644400328397751, 0.08517158031463623, -0.206651970744133, 0.12626570463180542, 0.206422358751297, 0.22478507459163666, 0.2739073634147644, -0.18809781968593597, -0.07453365623950958, 0.07694312185049057, 0.2994121015071869, 0.28032568097114563, 0.006251325365155935, 0.25848692655563354, -0.01760149374604225, 0.23183578252792358, -0.04323691129684448, 0.18887682259082794, -0.07658647745847702, 0.07513964921236038, -0.015742845833301544, 0.0517050139605999, 0.1274394690990448, -0.22347670793533325, -0.045028265565633774, 0.16056886315345764, 0.08764401078224182, 0.12397979199886322, 0.4416997730731964, -0.062466226518154144, 0.05908837541937828, -0.018098803237080574, 0.19964583218097687, 0.09586238861083984, -0.26234763860702515, -0.2825523316860199, 0.0022820779122412205, 0.18350552022457123, 0.19312357902526855, -0.10535218566656113, 0.18156012892723083, -0.15994378924369812, -0.08708500117063522, 0.011543862521648407, 0.23855069279670715, 0.016107626259326935, 0.057996444404125214, -0.0557699128985405, 0.09634870290756226, 0.12061449885368347, -0.34606459736824036, 0.0725790336728096, 0.03005097061395645, 0.10581577569246292, 0.05319081246852875, 0.05146980658173561, 0.02162906713783741, -0.05306810885667801, -0.02167229913175106, 0.05393480882048607, -0.01909218542277813, 0.06355657428503036, -0.15273496508598328, -0.16696777939796448, 0.07557927817106247, 0.016657520085573196, -0.0436907522380352, 0.00502001540735364, -0.1860574185848236, 0.03037017211318016, 0.2442237138748169, -0.012576671317219734, -0.2313520461320877, 0.156240314245224, 0.16345180571079254, -0.12061086297035217, -0.04280021786689758, 0.10787300020456314, 0.12155219912528992, -0.011280953884124756, 0.17571833729743958, -0.02351534366607666, 0.20489025115966797, -0.3030067980289459, 0.006661759223788977, -0.31568723917007446, 0.1435137242078781, -0.17374850809574127, -0.1698041707277298, 0.2276156097650528, -0.03598174825310707, 0.0047904024831950665, -0.2974128723144531, 0.202104389667511, 0.13797812163829803, 0.11289305984973907, -0.06263086199760437, 0.13471516966819763, 0.07288800179958344, 0.04810135439038277, -0.13974161446094513, 0.01967836357653141, -0.09318128973245621, 0.1716657429933548, -0.15187618136405945, -0.0554359145462513, -0.03442739322781563, 0.020096033811569214, 0.1315523087978363, 0.07433128356933594, -0.11893857270479202, 0.2786555588245392, 0.05967449024319649, -0.2073172628879547, -0.35549911856651306, -0.06447657197713852, -0.1325817108154297, 0.10935134440660477, 0.151214599609375, 0.024139029905200005, 0.06075652316212654, 0.03337767720222473, 0.13396388292312622, -0.050996121019124985, -0.01968289166688919, 0.0681430846452713, -0.1494400054216385, 0.24095620214939117, -0.10163936764001846, 0.11478090286254883, -0.12802991271018982, 0.05761439725756645, -0.01010966021567583, 0.19571518898010254, -0.28543218970298767, 0.023109126836061478, -0.028190160170197487, -0.010106373578310013, 0.038283511996269226, -0.008605421520769596, -0.11522215604782104, 0.1464390605688095, 0.03511372208595276, -0.21893106400966644, 0.2156209945678711, 0.07224100828170776, 0.08813518285751343, 0.23599788546562195, 0.11816892772912979, 0.06762979924678802, 0.05060616880655289, -0.022593209519982338, -0.2842129170894623, -0.27805382013320923, 0.07910069823265076, 0.19577139616012573, 0.04700881242752075, -0.0645257979631424, 0.012892939150333405, 0.287771612405777, 0.13391640782356262, -0.2548004984855652, -0.08546338975429535, -0.1514623612165451, 0.14419230818748474, -0.16941767930984497, -0.28641778230667114, -0.1720186024904251, -0.0473054014146328, -0.13245688378810883, 0.23898404836654663, 0.07356103509664536, -0.19753938913345337, -0.11407563090324402, -0.1408894807100296, 0.19006043672561646, -0.0673261433839798, 0.08869053423404694, 0.21322613954544067, 0.18689054250717163, -0.2635023295879364, 0.11484581977128983, -0.009960507974028587, 0.0344177708029747, -0.1273479014635086, -0.0943353921175003, 0.16983115673065186, 0.1510799080133438, -0.22476091980934143, 0.049499206244945526, 0.1384216845035553, 0.1259833723306656, 0.07865370064973831, 0.3356500267982483, 0.2287849485874176, -0.08848802745342255, 0.06221172213554382, -0.2150619775056839, 0.05525168776512146, 0.06896256655454636, 0.25680992007255554, -0.26370730996131897, -0.04600958153605461, 0.09111302345991135, -0.021443216130137444, 0.17124398052692413, 0.034207914024591446, -0.043751828372478485, -0.14573682844638824, -0.09525427222251892, 0.028924770653247833, -0.08300846815109253, -0.059136051684617996, -0.024387149140238762, 0.12586353719234467, 0.007528270594775677, -0.10518844425678253, 0.11190776526927948, 0.062092553824186325, -0.23821991682052612, 0.17628256976604462, -0.11317327618598938, -0.12008192390203476, 0.016212722286581993, -0.18070438504219055, 0.1419370472431183, 0.07490269094705582, -0.231834277510643, 0.013248786330223083, 0.2532402276992798, -0.10278435051441193, 0.05564931035041809, -0.021376635879278183, 0.1973973512649536, -0.15729038417339325, 0.18605276942253113, -0.17291545867919922, -0.07370968908071518, -0.14987541735172272, -0.15329447388648987, 0.0010656218510121107, 0.06813380122184753, -0.18283240497112274, 0.05188002437353134, -0.0836610347032547, 0.0670880600810051, -0.18670614063739777, 0.0011862353421747684, 0.037689339369535446, 0.10606680065393448, -0.1713053286075592, -0.15785232186317444]

\[ \underbrace{\text{``The cat''}}_{\text{Satz}} \;\rightarrow\; \underbrace{[\text{``The''}, \text{`` cat''}]}_{\text{Tokens}} \;\rightarrow\; \underbrace{[791, 8415]}_{\text{Token-IDs}} \;\rightarrow\; \underbrace{[\mathbf{e}_{791}, \mathbf{e}_{8415}]}_{\text{Embeddings}} \]

\[ \mathbf{e}_{8415} = \begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ \vdots \\ x_{768} \end{bmatrix} \in \mathbb{R}^{768} \quad \text{implemented as} \quad \texttt{float32}^{768} \]

Die Darstellung fasst die Kette zusammen: Ein Satz wird tokenisiert, Token-IDs verweisen auf Embeddings, und jedes Embedding ist ein numerischer Vektor. Das Modell verarbeitet diese Vektoren, nicht Wörter mit einer festen menschlichen Bedeutung.

Kontext

Das Modell berücksichtigt nur einen begrenzten Ausschnitt vor dem aktuellen Token: das Kontextfenster. Die Attention-Gewichte steuern, welche Teile dieses Kontexts für die nächste Vorhersage stärker zählen.

\[ \underbrace{t_1,\; t_2,\; t_3}_{\text{too far back}} \quad \underbrace{t_4,\; t_5,\; t_6,\; t_7,\; t_8}_{\text{context window}} \quad \xrightarrow{ \begin{array}{c} \overbrace{ \mathbf{W} = \begin{bmatrix} w_{1,1} & \cdots \\ \vdots & \ddots \end{bmatrix} }^{\text{model weights}} \;\longrightarrow\; \overbrace{ \mathbf{A} = \begin{bmatrix} 0.10 \\ 0.25 \\ \vdots \\ 0.40 \end{bmatrix} }^{\text{attention weights}} \end{array} } \quad P(T_9 \mid t_4,\dots,t_8) \]

Temperatur

Die Temperatur verändert die Verteilung der möglichen nächsten Tokens. Eine niedrige Temperatur macht die Ausgabe berechenbarer, eine höhere Temperatur verteilt die Wahrscheinlichkeit breiter und erhöht die Varianz.

\[ \underbrace{\text{The cat sat on the}}_{\text{context}} \longrightarrow \begin{cases} \text{mat} & 0.42 \\ \text{chair} & 0.18 \\ \text{floor} & 0.15 \\ \text{table} & 0.10 \\ \text{other tokens} & 0.15 \end{cases} \xrightarrow{\text{softmax},\; T = 0.7} \quad \begin{cases} [\text{mat}] & 0.75 \\ [\text{chair}] & 0.10 \\ [\text{floor}] & 0.06 \\ [\text{table}] & 0.02 \\ [\text{other tokens}] & 0.01 \end{cases} \]

Soekia

https://www.soekia.ch/GPT/

Geben Sie der Maschine die Aufforderung eine Geschichte zu einem Thema deiner Wahl zu schreiben.

Schauen Sie nach kurzer Zeit hinein und passen Sie die Auswahl an.

[Sources] - Soekia, Soekia-GPT-Wortzeichen, abgerufen am 14.08.2026.

Relevante Parameter

Diese Begriffe bilden die technische Grundlage für spätere Prompt- und API-Entscheidungen: Vektoren und Gewichte repräsentieren gelernte Muster, Kontextfenster begrenzen den Input, Temperatur beeinflusst die Auswahl im Output.

• Embeddings
• Dimensions
• Context Window
• Gewichte
• Temperatur

Mehr als nur eine Ratemaschine

Die nächste Sequenz ergänzt die reine Next-Token-Perspektive: Trainingsverfahren, Denk- und Werkzeugschritte sowie Agentenstrukturen erweitern, wie Modelle praktisch eingesetzt werden.

Reinforcement Learning from Human Feedback (RLHF)¹

RLHF richtet ein vortrainiertes Modell stärker auf hilfreiche und erwünschte Antworten aus. Die Folie zeigt die drei vereinfachten Schritte: gute Beispiele, menschliche Bewertungen und Optimierung mit einem Belohnungsmodell.

[Sources] - Soco St via SVG Repo, CC BY 4.0: drei verwendete Illustrationen.

Supervised Fine Tuning

Menschen schreiben Fragen und optimale Antworten

Create Reward Model

Menschen beurteilen KI-Antworten

Reinforcement Learning

KI trainiert mit dem Belohnungsmodell

1. Quelle: Joma 2nd Channel (2026)

Chain of Thought

Bei anspruchsvolleren Aufgaben macht ein Prompt die Zwischenschritte sichtbar und überprüfbar.

Direkte Antwort

Eine Sitzung beginnt um 08:15, dauert 90 Minuten und enthält 15 Minuten Pause. Wann endet sie?

Antwort: «Um 10:00 Uhr.»

Die Antwort kann stimmen – der Rechenweg bleibt jedoch unsichtbar.

Mit Zwischenschritten

Löse die Aufgabe schrittweise: Berechne zuerst die gesamte Dauer und addiere sie dann zur Startzeit.

Antwort: «90 + 15 = 105 Minuten. 08:15 + 1:45 = 10:00. Die Sitzung endet um 10:00 Uhr.»

Die Rechnung lässt sich unmittelbar prüfen.

Die Folie vergleicht eine direkte Antwort mit einer Antwort, deren Zwischenschritte ausdrücklich eingefordert werden. Der Nutzen liegt in der Überprüfbarkeit der sichtbaren Rechnung; sie ist keine Garantie für ein korrektes Ergebnis oder ein Einblick in den internen Denkprozess des Modells.

[Sources] - Vom Nutzer bereitgestellte Referenzgrafik, deutsch adaptiert.

Function calls

Ohne Werkzeug

Wann findet die nächste Sitzung statt?

Antwort: «Vermutlich am Dienstagmorgen.»

Plausibel, aber nicht überprüft.

Mit Funktionsaufruf

Wann findet die nächste Sitzung statt?

get_next_session(course="opks")

Rückgabe des Kursplans: 22.09.2026, 08:15, B301
Antwort: «Die nächste Sitzung findet am 22. September um 08:15 in B301 statt.»

Funktionsaufrufe erlauben einem Modell, strukturierte Anfragen an definierte Werkzeuge oder Programme zu stellen. Im Beispiel fragt das Modell den Kursplan ab, statt einen Termin zu raten. Die Rückgabe des Werkzeugs ist die Grundlage für die Antwort und bleibt überprüfbar.

ReAct: Loop

• Gedanke: Das Modell formuliert, was es als Nächstes tun will.
• Aktion: Das Modell wählt ein Werkzeug aus, z. B. «Dateien durchsuchen».
• Beobachtung: Das Modell erhält die Ausgabe des Werkzeugs, z. B. den Code in einer Datei.
• Wiederholen: Das Modell aktualisiert seinen Plan aufgrund der Beobachtung und beginnt die Schleife erneut.

ReAct = Reasoning + Acting

ReAct verbindet Überlegen und Handeln in einer Schleife: Das Modell plant einen nächsten Schritt, ruft bei Bedarf ein Werkzeug auf, wertet das Resultat aus und entscheidet dann weiter.

[Sources] - Vom Nutzer bereitgestellte Referenzgrafik, deutsch adaptiert.

Agenten: äussere Schleife

Abbildung 1: Vereinfachter Ablauf eines Agenten mit ReAct-Schleife und Arbeitsgedächtnis.

Ein Agent organisiert mehrere Modell- und Werkzeugschritte um ein Ziel herum. Die äussere Schleife verwaltet Zustand, Zwischenergebnisse und Abbruchbedingungen; sie macht aus einem einzelnen Prompt einen Arbeitsablauf. Das Arbeitsgedächtnis ist dabei kein menschliches Gedächtnis, sondern ein technisch gespeicherter, für den nächsten Schritt wieder abrufbarer Kontext.

[Sources] - Vom Nutzer bereitgestellte Referenzgrafik, deutsch adaptiert.

Beispiel: Clawdbot

Abbildung 2: Vereinfachte Architektur eines Clawdbot-Agenten.

Das Beispiel dient dazu, die Agentenidee an einem konkreten System zu diskutieren: Welche Aufgaben übernimmt das Modell, welche Werkzeuge braucht es und wo sind menschliche Kontrolle und klare Grenzen nötig? Die Darstellung ist bewusst verallgemeinert; konkrete Integrationen, Zugriffe und Berechtigungen müssen immer systembezogen geprüft werden.

[Sources] - Vom Nutzer bereitgestellte Referenzgrafik, deutsch adaptiert.

Geschäftsmodelle und API

Zum Abschluss wird die technische Sicht mit der wirtschaftlichen verbunden: Sprachmodelle verursachen Rechenkosten und werden deshalb über Abonnemente, Nutzungskosten oder integrierte Produkte finanziert.

Vorbereitung auf hands on-Übung

• Installieren Sie ChatGPT/Codex App lokal.
• Sie erhalten von mir API Keys

Ich brauche Freiwillige:

• Eine Person benutzt ausschliesslich Sol (stark)
• Eine Person benutzt ausschliesslich Terra (mittel)
• Eine Person benutzt ausschliesslich Luna (schwach)

Wir vergleichen zum Schluss den Tokenverbrauch in CHF.

Anmerkungen:

Der Gesamtverbrauch ist gedeckelt auf 50CHF.

Die Tokens sind sofort nach dem Kurs nicht mehr gültig.

Hands on

Abbildung 3: Anzahl Schüler:innen mit attestierter Diagnose. Gfs Bern (2026) (n = 8288).

Diese Originalgrafik ist der gemeinsame Ausgangspunkt für die Übung. Sie zeigt die Anteile der Lehrpersonen in verschiedenen Diagnosekategorien und macht zugleich die Grenzen visueller Auswertung bei kleinen Segmenten sichtbar.

Geleitete Übung

Übungsblatt

Ziel: Wir machen uns schlau über die Graphik mit Hilfe von KI.

Software: ChatGPT / Codex (lokale App)

Modell: GPT 5.6

Durchführung: Die Studierenden dürfen die lokale App oder die API verwenden. Bei der API nie Zugangsdaten teilen und nur die vorliegende, nicht personenbezogene Grafik mitsenden.

Bildet Dreiergruppen. Alle verwenden denselben Auftrag zur Analyse der Grafik, aber mit unterschiedlicher Verarbeitungstiefe: eine Person arbeitet mit SOL und hoher Verarbeitungstiefe, eine mit TERRA und mittlerer Verarbeitungstiefe, eine mit Luna und niedriger Verarbeitungstiefe.

Haltet Modell, Verarbeitungstiefe, Prompt, Bearbeitungszeit, API-Kosten und Ergebnis fest. Vergleicht danach die fachliche Qualität: korrekte Beschreibung, erkennbare Unsicherheiten bei kleinen Segmenten und Nachvollziehbarkeit der Antwort.

Abbildung 4: Anzahl Schüler:innen mit attestierter Diagnose. Gfs Bern (2026) (n = 8288).

Hier ist dieselbe Verteilung als reproduzierbare R-Grafik umgesetzt. Im Vergleich zur Vorlage lässt sich besprechen, welche Angaben zuverlässig ablesbar sind, wo kleine Segmente unsicher bleiben und warum Daten besser sind als blosses Ablesen.

Geleitete Übung

Ziel: Wir binden benutzen Graphiken in wissenschaftlichen Dokumenten.

Software: ChatGPT / Codex (lokale App)

Modell: GPT 5.6

Durchführung: Die Studierenden dürfen die lokale App oder die API verwenden. Bei der API nie Zugangsdaten teilen und ausschliesslich die bereitgestellten Materialien verwenden.

Wieder in Dreiergruppen arbeiten: eine Person nutzt SOL mit hoher Verarbeitungstiefe, eine TERRA mit mittlerer Verarbeitungstiefe und eine Luna mit niedriger Verarbeitungstiefe. Der Arbeitsauftrag und die Datenbasis müssen für alle drei Durchgänge identisch bleiben.

Für jede Variante festhalten: Prompt, Modell, Verarbeitungstiefe, Bearbeitungszeit, API-Kosten und das erzeugte Resultat. Vergleicht anschliessend, welche Variante die Grafik fachlich am treffendsten, technisch am zuverlässigsten und im Verhältnis von Qualität zu Kosten am sinnvollsten einbindet.

Rechtliches

Urheberrecht

• Bilder wie das links: CC BY Soco St via SVG Repo
• Eigene Slides unter CC BY-SA 4.0

Literatur

Gfs Bern. 2026. Inklusionsorientierte Schule zwischen Anspruch und Realität. Bern. https://www.gfsbern.ch/wp-content/uploads/2026/08/256022_lch_schlussbericht_def.pdf.

Joma 2nd Channel. 2026. OpenClaw: Looking Past the Hype (Clawdbot). https://www.youtube.com/watch?v=hoeEclqW8Gs.