Ein Tutor, der sich erinnert: ein Fachgedächtnis, das das Kontextfenster überlebt

Der Aufbau des Systems

Drei Speicher, ein budgetiertes Lesen pro Runde, eine Schleife pro Nacht. Dateien füttern die Karte; das Gespräch füttert das Episodenlog; Checks füttern Annahmen. Jede Chat-Runde liest eine kleine, geordnete Auswahl aus allen drei und legt sie in den Prompt, innerhalb eines festen Token-Budgets. Nichts im Lesepfad ruft ein generatives Modell auf. Das einzige Modell, das dabei aufgerufen wird, ist das Embedding, einmal pro Runde, gemeinsam genutzt von Routing und Abruf; der einzige generative Durchlauf außerhalb des Chats ist der, der eine neue Datei in die Karte einliest.

Episoden: ein Append-only-Log mit Hash-Verkettung

Jedes Ereignis wird zu einer Episode: eine Frage, eine Antwort, ein Check mit seinem Urteil, ein Quiz-Ergebnis, eine ankommende Datei, etwas, das der Schüler dem Tutor ausdrücklich beigebracht hat. Eine Episode trägt eine einzeilige Zusammenfassung, den vollständigen Text, die berührten Konzepte, einen zum Schreibzeitpunkt gesetzten Salienzwert und ihren Beleg – bei einer Antwort die zitierte Datei und Seite, versehen mit der Prüfsumme der Datei zu diesem Zeitpunkt. Episoden werden nie bearbeitet. Jede speichert den Hash der vorigen in derselben Kette, sodass das Log neu berechenbar ist und jede Manipulation, oder jedes stille Umschreiben durch eine gutmeinende Migration, als Bruch sichtbar wird. Das ist Manipulationsnachweis, nicht Manipulationssicherheit: Ein Umschreiben wird erkannt, nie verhindert, und das auch nur so lange, wie die Kette oder ein Checkpoint davon aufbewahrt wird.

Salienz wird durch das bestimmt, was eine Episode ist, nicht durch eine Stimmung: Ein verpasster Check (0.7) zählt mehr als ein bestandener (0.6), und etwas, das der Schüler dem Tutor beigebracht hat (0.85), zählt am meisten, weil es die eine Erinnerung ist, um deren Bewahrung eine Person ausdrücklich gebeten hat. Eine Frage ist ein bescheidener Wert von 0.35 – die eigene Frage eines Schülers ist ein korrekter Treffer beim Abruf und eine nutzlose Erinnerung, was sich später beim Pfad „woran erinnert mich das" als wichtig erweist.

Abruf: Relevanz muss Neuheit schlagen

Abruf ist assoziativ, nicht chronologisch. Kandidaten werden aus mehreren Pools gesammelt, jeder mit Zugriff auf die gesamte Geschichte, und erst dann bewertet: die letzten fünfhundert, jede Episode mit einem markanten Wort aus der Frage, jede Episode, die die Konzepte berührt, an die die Frage weitergeleitet wurde, und die semantischen Nachbarn aus einem Vektorindex. Erst verbreitern, dann schneiden ist die wichtigste einzelne Designentscheidung des Moduls – der erste Entwurf schnitt zuerst („die neuesten 500") und konnte eine völlig relevante Erinnerung aus dem März bei keiner Relevanz abrufen, weil sie abgeschnitten wurde, bevor sie bewertet wurde.

Gewichte allein reichen nicht. Wenn die Frage über etwas geht und irgendetwas passt, werden Episoden, die zu nichts passen, verworfen statt eingestuft – eine frische irrelevante Notiz erzielt allein durch Neuheit 0.15 × 1.0, während eine 200 Tage alte exakte Übereinstimmung 0.55 × 0.156 erzielt, und keine Gewichtung, die eine Nicht-Übereinstimmung eine Übereinstimmung übertreffen lässt, ist bei irgendeiner Einstellung richtig. Neuheit ist ein Tiebreaker, kein Rangierer. Zwei Fragen sollte man sich zu diesen Zahlen stellen: woher sie stammen, und ob wir sie angepasst haben. Sie wurden von Hand festgelegt, übernommen aus einem früheren Gedächtnis-System von uns, das für ein anderes Produkt gebaut wurde, und sie wurden anhand keiner der Daten in diesem Artikel justiert. Nichts im Folgenden wurde durchsucht oder angepasst; die einzige Änderung, die wir an der Bewertung vorgenommen haben, kam von einem Fehler, den wir benennen konnten, nicht von einer Suche, und sie betraf das Gate, nicht ein Gewicht. Das Gate hat zwei Ausnahmen: keine Frage überhaupt (dann ist Neuheit alles, was es gibt), und nichts passte (dann ist die jüngste Vergangenheit das ehrliche beste Angebot).

Zwei Dinge, die echte Verläufe hinzufügten

Wiederholungen fallen zusammen. In einem echten Fach waren 161 Schülerfragen 56 verschiedene Sätze, „was ist eine Zelle" wurde neunmal in drei Monaten gefragt. Neun Kopien sind eine Erinnerung, neunmal erinnert, also fasst der Abruf identische Episoden zusammen und meldet, für wie viele die überlebende Episode steht. Zeit ist ein Filter, kein Hinweis. „Was haben wir im Juli behandelt?" wird zu einem Zeitfenster geparst, und der Abruf läuft zuerst darin; ist das Fenster leer, sagt der Block das ausdrücklich (siehe § Ehrlichkeit). Monatsnamen funktionieren in den Sprachen, in denen unsere Schüler schreiben, ebenso wie „letzte Woche" und „gestern".

Die Konzeptkarte

Passagen beantworten „was sagt die Datei hier"; eine Karte beantwortet „woraus besteht dieses Fach, und was baut auf was auf". Jede Datei wird einmal von einem Modelldurchlauf gelesen, der eine begrenzte Liste von Konzepten zurückgibt, Name, Ein-Satz-Kern, eine kurze Definition, die Konzepte, auf denen es aufbaut aus seiner eigenen Liste, die Seiten, auf denen die Datei es erklärt. Abschnittstitel („Einleitung", „Häufige Missverständnisse") werden von einem Validator abgelehnt; ein Name, der eigentlich eine Kapitelüberschrift ist, ist das Mobiliar der Datei, nicht die Ideen des Fachs.

Konzepte verschmelzen über Dateien hinweg per kanonischem Schlüssel (ein normalisierter Name, schriftbewusst) und per Embedding-Ähnlichkeit über 0.86. Die Herkunft wächst an: Ein Kapitel, das Osmose erneut erklärt, fügt sich einem Knoten hinzu statt einen zweiten zu erzeugen, und jede beitragende Datei bleibt mit ihren Seiten aufgelistet. Eine Voraussetzung, die die Datei annimmt, aber nie erklärt, wird nur dann zu einem Knoten, wenn zwei Konzepte sie annehmen, dann ist die Lücke real und zeigenswert; ein Einzelfall wird am Konzept als „nimmt an" vermerkt und nirgendwo gezeichnet. Das erste Richtliniendokument, das wir gelesen haben, machte aus 11 Konzepten 34 Knoten, bevor es diese Regel gab.

Aus der Karte ergeben sich drei abgeleitete Zahlen. Zentralität ist ein gewichteter PageRank über die Kanten (eine Voraussetzung, auf der alles aufbaut, ist ein Knotenpunkt). Reifegrad pro Konzept folgt vier Stufen, 0.35 nur benannt, 0.60 von einer Datei erklärt, 0.85 durch einen bestandenen Check bestätigt, 1.0 von einer Person gelehrt, und der Reifegrad des Fachs ist der zentralitätsgewichtete Mittelwert, sodass ein Knotenpunkt, den die Dateien nicht erklären, mehr kostet als ein Blatt. Lehrreihenfolge ist eine topologische Schichtung: Voraussetzungen zuerst, Knotenpunkte zuerst innerhalb einer Stufe; sie ersetzte einen Modellaufruf, der früher „was zu lehren ist" aus vierzehn Passagen skizzierte.

SUBJECT MAP (16 concepts; the files explain 79% of it, this is about the material, NOT the student's mastery):
- Mitochondria: Mitochondria release energy from glucose. [taught: in our class we call the mitochondria the powerhouse of the cell] (builds on: Cytoplasm)
- Cytoplasm: Cytoplasm is the gel-like substance inside the cell membrane. (builds on: Cell Membrane)
- Chloroplasts: Chloroplasts are involved in photosynthesis. (builds on: Cell Wall)
- Endosymbiosis: Endosymbiosis explains the origin of mitochondria and chloroplasts. (builds on: Mitochondria, Chloroplasts)
…

Dieser Kopfzeilentext war selbst eine Lektion. Die erste Version sagte „79% verstanden", und ein Modell, das das las, erklärte einem Schüler munter „bei deinem aktuellen Verständnis von 79%…". Eine Reifegrad-Zahl, die als die Beherrschung des Schülers gelesen werden kann, wird so gelesen; die Zeile sagt jetzt, worum es geht.

Das Fach unterrichten

Eine Person kann die Karte erweitern, indem sie mit ihr spricht. „Denk dir, dass wir in unserer Klasse die Mitochondrien das Kraftwerk der Zelle nennen" hängt eine Lehr-Notiz an das benannte Konzept (Weiterleitung per Name; nur exakte Treffer), setzt den Reifegrad dieses Konzepts auf 1.0, schreibt eine gelehrt-Episode und legt die Notiz ins Profil. Nennt der Satz kein bestehendes Konzept, wird ein neuer Knoten auf der Lehrebene mit einem kurzen Namen geprägt, nie der ganze Satz. Fragen lehren nie; nur ein ausdrückliches „denk dir, dass", „behandle X als" oder sein Äquivalent in der Sprache des Schülers tut es.

Annahmen, die ihre Geschichte behalten

Eine Annahme ist, was der Tutor gerade über diesen Schüler zu diesem Konzept denkt, „kämpft mit Osmose", „versteht Zytoplasma", mit einer Konfidenz und den Episoden dahinter. Die Regel, die zählt: Zeilen werden nie zu einer anderen Aussage aktualisiert. Wenn der Tutor seine Meinung ändert, bleibt die alte Zeile genau, wie sie war, eine neue Zeile wird eingefügt, und die alte verweist auf die neue. Der Abruf liest nur Zeilen, die durch nichts ersetzt wurden; ein Bericht kann die Kette durchlaufen, wenn jemand fragt, was sich geändert hat und warum. Bewahrung und Aktualität sind verschiedene Eigenschaften, und ein Gedächtnis, das beide behält, ist eines, auf dem sich ein Bericht aufbauen lässt.

Annahmen sind billig, wo es zählt: etwa zwanzig Token pro Annahme, und eine steht für Dutzende Episoden. Dieses Verhältnis, nicht ein größeres Fenster, ist es, was „sich an mehr erinnern, als in den Kontext passt" tatsächlich bedeutet. Episoden werden nicht verworfen, an ihnen wird eine Annahme geprüft, aber sie kommen an zweiter Stelle, und der Aufrufer gibt sein verbleibendes Budget für sie aus.

Über welches Thema ist eine Annahme?

Das war der Teil, den echte Daten zuerst zerbrachen. Im Lehrmodus war das „Thema" eines Checks die eigenen Worte des Schülers gewesen, wiedergegebene Checks erzeugten also Annahmen wie versteht stell mir die Fragen (ask me the questions) und kämpft mit bueno ahora explícame todos los pasos. Jetzt wird das Thema eines Checks per Name an ein Konzept weitergeleitet, und wenn die Themenzeichenkette ein Satz ist, per Bewertungstext des Tutors selbst (der meist das Konzept benennt), nur bei exaktem Namenstreffer. Ein Thema, das auf nichts abbildet und wie eine Äußerung klingt, Fragewörter, Verben des Fragens, Pronomen, Füllwörter, in den Sprachen unserer Schüler, wird als Beleg behalten, wird aber nie zu einer Annahme. Eine solche Regeländerung braucht einen Weg zur Neuableitung: die aktuellen Annahmen stilllegen (nie löschen), die verzeichneten Checks nach den heutigen Regeln nachspielen, keine Episode anfassen.

Eine Runde, ein Budget

Jede Chat-Runde fragt das Gehirn nach einem Block, außerhalb des Request-Pfads gebaut, mit einer harten Zeitgrenze. Über 155 Runden brauchte der Block im Median 295 ms, beim 90. Perzentil 403 ms und beim 95. Perzentil 445 ms, mit einem Aufbau über einer Sekunde und keinem über der Obergrenze von 2.5 s, ab der das Bündel verworfen statt abgewartet wird, damit ein langsames Gedächtnis nie vor dem ersten Token steht. Ein Embedding der Frage bedient sowohl Routing als auch Abruf. Der Block geht in den bestehenden Gedächtnis-Slot des Prompts, vor die Materialpassagen, und sonst ändert sich am Prompt nichts.

===== YOUR MEMORY OF THIS STUDENT AND SUBJECT =====
THE STUDENT IS ASKING ABOUT THEIR OWN RECORD. Answer from the beliefs and the earlier work listed here …
WHAT YOU CURRENTLY BELIEVE ABOUT THIS STUDENT (from their checks; confidence 0–1):
- understands cytoplasm (0.72)
- understands eukaryotic cells (0.72)
EARLIER WORK WITH THIS STUDENT (oldest first):
- 12 Jul · you were asked: Can we go over Eukaryotic Cells today? I keep mixing it up.
- 12 Jul · you answered: Of course. Eukaryotic Cells: Eukaryotic cells contain a nucleus and organelles. We worked through two examples and you got the second one right.
- 18 Sep · the student taught you: Taught: in our class we call the mitochondria the powerhouse of the cell
- 18 Sep · check: Check on cytoplasm: right (and 3 more times like it)
SUBJECT MAP (16 concepts; the files explain 79% of it, …)
…
HOW TO USE THIS: it is your own memory of past work with this student, not their material. When you rely on it, say when it happened ("in July we…"). Never claim a memory that is not listed here. …
===== END OF MEMORY =====

Die Reihenfolge innerhalb des Blocks erwies sich als genauso wichtig wie der Inhalt. Bei einer gewöhnlichen Frage kommt die Karte zuerst. Bei einer Protokollfrage: „was habe ich bisher falsch gemacht", „was haben wir studiert", „ماذا أخطأت", kommen die Annahmen und die frühere Arbeit zuerst und die Karte zuletzt, mit einer ausdrücklichen ersten Zeile, die sagt, dass der Schüler nach seinem eigenen Protokoll fragt. Das haben wir aus einem Fehlschlag gelernt: Der Prompt trug auch einen veralteten „Bewertungsergebnisse"-Abschnitt, der mit „KEINE QUIZ-VERSUCHE aufgezeichnet" beginnt, und das Modell antwortete einem Schüler, der im Gespräch achtundzwanzig Checks beantwortet hatte, mit „du hast noch keine Quizzes versucht". Ein Modell liest die erste maßgebliche Aussage über ein Protokoll und hört auf. Der Gedächtnisblock steht jetzt vor diesem Abschnitt, eine verbindende Notiz verknüpft beide, und ein Bewertungsabschnitt, der nur „nichts aufgezeichnet" sagt, wird verworfen, wenn der Gedächtnisblock existiert.

„Ich habe dazu keine Aufzeichnung"

Das lehrreichste Scheitern des ganzen Projekts war ein Szenario, das wir so geschrieben hatten, dass es bestehen sollte: ein Juli-Gespräch anlegen, fragen „was haben wir im Juli über X behandelt", die Antwort prüfen. Die Antwort begann mit „Im Juli haben wir X behandelt…" und war flüssig, in der Datei verankert und vollständig erfunden, die Juli-Erinnerung hatte den Prompt nicht erreicht, und das Modell erzählte Juli aus der Rahmung der Frage heraus. Zwei Ursachen. Der Protokollfrage-Modus hatte nur Checks und Quizzes behalten und das Gespräch fallen gelassen, das das Protokoll war; und die eigenen früheren Erzählungen des Tutors („Im Juli haben wir behandelt…", gespeichert als Antwort-Episoden) wurden abgerufen, als wären sie Erinnerungen an den Juli, das Gehirn erinnert sich, dass es sich erinnert hat.

Beide Fälle sind jetzt Szenarien in einem wiederholbaren Runner: Das Juli-Szenario besteht nur, wenn die Juli-Erinnerungen im Prompt sind (geprüft anhand der gespeicherten Gedächtnis-IDs der Nachricht, nicht am Wortlaut der Antwort), und das Leermonat-Szenario besteht nur, wenn die Antwort sagt, dass sie keine Aufzeichnung hat, und keine Sitzung beschreibt.

Erinnerung als Beleg

Unser Chat hatte bereits ein Herkunfts-Panel: Jede Behauptung in einer Antwort wird bis zu einer Zeile in den Dateien des Schülers zurückverfolgt, und eine Antwort mit zu wenig zurückverfolgten Behauptungen wird als größtenteils unbelegt markiert. Dieser Tracer kannte nur Dateien. Ein zutreffendes „im Juli haben wir X behandelt, und du hast das zweite Beispiel richtig gemacht" würde daher als nicht in deinen Notizen gelesen, das Feature nennt eine wahre Aussage falsch. Also werden die Erinnerungen, an die der Tutor erinnert wurde, an der Antwort gespeichert, und der Tracer behandelt jede abgerufene Episode als eine weitere Quelle, beschriftet damit, wann es geschah.

Dasselbe Verankerungs-Ergebnis gibt jeder Antwort-Episode eine Haltung: beantwortet, teilweise oder kann nicht, nachträglich gespeichert. So lernt der Bericht, welche Fragen die Dateien nicht beantworten konnten, ohne einen zweiten Modellaufruf und ohne eine versteckte „Rahmen"-Zeile im Stream, was wir versucht und verworfen haben: Im einfachen Antwortmodus filtert nichts den Stream, also hätte eine versteckte Zeile den Schüler erreicht.

Ein Gedächtnis, das sich selbst prüft

Ein Gedächtnis, das sich nicht selbst prüfen kann, wird mit dem Alter selbstsicherer und weniger richtig. Weil der Beleg einer Antwort die Prüfsumme der Datei zum jeweiligen Zeitpunkt festhält, ist die Verifikation ein Nachschlagen, kein Modellaufruf: hält: die zitierte Datei ist noch da, unverändert; ersetzt: sie wurde ersetzt oder entfernt, und die Notiz sagt, was; nicht prüfbar: die Erinnerung zitiert keine Datei (ein Gespräch, ein Check). Diese dritte Antwort ist ein vollwertiges Ergebnis, kein Fehler; eine gesprächsbasierte Erinnerung als „hält" zu melden wäre der eigentliche Defekt. Eine abgerufene Episode kommt bereits beschriftet im Prompt an: „[Hinweis: Die hier zitierte Datei wurde seither ersetzt oder entfernt]".

Die nächtliche Schleife

Einmal pro Nacht läuft für jedes Schüler-Fach-Paar, das im letzten Tag aktiv war, ein deterministischer Zyklus ohne Modellaufrufe: komprimieren: den Tag zu einer Konsolidierungs-Episode (Anzahlen nach Typ, die Check-Bilanz, die Themen, die fünf salientesten Schlagzeilen; ein ruhiger Tag schreibt nichts, und die Notiz fasst nie ihre eigene Art erneut zusammen); verfallen lassen: jede 45 Tage unberührte Annahme um 15 % und sie für den nächsten Check zur Bestätigung markieren; kalibrieren: die vom Tutor vor jedem Check vorhergesagte Beherrschung gegen das Urteil; verifizieren: eine begrenzte Stapelmenge an Belegen, nie geprüfte zuerst; die kleine Arbeitsmenge neu aufbauen; das Selbstmodell neu zusammensetzen.

Kalibrierung ist der Ehrlichkeitscheck auf die Konfidenz des Tutors: Vor jedem Check wissen wir, welche Beherrschung er vorhergesagt hat; danach kennen wir das Urteil. In Buckets ergibt das eine Zuverlässigkeitskurve und einen erwarteten Kalibrierungsfehler, und das Selbstmodell meldet „kalibriert" erst ab fünf Checks mit einer Vorhersage. Bis dahin sagen seine Grenzen das offen, Konfidenz als Rangfolge behandeln, nicht als Wahrscheinlichkeit.

Was uns echte Verläufe gelehrt haben

Szenarien beweisen Mechanismen; sie beweisen nicht, dass die Sache so funktioniert, wie Menschen tatsächlich reden. Also bauten wir einen Replay: die reichsten echten Schüler-Fach-Verläufe nehmen, nur lesend, jeden in einer isolierten Kopie der Plattform nachbauen, das Gehirn dafür aufbauen und drei realitätsnahe Fragen über den echten Chat-Endpunkt als dieser Nutzer stellen. Sechs Paare, je 65–142 Nachrichten, je 13–32 Lehrmodus-Urteile, eines auf Spanisch. Sie sind keine Zufallsstichprobe und sollten nicht als eine gelesen werden. Wir wählten Verläufe mit mindestens vierzig Nachrichten, höchstens zwei pro Schüler, Test- und interne Accounts ausgeschlossen, und bevorzugten die mit den meisten bewerteten Antworten, weil ein Verlauf ohne Inhalt nichts auf die Probe stellt. Das verzerrt jede Zahl hier zugunsten intensiver Nutzer. Das Fach eines wenig aktiven Nutzers würde dem Gedächtnis weniger zum Erinnern geben und weniger, das es falsch machen kann.

Er brachte auch die drei oben beschriebenen Korrekturen hervor: Annahmen zu Schülersätzen, das Protokoll aus der Karte statt aus dem Protokoll beantwortet, die veraltete „keine Quiz-Versuche"-Zeile, die Antworten anführte, und eine Bestätigung, über die wir uns freuten: Eine Konsolidierung markierte elf Erinnerungen, deren zitierte Datei nicht mehr existierte. Der Verifizierer, der seine Arbeit tat.

Die Algebra-Zeile ist die ehrliche. Zweiunddreißig Checks und keine Annahme, weil keiner an ein Konzept gebunden werden konnte: Der Schüler beantwortete Arithmetik, die Antworten des Tutors benannten nie die Konzepte des Kapitels, und eine Äußerung ist kein Thema. Der Bericht für diesen Schüler sagt „32 Checks sind aufgezeichnet, aber keiner konnte bisher an ein Konzept in der Karte gebunden werden" statt „noch keine Checks". Nichts erfunden, auch nicht die Beherrschung.

Ein Benchmark, keine Demo

All das oben ist eine Messung oder eine Stichprobe: wie lange etwas dauert, was der Replay ergeben hat, Antworten, die uns gefallen haben. Nichts davon belegt, dass sich das Gedächtnis lohnt, denn nichts wurde mit demselben Tutor ohne Gedächtnis verglichen. Also haben wir den Vergleich durchgeführt. Ein vorregistrierter Fragenkatalog, vier Designs desselben Tutors, die sich nur darin unterscheiden, was in den Prompt gelangt, und Scorer, die String- und ID-Vergleiche sind statt Meinungen, sodass dieselbe Antwort immer gleich bewertet wird.

Jedes Fach hier gehört genau einem Lernenden, und seine Fragen werden aus den eigenen erfassten Daten dieses Fachs generiert, wodurch sie überhaupt bewertbar werden: Eine Frage dazu, was der Lernende falsch gemacht hat, wird gegen die tatsächlich protokollierten Checks geprüft, eine Frage zu einer Voraussetzung gegen eine echte Kante in der Konzeptkarte, eine Frage zu einem Monat gegen die Monate, in denen dieses Fach tatsächlich aktiv war. Unterstützt ein Fach mehr als eine, bekommt es auch mehr als eine, also drei Konzepte und drei leere Monate statt jeweils nur eines. Sechs Kategorien, 420 bewertete Fragen pro Design, über 45 echte Lernverläufe hinweg, abgespielt in einer isolierten Kopie der Plattform und über den gewöhnlichen Chat-Endpunkt als dieser Lernende gestellt.

Die vier Designs

Alle vier führen dasselbe Retrieval über dieselben Dateien aus. Reines Retrieval ist der Tutor ganz ohne Gedächtnis. Fenster ist die Antwort, zu der die meisten Leute zuerst greifen: die letzten zwanzig Gesprächs-Turns, ohne Ranking eingefügt. Episoden ist der nach Rang geordnete Abruf allein aus dem Episoden-Log, ohne Konzeptkarte, ohne Annahmen und ohne besondere Behandlung von Protokollfragen. Volles Ged. ist alles, was dieser Artikel beschreibt.

Was die Tabelle zeigt

Insgesamt steigt der Tutor von 168 von 420 auf 383, das sind 40 Prozent gegenüber 91. Der Durchschnitt ist hier die am wenigsten interessante Zahl; die Form des Unterschieds ist der eigentliche Befund.

Ein größeres Fenster reicht nicht. Die letzten zwanzig Turns einfach in den Prompt zu kippen, bringt 40 Prozent auf 65, und mehr ist damit nicht gewonnen. Es beantwortet 5 von 32 Fragen dazu, was der Lernende falsch gemacht hat, denn dort stecken zwanzig Chat-Turns nicht drin, und bei einem leeren Monat liegt es öfter falsch als richtig. Das ist die Antwort im Stil von „einfach mehr vom Gespräch reinpacken“, gemessen statt nur behauptet.

Rangbasierter Abruf leistet das meiste. Das Episoden-Log allein erreicht 83 Prozent. Wenn Sie nur eines bauen, dann das: ein Append-only-Log, nach Relevanz bewertet, macht den größten Teil des Werts in diesem Artikel aus.

Die Konzeptkarte und die Annahmen sind die übrigen 33 Fragen wert, und sie verdienen sich das an zwei ganz bestimmten Stellen, nicht überall. Bei der Frage, was vor einem Thema zu wiederholen ist, antworten die Designs ohne Konzeptkarte in etwa 55 Prozent der Fälle richtig, das volle Gedächtnis in 96, weil Voraussetzungen Kanten sind und ein Episoden-Log keine hat. Bei der Frage, was der Lernende falsch gemacht hat, bringen Annahmen und der Protokollfrage-Zweig die Quote von 24 von 32 auf 30. Bei der Aufforderung, ein Konzept zu erklären, bringt die Konzeptkarte gar nichts: 100 so oder so.

Was das gekostet hat

Was dieser Benchmark nicht zeigt

Die letzte dieser Zahlen sollte man beim Weiterlesen im Kopf behalten. Wir haben dem vollen Gedächtnis dieselben 420 Fragen ein zweites Mal gestellt, und 44 davon wurden unterschiedlich bewertet. Das Rauschen von Durchlauf zu Durchlauf liegt also bei etwa einem Zehntel, der Abstand von 33 Fragen zwischen den beiden besten Designs liegt deutlich darüber, der Abstand von 2 Fragen zwischen ihnen beim leeren Monat aber nicht: In dieser Kategorie liegen sie gleichauf, und das werden wir nicht anders behaupten.

Eine Kategorie hat sich als wertlos erwiesen, und wir lassen sie im Diagramm, statt sie stillschweigend zu streichen. Ein Monat, in dem der Lernende aktiv war , erzielt 44 von 44 bei jedem Design, auch bei dem ganz ohne Gedächtnis. Es kann verankerten Abruf nicht von einer plausiblen Beschreibung unterscheiden, die zufällig den richtigen Monat trifft, was genau der Fehler ist, den die Schwesterkategorie abfängt. Ein Test, den alle bestehen, misst nichts.

Die Scorer sind String-Vergleiche, geschrieben von denselben Leuten, die auch das Feature gebaut haben. Sie belohnen eine Antwort, die die protokollierten Worte wiederverwendet, und erkennen eine richtige Antwort nicht, wenn sie völlig anders formuliert ist, und einmal hat uns das schwer geschadet: Die Fragen zu Voraussetzungen wurden mit vertauschter Kantenrichtung generiert, sodass diese Kategorie lange Zeit als die schwächste des Gedächtnisses erschien, obwohl der Tutor genau die Antwort der Konzeptkarte gegeben hatte und dafür als falsch markiert wurde. Dabei ist es die stärkste Kategorie der Karte. Wir haben das gefunden, indem wir die Fehlschläge gelesen haben statt nur die Summen, denn nur so kommen diese Fehler überhaupt ans Licht.

Und die Stichprobe ist nicht zufällig. Es sind 45 echte Verläufe, ausgewählt, weil etwas in ihnen steckt: mindestens fünfzehn Nachrichten, angehängte Dateien, und für die Kategorien, die bewertete Antworten brauchen, mindestens fünf davon. Ein Lernender, der gerade erst angefangen hat, würde davon weit weniger nutzen und den Unterschied entsprechend weniger deutlich sehen.