Hatırlayan Bir Öğretmen: Bağlam Penceresinden Daha Uzun Ömürlü Bir Konu Belleği

Sistemin yapısı

Üç depo, tur başına bütçelenmiş bir okuma, gece başına bir döngü. Dosyalar haritayı besler; sohbet epizot günlüğünü besler; testler kanıları besler. Her sohbet turu bu üçünden küçük, sıralanmış bir dilim okur ve bunu sabit bir token bütçesi içinde prompt'a yerleştirir. Okuma yolunda hiçbir şey üretken bir modeli çağırmaz. Çağırdığı tek model, tur başına bir kez, yönlendirme ve hatırlama tarafından paylaşılan gömmedir; sohbet dışındaki tek model geçişi, haritaya yeni bir dosya okuyan geçiştir.

Epizotlar: sadece eklenen, hash zinciriyle bağlı bir günlük

Her olay bir epizota dönüşür: bir soru, bir cevap, sonucuyla birlikte bir test, bir quiz sonucu, gelen bir dosya, öğrencinin öğretmene açıkça öğrettiği bir şey. Bir epizot; tek satırlık bir özet, tam metin, dokunduğu kavramlar, yazılma anında belirlenen bir belirginlik puanı ve kendi kanıtını taşır, bir cevap için bu, o anki parmak iziyle damgalanmış, atıfta bulunduğu dosya ve sayfadır. Epizotlar asla düzenlenmez. Her biri kendisinden öncekinin hash'ini aynı zincirde saklar, böylece günlük yeniden hesaplanabilir olur ve her türlü kurcalama, ya da iyi niyetli bir migrasyonun sessizce yaptığı bir yeniden yazım, bir kırılma olarak ortaya çıkar. Bu, kurcalamanın kanıtıdır, kurcalamaya karşı koruma değil: bir yeniden yazım tespit edilir, asla önlenmez ve bu yalnızca zincir ya da onun bir kontrol noktası saklandığı sürece geçerlidir.

Belirginlik, bir epizotun ne olduğuyla belirlenir, bir ruh haliyle değil: kaçırılan bir test (0.7), geçilen bir testten (0.6) daha çok önem taşır, ve öğrencinin öğretmene öğrettiği bir şey (0.85) en çok önem taşır, çünkü bu bir kişinin açıkça saklanmasını istediği tek hafızadır. Bir soru mütevazı bir 0.35'tir, öğrencinin kendi sorusu, doğru bir hatırlama ve işe yaramaz bir hatırlatmadır, ki bu daha sonra "bu bana neyi hatırlatıyor" yolunda önem kazanır.

Hatırlama: ilgi, tazeliği yenmeli

Hatırlama, kronolojik değil çağrışımsaldır. Adaylar, her biri tüm geçmişe bütünüyle uzanan birkaç havuzdan toplanır ve ancak sonra puanlanır: en yeni beş yüzü, sorudan belirgin bir kelime içeren her epizotu, sorunun yönlendirildiği kavramlara dokunan her epizotu ve bir vektör indeksinden gelen anlamsal komşuları. Önce genişletmek, sonra dilimlemek, modüldeki en önemli tek tasarım kararıdır, ilk taslak önce dilimliyordu ("en yeni 500") ve Mart'tan mükemmel derecede ilgili bir hafızayı hiçbir ilgi düzeyinde hatırlayamıyordu, çünkü o hafıza puanlanmadan önce kesilip atılmıştı.

Ağırlıklar tek başına yeterli değildir. Soru bir şey hakkında olduğunda ve herhangi bir şey eşleştiğinde, hiçbir şeyle eşleşmeyen epizotlar sıralanmak yerine tamamen düşürülür, alakasız, taze bir not sadece tazelikten 0.15 × 1.0 puan alırken, 200 günlük tam bir eşleşme 0.55 × 0.156 puan alır ve eşleşmeyen bir şeyin eşleşen bir şeyi geçmesine izin veren hiçbir ağırlıklandırma hiçbir ayarda doğru değildir. Tazelik bir sıralayıcı değil, bir eşitlik bozucudur. Okuyucunun bu sayılar hakkında sorması gereken iki soru vardır: nereden geldikleri ve onları veriye uydurup uydurmadığımız. Bunlar elle belirlenmiştir, farklı bir ürün için kurulmuş daha önceki bir belleğimizden devralınmıştır ve bu makaledeki verilerin hiçbirine göre ayarlanmamıştır. Aşağıdakilerin hiçbiri taranarak ya da veriye uydurularak bulunmadı; puanlamada yaptığımız tek değişiklik bir aramadan değil, adını koyabildiğimiz bir başarısızlıktan geldi ve bu bir ağırlık değil, eleme adımıydı. Eleme adımının iki istisnası vardır: hiç sorgu olmaması (o zaman elde olan tek şey tazeliktir) ve hiçbir şeyin eşleşmemesi (o zaman en dürüst teklif, yakın geçmiştir).

Gerçek geçmişlerin eklediği iki şey

Tekrarlar birleşir. Gerçek bir konuda 161 öğrenci sorusu 56 farklı cümleye karşılık geliyordu, "hücre nedir" üç ay boyunca dokuz kez soruldu. Dokuz kopya tek bir hafızadır, dokuz kez hatırlanmış; bu yüzden hatırlama birbirinin aynısı olan epizotları birleştirir ve hayatta kalanın kaç epizotun yerine geçtiğini bildirir. Zaman bir ipucu değil, bir filtredir. "Temmuz'da ne işledik?" bir zaman aralığına ayrıştırılır ve hatırlama önce bunun içinde çalışır; aralık boşsa blok bunu açıkça söyler (bkz. § dürüstlük). Ay adları öğrencilerimizin yazdığı dillerde çalışır, "geçen hafta" ve "dün" de öyle.

Kavram haritası

Pasajlar "dosya burada ne diyor" sorusunu yanıtlar; bir harita ise "bu konu neden oluşuyor ve ne, neyin üzerine inşa ediliyor" sorusunu yanıtlar. Her dosya, sınırlı bir kavram listesi döndüren bir model geçişiyle bir kez okunur, ad, tek cümlelik özet, kısa bir tanım, kendi listesinden inşa ettiği kavramlar, dosyanın bunu açıkladığı sayfalar. Bölüm başlıkları ("Giriş", "Yaygın yanlış anlamalar") bir doğrulayıcı tarafından reddedilir; gerçekte bir bölüm başlığı olan bir ad, konunun fikirleri değil, dosyanın mobilyasıdır.

Kavramlar, dosyalar arasında bir kanonik anahtarla (normalleştirilmiş, yazı sistemi duyarlı bir ad) ve 0.86 üzerindeki gömme benzerliğiyle birleşir. Köken bilgisi birikir: ozmozu yeniden açıklayan bir bölüm, ikinci bir düğüm oluşturmak yerine kendini var olan tek düğüme ekler ve katkıda bulunan her dosya, sayfalarıyla birlikte listelenmeye devam eder. Dosyanın varsaydığı ama hiç açıklamadığı bir ön koşul, ancak iki kavram onu varsaydığında bir düğüme dönüşür, o zaman boşluk gerçektir ve gösterilmeye değer; tek seferlik bir varsayım, kavramın üzerine "varsayar" olarak kaydedilir ve hiçbir yerde çizilmez. Okuduğumuz ilk politika belgesi, bu kural var olmadan önce 11 kavramı 34 düğüme çevirmişti.

Haritadan üç türetilmiş sayı çıkar. Merkezilik, kenarlar üzerinde ağırlıklı bir PageRank'tir (her şeyin üzerine inşa edildiği bir ön koşul, bir merkezi düğümdür). Kavram başına hazırlık dört bandı takip eder, sadece adlandırılmışsa 0.35, bir dosya tarafından açıklanmışsa 0.60, geçilen bir testle doğrulanmışsa 0.85, bir kişi tarafından öğretilmişse 1.0, ve konunun hazırlığı, merkezilik ağırlıklı ortalamadır, böylece dosyaların açıklamadığı bir merkezi düğüm bir yapraktan daha maliyetlidir. Öğretim sırası topolojik bir katmanlamadır: önce ön koşullar, bir katman içinde önce merkezi düğümler; bu, on dört pasajdan "ne öğretilmeli"yi taslak haline getiren bir model çağrısının yerini aldı.

SUBJECT MAP (16 concepts; the files explain 79% of it, this is about the material, NOT the student's mastery):
- Mitochondria: Mitochondria release energy from glucose. [taught: in our class we call the mitochondria the powerhouse of the cell] (builds on: Cytoplasm)
- Cytoplasm: Cytoplasm is the gel-like substance inside the cell membrane. (builds on: Cell Membrane)
- Chloroplasts: Chloroplasts are involved in photosynthesis. (builds on: Cell Wall)
- Endosymbiosis: Endosymbiosis explains the origin of mitochondria and chloroplasts. (builds on: Mitochondria, Chloroplasts)
…

Bu başlık ifadesi kendi başına bir ders oldu. İlk sürüm "%79 anlaşıldı" diyordu ve bunu okuyan bir model öğrenciye keyifle "mevcut %79 anlama düzeyine göre…" diyordu. Öğrencinin hakimiyeti olarak okunabilecek bir hazırlık sayısı, tam olarak öyle okunacaktır; satır şimdi neyle ilgili olduğunu söylüyor.

Konuyu öğretmek

Bir kişi haritayı, onunla konuşarak genişletebilir. "Şunu hatırla: bizim sınıfımızda mitokondriye hücrenin güç istasyonu diyoruz" cümlesi, adını verdiği kavrama öğretilmiş bir not ekler (ada göre yönlendirme; sadece tam eşleşme), o kavramın hazırlığını 1.0'a ayarlar, bir öğretme epizotu yazar ve notu brifinge yerleştirir. Cümle var olan hiçbir kavramı adlandırmazsa, öğretilmiş katmanda kısa bir adla yeni bir düğüm oluşturulur, cümlenin tamamı değil. Sorular asla öğretmez; sadece açık bir "şunu hatırla", "X'i … olarak kabul et" ya da öğrencinin kendi dilindeki eşdeğeri öğretir.

Geçmişini koruyan kanılar

Bir kanı, öğretmenin şu anda bu öğrenci hakkında bu kavramda ne düşündüğüdür, "ozmozda zorlanıyor", "sitoplazmayı anlıyor", bir güven değeriyle ve arkasındaki epizotlarla birlikte. Önemli olan kural şudur: satırlar asla farklı bir iddiaya güncellenmez. Öğretmen fikrini değiştirdiğinde, eski satır tam olarak olduğu gibi kalır, yeni bir satır eklenir ve eski satır yeni olana işaret eder. Hatırlama, hiçbir şeyin yerini almadığı satırları okur; birisi neyin neden değiştiğini sorduğunda bir rapor zinciri takip edebilir. Saklama ve güncellik farklı özelliklerdir ve ikisini de koruyan bir bellek, üzerine bir rapor inşa edilebilecek bir bellektir.

Kanılar önemli olan yerde ucuzdur: her biri yaklaşık yirmi token ve biri düzinelerce epizotun yerine geçer. "Bağlama sığandan daha fazlasını hatırlamak" gerçekte anlamına gelen şey, daha büyük bir pencere değil, bu orandır. Epizotlar atılmaz, bir kanının karşı sınandığı şey onlardır, ama onlar ikinci sıraya gelir ve çağıran, kalan bütçesini onlara harcar.

Bir kanı hangi konuyla ilgili?

Bu, gerçek verinin ilk bozduğu kısımdı. Öğretme modunda, bir testin "konusu" öğrencinin kendi sözleri olmuştu, bu yüzden tekrar oynatılan testler, "bana soruları sor" (ask me the questions) ifadesini anlıyor ve "bueno ahora explícame todos los pasos" ifadesinde zorlanıyor gibi kanılar üretiyordu. Şimdi bir testin konusu, ada göre bir kavrama yönlendiriliyor ve konu dizisi bir cümle olduğunda, öğretmenin kendi değerlendirme metni (genellikle kavramı adlandırır) üzerinden, sadece tam ad eşleşmesiyle yönlendiriliyor. Hiçbir şeyle eşleşmeyen ve bir sözce gibi okunan bir konu, öğrencilerimizin kullandığı dillerdeki soru kelimeleri, sorma fiilleri, zamirler, doldurma sözcükleri, kanıt olarak tutulur ama asla bir kanıya dönüşmez. Böyle bir kural değişikliği yeniden türetmenin bir yolunu gerektirir: geçerli kanıları emekliye ayır (asla silme), kayıttaki testleri bugünün kurallarına göre yeniden oynat, hiçbir epizota dokunma.

Bir tur, bir bütçe içinde

Her sohbet turu, beyinden bir blok ister; bu istek yolunun içinde, sert bir zaman sınırıyla oluşturulur. 155 tur boyunca blok medyanda 295 ms, 90. yüzdelik dilimde 403 ms, 95. yüzdelik dilimde ise 445 ms sürdü; bir oluşturma bir saniyeyi aştı, hiçbiri ise 2.5 s sınırını aşmadı; bu sınırı aşan paket beklenmek yerine düşürülür, böylece yavaş bir bellek asla ilk token'ın önüne geçmez. Sorunun tek bir gömmesi, hem yönlendirmeye hem de hatırlamaya hizmet eder. Blok, prompt'un var olan bellek alanına, materyal pasajlarından önce girer ve prompt hakkında başka hiçbir şey değişmez.

===== YOUR MEMORY OF THIS STUDENT AND SUBJECT =====
THE STUDENT IS ASKING ABOUT THEIR OWN RECORD. Answer from the beliefs and the earlier work listed here …
WHAT YOU CURRENTLY BELIEVE ABOUT THIS STUDENT (from their checks; confidence 0–1):
- understands cytoplasm (0.72)
- understands eukaryotic cells (0.72)
EARLIER WORK WITH THIS STUDENT (oldest first):
- 12 Jul · you were asked: Can we go over Eukaryotic Cells today? I keep mixing it up.
- 12 Jul · you answered: Of course. Eukaryotic Cells: Eukaryotic cells contain a nucleus and organelles. We worked through two examples and you got the second one right.
- 18 Sep · the student taught you: Taught: in our class we call the mitochondria the powerhouse of the cell
- 18 Sep · check: Check on cytoplasm: right (and 3 more times like it)
SUBJECT MAP (16 concepts; the files explain 79% of it, …)
…
HOW TO USE THIS: it is your own memory of past work with this student, not their material. When you rely on it, say when it happened ("in July we…"). Never claim a memory that is not listed here. …
===== END OF MEMORY =====

Blok içindeki sıra, içerik kadar önemli olduğu ortaya çıktı. Sıradan bir soru için harita önce gelir. Bir kayıt sorusu için, "şimdiye kadar neyi yanlış yaptım", "ne çalıştık", "ماذا أخطأت", kanılar ve önceki çalışmalar önce, harita en son gelir; öğrencinin kendi kaydı hakkında sorduğunu söyleyen açık bir ilk satırla birlikte. Bunu bir başarısızlıktan öğrendik: prompt ayrıca "NO QUIZ ATTEMPTS recorded" ile başlayan eski bir "değerlendirme sonuçları" bölümü taşıyordu ve model, sohbette yirmi sekiz testi cevaplamış bir öğrenciye "henüz hiç quiz denemedin" yanıtını veriyordu. Bir model, bir kayıt hakkındaki ilk yetkili ifadeyi okur ve durur. Bellek bloğu şimdi o bölümden önce gelir, bir bağlantı notu ikisini birbirine bağlar ve bellek bloğu var olduğunda sadece "hiçbir şey kayıtlı değil" diyen bir değerlendirme bölümü düşürülür.

"Kaydım yok" demek

Projenin en öğretici başarısızlığı, geçmesi için yazdığımız bir senaryoydu: bir Temmuz sohbeti tohumla, "Temmuz'da X hakkında ne işledik" diye sor, cevabı kontrol et. Cevap "Temmuz'da X'i işledik…" diye başlıyordu ve akıcıydı, dosyaya dayandırılmıştı ve tamamen kurmacaydı, Temmuz hafızası prompt'a ulaşmamıştı ve model, Temmuz'u sorunun çerçevelemesinden anlatıyordu. İki neden vardı. Kayıt sorusu modu sadece testleri ve quizleri tutmuş ve kayıt olan sohbeti düşürmüştü; ve öğretmenin kendi önceki anlatımları ("Temmuz'da işledik…", cevap epizotları olarak saklanan) Temmuz'un hafızalarıymış gibi hatırlanıyordu, beynin hatırladığını hatırlaması.

İki durum da şimdi tekrarlanabilir bir çalıştırıcıdaki senaryolardır: Temmuz senaryosu, sadece Temmuz hafızaları prompt'taysa geçer (mesajın saklanan hafıza kimliklerine göre kontrol edilir, cevabın ifadesine göre değil) ve boş-ay senaryosu, sadece cevap hiçbir kaydı olmadığını söylüyorsa ve bir oturumu tarif etmiyorsa geçer.

Atıf olarak bellek

Sohbetimizde zaten bir köken paneli vardı: bir cevaptaki her iddia, öğrencinin dosyalarındaki bir satıra izlenir ve izlenen iddiası çok az olan bir cevap büyük ölçüde dayanaksız olarak işaretlenir. Bu izleyici sadece dosyaları biliyordu. Bu yüzden doğru bir "Temmuz'da X'i işledik ve ikinci örneği doğru yaptın" ifadesi notlarında yok olarak okunurdu, özellik, doğru bir ifadeyi yanlış diye çağırıyordu. Böylece öğretmenin hatırlatıldığı hafızalar cevabın üzerinde saklanır ve izleyici, hatırlanan her epizotu, ne zaman gerçekleştiğiyle etiketlenmiş bir kaynak daha olarak ele alır.

Aynı dayandırma sonucu, her cevap epizotuna bir duruş verir, cevaplandı, kısmi ya da cevaplanamadı, bu, olaydan sonra saklanır. Rapor, hangi soruların dosyalar tarafından cevaplanamadığını böyle öğrenir; ikinci bir model çağrısı olmadan ve akışta gizli bir "çerçeve" satırı olmadan, bunu denedik ve reddettik: düz cevap modunda akışı hiçbir şey filtrelemez, bu yüzden gizli bir satır öğrenciye ulaşmış olurdu.

Kendini denetleyen bir bellek

Kendini denetleyemeyen bir bellek, yaşlandıkça daha kendinden emin ve daha az doğru olur. Bir cevabın kanıtı, o anki dosya parmak izini kaydettiği için doğrulama bir model çağrısı değil, bir sorgudur: durur: atıfta bulunulan dosya hâlâ orada, değişmemiş; değişti: değiştirilmiş ya da kaldırılmış, ve not hangisini söylüyor; doğrulanamaz: hafıza hiçbir dosyaya atıfta bulunmuyor (bir sohbet, bir test). O üçüncü cevap bir hata değil, birinci sınıf bir sonuçtur; bir sohbet hafızasını "durur" olarak bildirmek gerçek kusur olurdu. Hatırlanan bir epizot, prompt'a zaten etiketlenmiş olarak ulaşır: "[not: bu atıfta bulunulan dosya o zamandan beri değiştirildi ya da kaldırıldı]".

Gece döngüsü

Gecede bir kez, son gün aktif olan her öğrenci-konu çifti için, hiçbir model çağrısı olmadan deterministik bir döngü çalışır: günü bir pekiştirme epizotuna özetle (türe göre sayılar, test toplamı, konular, en belirgin beş başlık; sakin bir gün hiçbir şey yazmaz ve not kendi türünü asla yeniden özetlemez); 45 gün dokunulmamış herhangi bir kanıyı %15 küçült ve bir sonraki testin bunu doğrulaması için işaretle; öğretmenin her testten önce tahmin ettiği hakimiyeti sonuçla kalibre et; sınırlı bir atıf grubunu doğrula, hiç kontrol edilmemişler önce; küçük çalışma kümesini yeniden oluştur; öz-modeli yeniden bestele.

Kalibrasyon, öğretmenin güveni üzerindeki dürüstlük kontrolüdür: her testten önce ne kadar hakimiyet tahmin ettiğini biliyoruz; sonrasında sonucu biliyoruz. Kovalara ayrıldığında bu, bir güvenilirlik eğrisi ve beklenen bir kalibrasyon hatası verir ve öz-model, sadece tahminli beş testten sonra "kalibre edildi" der. O zamana kadar sınırları bunu söyler, güveni bir olasılık değil, bir sıralama olarak ele al.

Gerçek geçmişlerin bize öğrettikleri

Senaryolar mekanizmaları kanıtlar; işin, insanların gerçekte konuştuğu şekilde çalıştığını kanıtlamaz. Bu yüzden bir tekrar oynatma kurduk: en zengin gerçek öğrenci-konu geçmişlerini al, salt okunur, her birini platformun izole bir kopyasında yeniden kur, onun için beyni kur ve o kullanıcı olarak gerçek sohbet uç noktası üzerinden gerçek biçimli üç soru sor. Altı çift, her biri 65–142 mesaj, her biri 13–32 öğretme-modu sonucu, biri İspanyolca. Bunlar rastgele bir örneklem değildir ve öyle okunmamalıdır. En az kırk mesajlık geçmişleri aldık, öğrenci başına en fazla iki tane, test ve dahili hesaplar hariç tutuldu, en çok notlandırılmış cevaba sahip olanları tercih ettik, çünkü içinde hiçbir şey olmayan bir geçmiş hiçbir şeyi sınamaz. Bu, buradaki her sayıyı yoğun kullanıcılara doğru çarpıtır. Az kullanan bir kullanıcının konusu, belleğe hatırlanacak daha az şey ve yanlış yapılacak daha az şey bırakırdı.

Bu, yukarıda anlatılan üç düzeltmeyi de üretti: öğrenci cümleleri üzerine kanılar, kayıt yerine haritadan yanıtlanan kayıt sorusu, cevaplara öncülük eden eski "no quiz attempts" satırı ve görmekten mutlu olduğumuz bir doğrulama: bir pekiştirme, atıfta bulunduğu dosya artık var olmayan on bir hafızayı işaretledi. Doğrulayıcı işini yapıyordu.

Cebir satırı dürüst olanıdır. Otuz iki test ve hiç kanı yok, çünkü hiçbiri bir kavrama bağlanamadı: öğrenci aritmetik cevaplar verdi, öğretmenin yanıtları bölümün kavramlarını hiç adlandırmadı ve bir sözce bir konu değildir. O öğrenci için rapor, "henüz hiç test yok" demek yerine "32 test kayıtta, ama henüz hiçbiri haritadaki bir kavrama bağlanamadı" der. Hiçbir şey icat edilmedi, hakimiyet de dahil.

Bir kıyaslama, demo değil

Yukarıdakilerin tümü bir ölçüm ya da örnektir: işlerin ne kadar sürdüğü, tekrar oynatmanın ürettiği şey, beğendiğimiz yanıtlar. Bunların hiçbiri belleğin yerini hak ettiğini kanıtlamaz, çünkü hiçbiri aynı öğretmenin bellek olmadan haliyle karşılaştırılmadı. Bu yüzden karşılaştırmayı yaptık. Önceden kaydedilmiş tek bir soru kümesi, yalnızca isteme neyin ulaştığı bakımından birbirinden farklılaşan aynı öğretmenin dört tasarımı ve görüş değil dize ve kimlik karşılaştırması olan puanlayıcılar; böylece aynı yanıt her zaman aynı şekilde puanlanır.

Buradaki her ders, bir öğrencinin bir dersidir ve sorular o dersin kendi kayıtlı verilerinden üretilir; bu da onları puanlanabilir kılan şeydir: öğrencinin neyi yanlış yaptığına dair bir soru kayıtlı testlere göre kontrol edilir, bir önkoşula dair soru haritadaki gerçek bir kenara göre, bir aya dair soru ise o dersin gerçekten etkin olduğu aylara göre. Bir ders birden fazlasını destekliyorsa, birden fazlasını alır; yani her birinden bir tane yerine üç kavram ve üç boş ay. Altı kategori, tasarım başına 420 puanlanmış soru; platformun izole bir kopyasında yeniden oynatılan ve o öğrenci olarak sıradan sohbet uç noktası üzerinden sorulan 45 gerçek öğrenci geçmişi üzerinden.

Dört tasarım

Dördü de aynı dosyalar üzerinde aynı getirimi çalıştırır. Düz getirim , hiç belleği olmayan öğretmendir. Pencere , çoğu kişinin ilk başvurduğu yanıttır: son 20 sohbet turu, sıralanmadan olduğu gibi eklenir. Epizotlar , kavram haritası, kanı ya da kayıt sorularına yönelik özel bir işlem olmaksızın, yalnızca epizot günlüğünün sıralı geri çağrılmasıdır. Tam bellek , bu makalenin anlattığı her şeydir.

Tablo ne söylüyor

Genel olarak öğretmen, 420 üzerinden 168'den 383'e çıkıyor; bu da yüzde 40'a karşı yüzde 91 demek. Burada en az dikkat çekici sayı ortalamadır; asıl bulgu farkın şeklindedir.

Daha büyük bir pencere, çözüm değil. Son 20 turu isteme eklemek, yüzde 40'ı 65'e çıkarıyor ve satın aldığı şey bundan ibaret. Öğrencinin neyi yanlış yaptığına dair 32 üzerinden 5 soruyu yanıtlıyor, çünkü bu bilgi 20 turluk sohbette bulunmuyor; boş bir ay konusunda da hâlâ çoğu zaman yanılıyor. Bu, 'sohbetten daha fazlasını ekleyin' yanıtının, iddia değil ölçüm halidir.

Sıralı geri çağırma, işin çoğunu yapıyor. Epizot günlüğü tek başına yüzde 83'e ulaşıyor. Tek bir şey inşa edecekseniz, işte onu inşa edin: yalnızca ekleme yapılan, alaka düzeyine göre puanlanmış bir günlük, bu makaledeki değerin çoğunu oluşturuyor.

Harita ve kanılar, kalan 33 sorunun hakkını veriyor, ama bunu her yerde değil, iki belirli noktada kazanıyorlar. Bir konudan önce ne tekrarlanması gerektiği sorulduğunda, kavram haritası olmayan tasarımlar yaklaşık yüzde 55 oranında doğru yanıt veriyor, tam bellek ise 96; çünkü önkoşullar birer kenardır ve epizot günlüğünde bunlardan hiç yoktur. Öğrencinin neyi yanlış yaptığı sorulduğunda, kanılar ve kayıt dalı 32 üzerinden 24'ten 30'a çıkıyor. Bir kavramı açıklaması istendiğinde, harita hiçbir şey katmıyor: her iki durumda da 100.

Bunun maliyeti ne oldu

Bu kıyaslamanın göstermediği şey

Bu sayılardan sonuncusu, gerisini okurken akılda tutulması gereken sayı. Tam belleğe aynı 420 soruyu ikinci kez sorduk ve bunların 44'ü farklı puanlandı. Yani çalıştırmadan çalıştırmaya gürültü yaklaşık onda bir; en iyi iki tasarım arasındaki 33 soruluk fark bunun rahatça dışında, ama boş ay kategorisindeki 2 soruluk fark değil: bu kategoride başa başlar ve aksini iddia etmeyeceğiz.

Bir kategori değersiz çıktı ve onu sessizce çıkarmak yerine grafikte bırakıyoruz. Öğrencinin etkin olduğu bir ay, hiç belleği olmayan tasarım dahil, her tasarım için 44 üzerinden 44 puan alıyor. Dayandırılmış bir hatırlamayı, doğru ayı taşıyan makul bir açıklamadan ayırt edemiyor; bu da tam olarak kardeş kategorisinin yakaladığı başarısızlık. Herkesin geçtiği bir test hiçbir şey ölçmez.

Puanlayıcılar, özelliği geliştiren kişiler tarafından yazılmış dize karşılaştırmalarıdır. Kayıtlı kelimeleri yeniden kullanan bir yanıtı ödüllendirirler, ama tamamen farklı ifade edilmiş doğru bir yanıtı göremezler ve bu bize bir kez ağır bir bedele mal oldu: önkoşul soruları, kenar yönü ters çevrilmiş şekilde üretilmişti; bu yüzden uzun süre bu kategori, öğretmen haritanın kendi yanıtını verip bunun için yanlış işaretlenirken belleğin en zayıf kategorisi gibi okundu. Oysa haritanın en güçlü kategorisi budur. Bunu, toplamları değil başarısızlıkları okuyarak bulduk; bu hataların ortaya çıkmasının tek yolu da bu.

Ve bu popülasyon rastgele değil. Bunlar, içinde bir şeyler olduğu için seçilmiş 45 gerçek geçmiş: en az 15 mesaj, ekli dosyalar ve puanlanması gereken yanıt içeren kategoriler için bunlardan en az 5 tanesi. Daha yeni başlamış bir öğrenci bunun çok daha azını devreye sokar ve farkı çok daha az görür.