ایک ٹیوٹر جو یاد رکھتا ہے: مضمون کی ایک میموری جو کانٹیکسٹ ونڈو سے زیادہ دیر چلتی ہے

نظام کی ساخت

تین ذخیرے، ہر باری ایک مقررہ بجٹ کے تحت ریڈ، اور رات میں ایک لوپ۔ فائلیں نقشے کو ڈیٹا دیتی ہیں؛ گفتگو ایپی سوڈ لاگ کو ڈیٹا دیتی ہے؛ جانچیں اعتقادات کو ڈیٹا دیتی ہیں۔ ہر چیٹ باری تینوں سے ایک چھوٹا، ترتیب یافتہ حصہ پڑھتی ہے اور اسے ایک مقررہ ٹوکن بجٹ کے اندر پرامپٹ میں شامل کرتی ہے۔ ریڈ کے راستے میں کوئی جنریٹیو ماڈل کال نہیں ہوتی۔ جو ایک ماڈل یہ کال کرتا ہے وہ ایمبیڈنگ ہے، ہر باری ایک بار، روٹنگ اور ریکال دونوں میں مشترک؛ چیٹ کے باہر واحد جنریٹیو پاس وہی ہے جو نئی فائل کو نقشے میں پڑھتا ہے۔

ایپی سوڈز: صرف اضافہ پذیر، ہیش چین لاگ

ہر واقعہ بن جاتا ہے ایک ایپی سوڈ: ایک سوال، ایک جواب، فیصلے کے ساتھ ایک جانچ، کوئز کا نتیجہ، کسی فائل کی آمد، یا کوئی ایسی بات جو طالب علم نے واضح طور پر ٹیوٹر کو سکھائی ہو۔ ایک ایپی سوڈ میں شامل ہوتے ہیں: ایک سطر کا خلاصہ، مکمل متن، وہ تصورات جن سے اس کا تعلق تھا، تحریر کے وقت طے کی گئی نمایانیت کا اسکور، اور اس کا ثبوت: جواب کی صورت میں، وہ فائل اور صفحہ جس کا حوالہ دیا گیا، اُس لمحے فائل کے فنگر پرنٹ کے ساتھ نشان زدہ۔ ایپی سوڈز میں کبھی ترمیم نہیں کی جاتی۔ ہر ایک اپنے سے پہلے والے کا ہیش اسی چین میں محفوظ رکھتا ہے، اس لیے لاگ دوبارہ قابلِ حساب ہے، اور کوئی بھی گڑبڑ، یا کسی نیک نیتی پر مبنی مائیگریشن کی خاموش تبدیلی، ایک وقفے کی صورت میں ظاہر ہو جاتی ہے۔ یہ چھیڑ چھاڑ کا ثبوت ہے، چھیڑ چھاڑ کی روک تھام نہیں: کسی تبدیلی کا پتہ لگایا جا سکتا ہے، مگر اسے کبھی روکا نہیں جاتا، اور یہ بھی صرف اُس وقت تک جب تک چین یا اس کا کوئی چیک پوائنٹ محفوظ رہے۔

نمایانیت کا تعین اس بات سے ہوتا ہے کہ ایپی سوڈ کیا ہے، کسی موڈ سے نہیں: ایک چھوٹی ہوئی جانچ (0.7) پاس ہونے والی جانچ (0.6) سے زیادہ اہم ہے، اور وہ بات جو طالب علم نے ٹیوٹر کو سکھائی (0.85) سب سے زیادہ اہم ہے، کیونکہ یہ وہ واحد یادداشت ہے جسے کسی شخص نے واضح طور پر محفوظ رکھنے کے لیے کہا ہو۔ ایک سوال معمولی 0.35 رکھتا ہے, طالب علم کا اپنا سوال ایک درست بازیافت مگر ایک بے کار یاد دہانی ہوتا ہے، جو آگے چل کر "یہ مجھے کس چیز کی یاد دلاتا ہے" کے مرحلے میں اہم ثابت ہوتا ہے۔

بازیافت: مطابقت تازگی پر غالب

بازیافت ربطی ہے، تاریخ وار نہیں۔ امیدوار کئی پولز سے جمع کیے جاتے ہیں، ہر ایک پوری مکمل تاریخ تک پہنچتا ہے، اور تب ہی اسکور کیا جاتا ہے: سب سے حالیہ پانچ سو، ہر وہ ایپی سوڈ جس میں سوال کا کوئی نمایاں لفظ شامل ہو، ہر وہ ایپی سوڈ جو اُن تصورات سے متعلق ہو جن کی طرف سوال کو بھیجا گیا، اور ویکٹر انڈیکس سے معنوی ہمسائے۔ پہلے دائرہ وسیع کرنا اور بعد میں چھانٹنا اس ماڈیول کا سب سے اہم ڈیزائن فیصلہ ہے, پہلے مسودے نے پہلے ہی چھانٹ لیا تھا ("تازہ ترین 500") اور مارچ کی ایک بالکل موزوں یادداشت کو کسی بھی درجے کی مطابقت پر یاد نہ کر سکا، کیونکہ وہ اسکور کیے جانے سے پہلے ہی کاٹ دی گئی تھی۔

صرف وزن کافی نہیں۔ جب سوال ہو قریب کچھ کے بارے میں ہو اور کوئی چیز میچ کرے تو جو ایپی سوڈز کسی سے میچ نہ کریں انہیں رینک کرنے کے بجائے ہٹا دیا جاتا ہے, ایک تازہ غیر متعلقہ نوٹ کا سکور بنتا ہے 0.15 × 1.0 صرف تازگی کی بنیاد پر، جبکہ 200 دن پرانی عین مطابقت والی ایپی سوڈ کا سکور ہوتا ہے 0.55 × 0.156، اور کوئی بھی وزن ایسا نہیں ہو سکتا جو کسی نان-میچ کو میچ سے زیادہ سکور دے, یہ کسی بھی سیٹنگ میں درست نہیں ہوگا۔ تازگی صرف برابری کی صورت میں فیصلہ کرنے والا عنصر ہے، رینکر نہیں۔ ان اعداد کے بارے میں قاری کو دو سوال پوچھنے چاہئیں: یہ کہاں سے آئے، اور کیا ہم نے انہیں ڈیٹا کے مطابق ایڈجسٹ کیا۔ یہ ہاتھ سے طے کیے گئے تھے، ہماری ایک پہلے کی میموری سے لیے گئے جو ایک مختلف پروڈکٹ کے لیے بنائی گئی تھی، اور انہیں اس مضمون کے کسی بھی ڈیٹا پر ٹیون نہیں کیا گیا۔ ذیل میں کچھ بھی سویپ یا فٹ نہیں کیا گیا؛ سکورنگ میں ہم نے جو واحد تبدیلی کی وہ ایک ایسی خرابی کی وجہ سے تھی جسے ہم نام دے سکتے تھے، نہ کہ کسی تلاش کی وجہ سے، اور وہ گیٹ میں تھی، نہ کہ کسی وزن میں۔ اس گیٹ میں دو استثنا ہیں: کوئی سوال ہی نہ ہو (تو صرف تازگی باقی رہ جاتی ہے)، اور کچھ بھی میچ نہ ہو (تو حالیہ ماضی ہی ایماندارانہ بہترین پیشکش ہے)۔

حقیقی ہسٹری نے دو چیزیں شامل کیں

تکرار سمٹ جاتی ہے۔ ایک حقیقی مضمون میں 161 طلبہ کے سوالات دراصل 56 مختلف جملے تھے, "سیل کیا ہوتا ہے" نامی سوال تین مہینوں میں نو مرتبہ پوچھا گیا۔ نو کاپیاں ایک ہی یاد ہیں، جو نو بار یاد کی گئی، اس لیے ریکال ایک جیسی ایپی سوڈز کو یکجا کر دیتا ہے اور بتاتا ہے کہ باقی رہ جانے والی ایپی سوڈ کتنی ایپی سوڈز کی نمائندگی کرتی ہے۔ وقت ایک فلٹر ہے، اشارہ نہیں۔ "ہم نے جولائی میں کیا پڑھا؟" کو ایک ٹائم ونڈو میں تبدیل کیا جاتا ہے اور ریکال پہلے اسی کے اندر چلتا ہے؛ اگر ونڈو خالی ہو تو بلاک واضح طور پر یہ بات بتاتا ہے (دیکھیں § سچائی)۔ مہینوں کے نام اُن زبانوں میں کام کرتے ہیں جن میں ہمارے طلبہ لکھتے ہیں، اور اسی طرح "پچھلا ہفتہ" اور "کل" بھی کام کرتے ہیں۔

تصوراتی نقشہ

پیراگراف اس سوال کا جواب دیتے ہیں کہ "فائل یہاں کیا کہتی ہے"؛ جبکہ نقشہ اس سوال کا جواب دیتا ہے کہ "یہ مضمون کس چیز سے بنا ہے، اور کیا کس پر بنیاد رکھتا ہے"۔ ہر فائل کو یکبار ایک ماڈل پاس کے ذریعے جو تصورات کی ایک محدود فہرست واپس دیتا ہے, نام، ایک جملے کا خلاصہ، ایک مختصر تعریف، اور وہ تصورات جن پر یہ بنیاد رکھتا ہے اپنی فہرست سےسیکشن کے عنوانات ("تعارف"، "عام غلط فہمیاں") ایک ویلیڈیٹر کے ذریعے مسترد کر دیے جاتے ہیں؛ ایسا نام جو دراصل ایک باب کا عنوان ہو، فائل کا فرنیچر ہے، مضمون کے خیالات نہیں۔

تصورات فائلوں کے درمیان ایک کینونیکل کلید (ایک نارملائزڈ نام، رسم الخط سے آگاہ) کے ذریعے اور 0.86 سے زیادہ ایمبیڈنگ مشابہت کے ذریعے یکجا ہوتے ہیں۔ ماخذ جمع ہوتا ہے: ایک باب جو آسموسس کو دوبارہ بیان کرتا ہے وہ ایک نئی نوڈ بنانے کے بجائے موجودہ نوڈ میں خود کو شامل کر لیتا ہے، اور جس جس فائل نے حصہ ڈالا وہ اپنے صفحات کے ساتھ درج رہتی ہے۔ کوئی پیش نیاز جسے فائل فرض کر لے مگر کبھی وضاحت نہ کرے، تب ہی ایک نوڈ بنتا ہے جب دو تصورات اسے فرض کریں, کیونکہ تب یہ خلا حقیقی ہے اور دکھانے کے لائق ہے؛ ایک اکیلی مثال کو تصور پر "فرض شدہ" کے طور پر ریکارڈ کیا جاتا ہے اور کہیں نہیں دکھایا جاتا۔ ہم نے پڑھی جانے والی پہلی پالیسی دستاویز نے اس اصول کے وجود میں آنے سے پہلے 11 تصورات کو 34 نوڈز میں بدل دیا تھا۔

نقشے سے تین اخذ شدہ اعداد نکلتے ہیں۔ مرکزیت کناروں پر ایک وزنی PageRank ہے (وہ پیش نیاز جس پر سب کچھ بنیاد رکھتا ہے ایک ہب ہوتا ہے)۔ تیاری ہر تصور کے لیے چار درجے ہیں, 0.35 صرف نام دیا گیا، 0.60 فائل کے ذریعے وضاحت شدہ، 0.85 پاس ہونے والی جانچ سے تصدیق شدہ، 1.0 کسی شخص کے ذریعے پڑھایا گیا, اور مضمون کی تیاری مرکزیت کے وزن کے ساتھ اوسط ہے، اس لیے وہ ہب جسے فائلیں وضاحت نہیں کرتیں ایک لیف سے زیادہ قیمت رکھتا ہے۔ تعلیم کی ترتیب ایک ٹوپولوجیکل ترتیب بندی ہے: پہلے پیش نیازات، ہر درجے کے اندر پہلے ہبس؛ اس نے اس ماڈل کال کی جگہ لی جو چودہ پیراگرافس سے "کیا پڑھایا جائے" کا خاکہ بناتی تھی۔

SUBJECT MAP (16 concepts; the files explain 79% of it, this is about the material, NOT the student's mastery):
- Mitochondria: Mitochondria release energy from glucose. [taught: in our class we call the mitochondria the powerhouse of the cell] (builds on: Cytoplasm)
- Cytoplasm: Cytoplasm is the gel-like substance inside the cell membrane. (builds on: Cell Membrane)
- Chloroplasts: Chloroplasts are involved in photosynthesis. (builds on: Cell Wall)
- Endosymbiosis: Endosymbiosis explains the origin of mitochondria and chloroplasts. (builds on: Mitochondria, Chloroplasts)
…

اس ہیڈر کی الفاظ بندی خود ایک سبق تھی۔ پہلے ورژن میں لکھا تھا "79% سمجھ گیا"، اور ماڈل نے اسے پڑھ کر خوشی سے طالب علم کو بتا دیا "آپ کی موجودہ 79% سمجھ کے مطابق…"۔ تیاری کا وہ عدد جسے طالب علم کی مہارت کے طور پر پڑھا جا سکتا ہے ضرور اسی طرح پڑھا جائے گا؛ اب یہ لائن واضح کرتی ہے کہ وہ دراصل کس بارے میں ہے۔

مضمون کی تعلیم

کوئی شخص نقشے سے بات کر کے اس میں اضافہ کر سکتا ہے۔ "یاد رکھیں کہ ہماری کلاس میں ہم مائٹوکونڈریا کو خلیے کا پاور ہاؤس کہتے ہیں" جیسا جملہ اس تصور کے ساتھ ایک "پڑھایا" نوٹ منسلک کر دیتا ہے جس کا نام لیا گیا ہو (نام کے ذریعے روٹنگ؛ صرف عین مطابقت پر)، اس تصور کی تیاری کو 1.0 پر سیٹ کر دیتا ہے، ایک پڑھایا ایپی سوڈ لکھتا ہے، اور نوٹ کو بریف میں شامل کر دیتا ہے۔ جب جملہ کسی موجودہ تصور کا نام نہ لے، تو ایک نئی نوڈ "پڑھایا" لیئر پر ایک مختصر نام کے ساتھ بنائی جاتی ہے, پورا جملہ کبھی نہیں۔ سوالات کبھی نہیں پڑھاتے؛ صرف واضح طور پر "یاد رکھیں کہ"، "X کو یوں سمجھیں"، یا طالب علم کی زبان میں اس کا مساوی جملہ ہی پڑھاتا ہے۔

اعتقادات جو تاریخ محفوظ رکھتے ہیں

ایک اعتقاد وہ ہے جو ٹیوٹر فی الحال سوچتا ہے اس طالب علم کے بارے میں، اس اس تصور کے بارے میں, "آسموسس میں کمزور"، "سائٹوپلازم سمجھ گیا", ایک اعتماد کی سطح اور اس کے پیچھے موجود ایپی سوڈز کے ساتھ۔ اہم اصول یہ ہے: قطاریں کبھی بھی کسی مختلف دعوے میں تبدیل کر کے اپڈیٹ نہیں کی جاتیں۔ جب ٹیوٹر اپنی رائے بدلتا ہے، تو پرانی قطار بالکل ویسی ہی رہتی ہے جیسی تھی، ایک نئی قطار شامل کی جاتی ہے، اور پرانی قطار نئی کی طرف اشارہ کرتی ہے۔ ریکال صرف انہی قطاروں کو پڑھتا ہے جنہیں کسی نے سپرسیڈ نہ کیا ہو؛ جب کوئی پوچھے کہ کیا بدلا اور کیوں بدلا، تو رپورٹ اس چین پر چل کر جواب دے سکتی ہے۔ برقراری اور تازگی دو مختلف خاصیتیں ہیں، اور جو یاداشت دونوں کو برقرار رکھے اسی پر رپورٹ بنائی جا سکتی ہے۔

اعتقادات وہاں سستے ہیں جہاں یہ اہم ہے: ہر ایک تقریباً بیس ٹوکنز کا، اور ایک اعتقاد درجنوں ایپی سوڈز کی نمائندگی کرتا ہے۔ یہی تناسب ہے، نہ کہ بڑی ونڈو، جو دراصل "کانٹیکسٹ میں سما جانے سے زیادہ یاد رکھنا" کا مطلب ہے۔ ایپی سوڈز کو ہٹایا نہیں جاتا, انہی کے خلاف اعتقاد کو جانچا جاتا ہے, مگر وہ دوسرے نمبر پر آتی ہیں اور کالر اپنا باقی بجٹ انہی پر خرچ کرتا ہے۔

اعتقاد کس موضوع کے بارے میں ہے؟

یہی وہ حصہ تھا جسے حقیقی ڈیٹا نے سب سے پہلے توڑا۔ ٹیچ موڈ میں، کسی جانچ کا "موضوع" طالب علم کے اپنے الفاظ ہی ہوتا تھا, اس لیے دوبارہ چلائی گئی جانچوں سے ایسے اعتقادات بنتے تھے جیسے سمجھ گیا "ask me the questions" اور کمزور "bueno ahora explícame todos los pasos"۔ اب کسی جانچ کا موضوع نام کے ذریعے کسی تصور کی طرف روٹ کیا جاتا ہے، اور جب موضوع کی سٹرنگ ایک مکمل جملہ ہو، تو ٹیوٹر کے اپنے تشخیصی متن کے ذریعے (جو عام طور پر تصور کا نام لیتا ہے) صرف عین نام کی مطابقت پر۔ وہ موضوع جو کسی چیز سے میپ نہ ہو اور کسی فقرے جیسا لگے, سوالیہ الفاظ، پوچھنے کے فعل، ضمائر، بھرتی کے الفاظ، ہمارے طلبہ کی زبانوں میں, شواہد کے طور پر رکھا جاتا ہے مگر کبھی اعتقاد نہیں بنتا۔ ایسی قاعدے کی تبدیلی کے لیے دوبارہ اخذ کرنے کا ایک طریقہ درکار ہوتا ہے: موجودہ اعتقادات کو ریٹائر کریں (کبھی ڈیلیٹ نہ کریں)، ریکارڈ پر موجود جانچوں کو آج کے قواعد کے تحت دوبارہ چلائیں، کسی ایپی سوڈ کو ہاتھ نہ لگائیں۔

ایک باری، مقررہ بجٹ میں

چیٹ کا ہر ٹرن برین سے ایک بلاک طلب کرتا ہے، جو ریکویسٹ پاتھ سے ایک سخت ٹائم کیپ کے ساتھ بنایا جاتا ہے۔ 155 ٹرنز میں بلاک نے میڈین پر 295 ms، 90ویں پرسنٹائل پر 403 ms اور 95ویں پر 445 ms لیا، ایک تعمیر ایک سیکنڈ سے زیادہ وقت لے گئی اور کوئی بھی 2.5 s کی حد سے تجاوز نہ کر سکی، جس کے بعد بنڈل کا انتظار کرنے کے بجائے اسے چھوڑ دیا جاتا ہے تاکہ کوئی سست یاداشت پہلے ٹوکن کے آگے کبھی نہ آئے۔ سوال کی ایک ایمبیڈنگ روٹنگ اور ریکال دونوں کے لیے کام کرتی ہے۔ بلاک پرامپٹ کی موجودہ میموری سلاٹ میں جاتا ہے، مواد کے پیراگرافس سے پہلے، اور پرامپٹ کے بارے میں کچھ اور تبدیل نہیں ہوتا۔

===== YOUR MEMORY OF THIS STUDENT AND SUBJECT =====
THE STUDENT IS ASKING ABOUT THEIR OWN RECORD. Answer from the beliefs and the earlier work listed here …
WHAT YOU CURRENTLY BELIEVE ABOUT THIS STUDENT (from their checks; confidence 0–1):
- understands cytoplasm (0.72)
- understands eukaryotic cells (0.72)
EARLIER WORK WITH THIS STUDENT (oldest first):
- 12 Jul · you were asked: Can we go over Eukaryotic Cells today? I keep mixing it up.
- 12 Jul · you answered: Of course. Eukaryotic Cells: Eukaryotic cells contain a nucleus and organelles. We worked through two examples and you got the second one right.
- 18 Sep · the student taught you: Taught: in our class we call the mitochondria the powerhouse of the cell
- 18 Sep · check: Check on cytoplasm: right (and 3 more times like it)
SUBJECT MAP (16 concepts; the files explain 79% of it, …)
…
HOW TO USE THIS: it is your own memory of past work with this student, not their material. When you rely on it, say when it happened ("in July we…"). Never claim a memory that is not listed here. …
===== END OF MEMORY =====

بلاک کے اندر ترتیب مواد جتنی ہی اہم ثابت ہوئی۔ ایک عام سوال کے لیے نقشہ پہلے آتا ہے۔ ایک ریکارڈ کا سوال: "مجھ سے ابھی تک کیا غلط ہوا"، "ہم نے کیا پڑھا ہے"، "ماذا أخطأت", اعتقادات اور سابقہ کام پہلے آتے ہیں اور نقشہ آخر میں، اور ایک واضح ابتدائی سطر یہ بتاتی ہے کہ طالب علم اپنے ہی ریکارڈ کے بارے میں پوچھ رہا ہے۔ ہم نے یہ ایک ناکامی سے سیکھا: پرامپٹ میں ایک پرانا "تشخیصی نتائج" سیکشن بھی شامل تھا جو "NO QUIZ ATTEMPTS recorded" سے شروع ہوتا تھا، اور ماڈل نے اس طالب علم کو جس نے گفتگو میں اٹھائیس جانچیں مکمل کی تھیں، جواب دیا "آپ نے ابھی تک کوئی کوئز نہیں دی"۔ ایک ماڈل ریکارڈ کے بارے میں پہلا مصدقہ بیان پڑھتا ہے اور رک جاتا ہے۔ میموری بلاک اب اس سیکشن سے پہلے آتا ہے، ایک ربط دینے والا نوٹ دونوں کو جوڑتا ہے، اور ایک تشخیصی سیکشن جو صرف "کچھ ریکارڈ نہیں" کہتا ہے، میموری بلاک موجود ہونے پر ہٹا دیا جاتا ہے۔

"میرے پاس ریکارڈ نہیں" کہنا

پورے پراجیکٹ کی سب سے سبق آموز ناکامی وہ منظرنامہ تھا جو ہم نے پاس کرنے کے لیے لکھا: جولائی کی ایک گفتگو بنائیں، پوچھیں "ہم نے جولائی میں X کے بارے میں کیا پڑھا"، اور جواب کی جانچ کریں۔ جواب کا آغاز "جولائی میں، ہم نے X پڑھا…" سے ہوا اور یہ رواں، فائل پر مبنی، اور مکمل طور پر خودساختہ تھا, جولائی کی میموری پرامپٹ تک پہنچی ہی نہیں تھی، اور ماڈل نے سوال کی ساخت سے جولائی کا بیان خود بنا لیا۔ دو وجوہات تھیں۔ ریکارڈ کے سوال والا موڈ صرف جانچوں اور کوئزز کو رکھتا تھا اور اس گفتگو کو ہٹا دیتا تھا جو تھی ریکارڈ تھی؛ اور ٹیوٹر کی اپنی سابقہ بیانیہ باتیں ("جولائی میں ہم نے پڑھا…"، جو جواب کے ایپی سوڈز کے طور پر محفوظ تھیں) کو جولائی کی یادوں کے طور پر یاد کیا جا رہا تھا, دماغ کا یہ یاد رکھنا کہ اس نے یاد رکھا تھا۔

دونوں صورتیں اب ایک دہرائے جانے والے رنر میں منظرنامے ہیں: جولائی والی صورت صرف اس وقت پاس ہوتی ہے جب جولائی کی یادیں پرامپٹ میں (پیغام کی محفوظ میموری آئی ڈیز کی بنیاد پر جانچی جاتی ہیں، جواب کے الفاظ کی بنیاد پر نہیں)، اور خالی مہینے والی صورت صرف اس وقت پاس ہوتی ہے جب جواب کہے کہ اس کے پاس کوئی ریکارڈ نہیں اور کسی نشست کو بیان نہ کرے۔

یادداشت بطور حوالہ

ہماری چیٹ میں پہلے سے ہی ایک ماخذی پینل موجود تھا: جواب میں ہر دعوے کو طالب علم کی فائلوں میں کسی سطر تک کھوجا جاتا ہے، اور بہت کم کھوجے گئے دعووں والا جواب زیادہ تر بے بنیاد کے طور پر نشان زد کیا جاتا ہے۔ وہ ٹریسر صرف فائلوں کو جانتا تھا۔ اس لیے ایک درست جملہ "جولائی میں ہم نے X پڑھا، اور آپ نے دوسری مثال درست کی" اس طرح پڑھا جاتا آپ کے نوٹس میں نہیں: یہ خصوصیت ایک درست بیان کو غلط قرار دے رہی تھی۔ چنانچہ وہ یادیں جو ٹیوٹر کو یاد کرائی گئی تھیں، جواب کے ساتھ محفوظ کی جاتی ہیں، اور ٹریسر ہر یاد کیے گئے ایپی سوڈ کو ایک اضافی ماخذ کے طور پر لیتا ہے، جسے یہ واقعہ کب پیش آیا کے ساتھ لیبل کیا جاتا ہے۔

وہی بنیاد کا نتیجہ ہر جواب کے ایپی سوڈ کو ایک موقف: جواب دیا گیا، جزوی، یا ممکن نہیں, بعد میں محفوظ کیا جاتا ہے۔ اسی طرح رپورٹ کو معلوم ہوتا ہے کہ فائلیں کن سوالوں کا جواب نہیں دے سکیں، بغیر ماڈل کی دوسری کال کے اور بغیر سلسلے میں کسی پوشیدہ "فریم" سطر کے، جسے ہم نے آزمایا اور مسترد کر دیا: عام جواب موڈ میں کچھ بھی سلسلے کو فلٹر نہیں کرتا، لہٰذا ایک پوشیدہ سطر طالب علم تک پہنچ جاتی۔

خود کو جانچنے والی یادداشت

وہ میموری جو اپنی جانچ خود نہیں کر سکتی، وقت کے ساتھ زیادہ پرُاعتماد اور کم درست ہو جاتی ہے۔ چونکہ جواب کا ثبوت اس وقت فائل کے فنگر پرنٹ کو ریکارڈ کرتا ہے، توثیق ایک تلاش ہے، ماڈل کال نہیں: قائم: حوالہ دی گئی فائل اب بھی موجود ہے، بلا تبدیلی؛ تبدیل: اسے تبدیل یا ہٹا دیا گیا تھا، اور نوٹ بتاتا ہے کہ کیا ہوا؛ ناقابل تصدیق: میموری کسی فائل کا حوالہ نہیں دیتی (ایک گفتگو، ایک جانچ)۔ یہ تیسرا جواب ایک مکمل طور پر جائز نتیجہ ہے، غلطی نہیں؛ ایک گفتگو پر مبنی میموری کو "قائم" کہنا ہی اصل خامی ہوتی۔ ایک یاد کیا گیا ایپی سوڈ پرامپٹ تک پہلے سے لیبل کیا ہوا پہنچتا ہے: "[نوٹ: اس نے جس فائل کا حوالہ دیا تھا وہ اس کے بعد تبدیل یا ہٹا دی گئی ہے]"۔

شبانہ لوپ

رات میں ایک بار، پچھلے دن میں فعال ہر طالب علم اور مضمون کے جوڑے کے لیے، بغیر کسی ماڈل کال کے ایک متعین سائیکل چلتا ہے: کمپریس دن کو ایک استحکامی ایپی سوڈ میں (قسم کے لحاظ سے گنتی، جانچ کی تعداد، موضوعات، پانچ سب سے نمایاں سرخیاں؛ ایک خالی دن کچھ نہیں لکھتا، اور نوٹ کبھی اپنی ہی قسم کا دوبارہ خلاصہ نہیں کرتا)؛ زوال 45 دن سے نہ چھیڑے گئے کسی بھی اعتقاد کو 15% تک کم کرتا ہے اور اسے تصدیق کے لیے اگلی جانچ کے لیے نشان زد کرتا ہے؛ کیلیبریٹ ہر جانچ سے پہلے ٹیوٹر کی پیش گوئی کردہ مہارت کو نتیجے کے خلاف؛ توثیق حوالہ جات کا ایک محدود بیچ، پہلے کبھی نہ جانچے گئے کو اولیت؛ چھوٹے ورکنگ سیٹ کو دوبارہ تعمیر کرتا ہے؛ خود-ماڈل کو دوبارہ ترتیب دیتا ہے۔

کیلیبریشن ٹیوٹر کے اعتماد پر دیانت کی جانچ ہے: ہر جانچ سے پہلے ہمیں معلوم ہوتا ہے کہ اس نے کس مہارت کی پیش گوئی کی؛ بعد میں، ہمیں نتیجہ معلوم ہوتا ہے۔ گروپ بندی کرنے پر، یہ ایک اعتماديت کا وکر اور متوقع کیلیبریشن خامی دیتا ہے، اور خود-ماڈل صرف پیش گوئی کے ساتھ پانچ جانچوں کے بعد "کیلیبریٹڈ" کی رپورٹ دیتا ہے۔ اس سے پہلے اس کی حدود یہی کہتی ہیں, اعتماد کو ایک درجہ بندی سمجھیں، امکان نہیں.

حقیقی تاریخوں نے ہمیں کیا سکھایا

سینیریوز میکانزم ثابت کرتے ہیں؛ وہ یہ ثابت نہیں کرتے کہ چیز اس طرح کام کرتی ہے جیسے لوگ حقیقت میں بات کرتے ہیں۔ اس لیے ہم نے ایک ری پلے بنایا: سب سے بھرپور حقیقی طالب علم اور مضمون کی تاریخوں کو لیا، صرف پڑھنے کے لیے، ہر ایک کو پلیٹ فارم کی ایک الگ تھلگ کاپی میں دوبارہ بنایا، اس کے لیے برین بنایا، اور اسی صارف کے طور پر اصل چیٹ اینڈ پوائنٹ کے ذریعے تین حقیقت جیسے سوالات پوچھے۔ چھ جوڑے، ہر ایک میں 65–142 پیغامات، ہر ایک میں 13–32 ٹیچ موڈ فیصلے، ایک ہسپانوی میں۔ یہ کوئی بے ترتیب نمونہ نہیں ہیں اور انہیں اس طرح نہیں پڑھا جانا چاہیے۔ ہم نے ایسی تاریخیں لیں جن میں کم از کم چالیس پیغامات ہوں، فی طالب علم زیادہ سے زیادہ دو، ٹیسٹ اور اندرونی اکاؤنٹس کو خارج کر کے، اور اُن کو ترجیح دی جن میں گریڈ شدہ جوابات سب سے زیادہ ہوں، کیونکہ ایک خالی تاریخ کچھ بھی نہیں آزماتی۔ اس سے یہاں دیے گئے ہر عدد کا جھکاؤ بھاری صارفین کی طرف ہو جاتا ہے۔ ایک ہلکے صارف کا مضمون میموری کو یاد رکھنے کے لیے کم مواد دیتا، اور غلطی کرنے کا موقع بھی کم دیتا۔

اس نے اوپر بیان کی گئی تین اصلاحات بھی پیدا کیں: طالب علم کے جملوں پر اعتقادات، ریکارڈ کا جواب خود ریکارڈ کے بجائے نقشے سے آنا، اور پرانی "کوئز کی کوئی کوشش نہیں" والی سطر کا جوابات میں سب سے آگے آنا، اور ایک تصدیق جسے دیکھ کر ہمیں خوشی ہوئی: ایک استحکام نے گیارہ یادداشتوں کو نشان زد کیا جن کی حوالہ شدہ فائل مزید موجود نہیں تھی۔ تصدیق کار اپنا کام کر رہا تھا۔

الجبرا کی قطار ایماندار ہے۔ بتیس جانچیں اور کوئی اعتقاد نہیں، کیونکہ کسی کو بھی کسی تصور سے نہیں جوڑا جا سکا: طالب علم نے ارتھمیٹک کا جواب دیا، ٹیوٹر کے جوابات نے کبھی باب کے تصورات کا نام نہیں لیا، اور ایک فقرہ کوئی موضوع نہیں ہوتا۔ اس طالب علم کے لیے رپورٹ یہ کہتی ہے "32 جانچیں ریکارڈ پر ہیں، لیکن ابھی کسی کو بھی نقشے کے کسی تصور سے نہیں جوڑا جا سکا" بجائے اس کے کہ "ابھی تک کوئی جانچ نہیں"۔ کچھ بھی من گھڑت نہیں, مہارت بھی شامل ہے۔

ایک بینچ مارک، ڈیمو نہیں

اوپر بیان کردہ ہر چیز ایک پیمائش یا نمونہ ہے: کاموں میں کتنا وقت لگا، ری پلے نے کیا پیدا کیا، وہ جوابات جو ہمیں پسند آئے۔ ان میں سے کوئی بھی یہ ثابت نہیں کرتا کہ میموری اپنی جگہ کی مستحق ہے، کیونکہ اس کا موازنہ اسی ٹیوٹر سے، میموری کے بغیر، کبھی نہیں کیا گیا۔ چنانچہ ہم نے یہ موازنہ خود کیا۔ ایک پہلے سے رجسٹرڈ سوالات کا مجموعہ، اسی ٹیوٹر کے چار ڈیزائنز جو صرف اس بات میں مختلف ہیں کہ پرامپٹ تک کیا پہنچتا ہے، اور اسکورر جو رائے کے بجائے سٹرنگ اور آئی ڈی کے موازنے ہیں، تاکہ ایک ہی جواب ہمیشہ ایک ہی طرح اسکور ہو۔

سوالات ہر مضمون کے لیے اسی مضمون کے اپنے ریکارڈ شدہ ڈیٹا سے تیار کیے جاتے ہیں، اور یہی چیز انہیں قابلِ اسکور بناتی ہے: طالب علم نے کیا غلط کیا، اس بارے میں سوال کو اصل ریکارڈ پر موجود جانچوں کے خلاف پرکھا جاتا ہے، کسی شرطِ لازم کے بارے میں سوال کو نقشے کے اصل کنارے کے خلاف، اور کسی مہینے کے بارے میں سوال کو ان مہینوں کے خلاف جن میں وہ مضمون واقعی زیرِ استعمال رہا۔ جہاں کوئی مضمون ایک سے زیادہ کی گنجائش رکھتا ہے، وہاں ایک سے زیادہ سوالات دیے جاتے ہیں، یعنی تین تصورات اور تین خالی مہینے، نہ کہ ہر ایک میں سے صرف ایک۔ چھ زمرے، ہر ڈیزائن کے لیے 420 اسکور شدہ سوالات، 45 حقیقی طلبہ کی تاریخ پر جنہیں پلیٹ فارم کی ایک الگ تھلگ کاپی میں دہرایا گیا اور اسی طالب علم کے طور پر عام چیٹ اینڈ پوائنٹ کے ذریعے پوچھا گیا۔

چار ڈیزائنز

چاروں انہی فائلوں پر وہی بازیافت چلاتے ہیں۔ سادہ بازیافت میموری کے بغیر ٹیوٹر ہے۔ ونڈو وہ جواب ہے جس تک زیادہ تر لوگ سب سے پہلے پہنچتے ہیں: گفتگو کی آخری 20 باریاں، بغیر کسی ترتیب کے شامل کر دی جاتی ہیں۔ ایپی سوڈز صرف ایپی سوڈ لاگ کی رینکڈ بازیافت ہے، بغیر کسی تصوراتی نقشے، بغیر اعتقادات اور ریکارڈ کے سوالات کی کسی خاص ہینڈلنگ کے۔ مکمل میموری وہ سب کچھ ہے جو یہ مضمون بیان کرتا ہے۔

جدول کیا بتاتی ہے

مجموعی طور پر ٹیوٹر 420 میں سے 168 سے بڑھ کر 383 تک پہنچتا ہے، یعنی 40 فیصد کے مقابلے میں 91 فیصد۔ اوسط یہاں سب سے کم دلچسپ عدد ہے؛ اصل نتیجہ فرق کی شکل میں ہے۔

بڑی ونڈو جواب نہیں ہے۔ پرامپٹ میں آخری 20 باریاں شامل کرنے سے 40 فیصد 65 فیصد تک پہنچتا ہے، اور یہی اس کا حاصل ہے۔ یہ طالب علم نے کیا غلط کیا کے بارے میں 32 میں سے صرف 5 سوالات کا درست جواب دیتی ہے، کیونکہ چیٹ کی 20 باریوں میں وہ معلومات موجود ہی نہیں ہوتیں، اور یہ اب بھی اکثر خالی مہینے کے بارے میں غلط رہتی ہے۔ یہ "گفتگو کا مزید حصہ شامل کر دیں" والے جواب کا، محض دعوے کے بجائے، ناپا ہوا نتیجہ ہے۔

رینکڈ بازیافت زیادہ تر کام خود کرتی ہے۔ صرف ایپی سوڈ لاگ اکیلے 83 فیصد تک پہنچ جاتا ہے۔ اگر آپ صرف ایک چیز بنائیں، تو یہی بنائیں: ایک صرف اضافے والا لاگ، جسے مطابقت کی بنیاد پر اسکور کیا جائے، اس مضمون کی زیادہ تر قدر یہی ہے۔

نقشہ اور اعتقادات باقی 33 سوالات کے مستحق ہیں، اور یہ ہر جگہ نہیں بلکہ دو مخصوص مقامات پر اپنی قیمت وصول کرتے ہیں۔ کسی موضوع سے پہلے کیا نظرِ ثانی کی جائے، یہ پوچھے جانے پر، تصوراتی نقشے کے بغیر ڈیزائنز تقریباً 55 فیصد وقت درست جواب دیتے ہیں اور مکمل میموری 96 فیصد، کیونکہ شرائطِ لازم دراصل کنارے ہیں اور ایپی سوڈ لاگ میں کوئی کنارہ نہیں ہوتا۔ طالب علم نے کیا غلط کیا، یہ پوچھے جانے پر، اعتقادات اور ریکارڈ کی شاخ اسکور کو 32 میں سے 24 سے 30 تک لے جاتی ہے۔ کسی تصور کی وضاحت کرنے کو کہا جائے تو نقشہ کچھ بھی اضافہ نہیں کرتا: دونوں صورتوں میں 100۔

یہ حاصل کرنے کی قیمت

یہ بینچ مارک کیا ظاہر نہیں کرتا

ان اعداد میں سے آخری وہ ہے جسے باقی مضمون پڑھتے ہوئے ذہن میں رکھنا چاہیے۔ ہم نے مکمل میموری سے وہی 420 سوالات دوبارہ پوچھے، اور ان میں سے 44 نے مختلف اسکور کیا۔ چنانچہ رن سے رن کا شور تقریباً دسواں حصہ ہے، اوپر کے دو ڈیزائنز کے درمیان 33 سوالات کا فرق اس سے کہیں باہر ہے، مگر خالی مہینے پر ان کے درمیان 2 سوالات کا فرق ایسا نہیں: اس زمرے میں وہ برابر ہیں اور ہم اس کے برخلاف کوئی دعویٰ نہیں کریں گے۔

ایک زمرہ بے کار ثابت ہوا اور ہم اسے چپکے سے ہٹانے کے بجائے چارٹ میں شامل رکھ رہے ہیں۔ وہ مہینہ جس میں طالب علم تھا سرگرم، ہر ڈیزائن میں 44 میں سے 44 اسکور کرتا ہے، بشمول اس ڈیزائن کے جس کے پاس سرے سے کوئی میموری نہیں۔ یہ بنیاد پر مبنی یاد کو اس قیاسی بیان سے الگ نہیں کر پاتی جس میں اتفاقاً درست مہینہ آ جائے، اور یہی وہ خامی ہے جسے اس کا ہم جنس زمرہ پکڑتا ہے۔ ایسا امتحان جسے ہر کوئی پاس کر لے، کچھ نہیں ناپتا۔

اسکورر دراصل سٹرنگ کے موازنے ہیں جنہیں اسی ٹیم نے لکھا جس نے یہ فیچر بنایا۔ یہ اس جواب کو انعام دیتے ہیں جو ریکارڈ شدہ الفاظ دہراتا ہے اور مکمل طور پر مختلف الفاظ میں بیان کیے گئے درست جواب کو نہیں پہچان سکتے، اور ایک بار یہ ہمیں بھاری پڑا: شرطِ لازم کے سوالات کنارے کی سمت الٹی ہونے کے ساتھ تیار کیے گئے تھے، چنانچہ کافی عرصے تک یہ زمرہ میموری کا کمزور ترین دکھائی دیا جبکہ ٹیوٹر دراصل نقشے کا اپنا صحیح جواب دے رہا تھا اور اسے غلط قرار دیا جا رہا تھا۔ یہ اصل میں نقشے کا سب سے مضبوط زمرہ ہے۔ ہمیں یہ بات مجموعوں کے بجائے ناکامیوں کو پڑھنے سے معلوم ہوئی، اور یہی واحد طریقہ ہے جس سے یہ غلطیاں سامنے آتی ہیں۔

اور یہ آبادی بے ترتیب نہیں ہے۔ یہ 45 حقیقی تاریخیں ہیں جنہیں اس بنا پر چنا گیا کہ ان میں کچھ نہ کچھ موجود تھا: کم از کم 15 پیغامات، منسلک فائلیں، اور ان زمروں کے لیے جنہیں درجہ بند جوابات درکار ہیں، ان میں سے کم از کم پانچ۔ وہ طالب علم جس نے ابھی بمشکل شروعات کی ہو، اس میں سے بہت کم کا تجربہ کرے گا، اور فرق کا بھی بہت کم حصہ دیکھے گا۔