Knowledge

عنوان اصلی: Knowledge

هدف یادگیری: تمایز میان آنچه مدل از training «می‌داند» و آنچه در context کنونی قرار دارد؛ و شناخت حالت‌های شکست knowledge آموخته‌شده (cutoff date، اشتباهِ مطمئن، long-tail).

مفاهیم کلیدی: parametric knowledge، training data cutoff در برابر reliable knowledge cutoff، hallucination به‌عنوان اشتباه مطمئن، long-tail facts، retrieval/grounding به‌عنوان درمان

«دانش» مدل آن چیزی است که در pretraining جذب و در fine-tuning شکل گرفته است. مستندات Anthropic میان دو تاریخ تمایز قائل می‌شوند: training data cutoff (بازه‌ی گسترده‌ی پیکره) و reliable knowledge cutoff (تاریخی که تا آن، دانش مدل گسترده‌تر و قابل‌اتکاتر است). هر چیزی پس از cutoff قابل‌اتکا را باید گم‌شده یا منسوخ تلقی کرد.

دانش همچنین ناهموار است. حقایق رایج و مستند (پایتخت کشورها، علوم پایه، کتاب‌های مشهور) به‌شدت تقویت شده‌اند. حقایق long-tail (یک مقررات کوچک ایرانی از سال ۱۴۰۲، رفتار یک کتابخانه‌ی نرم‌افزاری niche، یک شخص خاص که چهره‌ی شناخته‌شده‌ای نیست) فقط به‌صورت پراکنده در داده‌ی training حضور دارند، و دقیقاً همان‌جاست که مدل احتمالاً با اطمینان اشتباه می‌کند — چون next token prediction باز هم متن روان تولید می‌کند، حتی وقتی دانش زیربنایی نازک باشد.

درمانی که این درس می‌آموزد ساده است: با حافظه‌ی مدل بحث نکنید؛ آن را جایگزین کنید. اگر حقیقتی اهمیت دارد، متن منبع را در context قرار دهید یا ابزاری را وصل کنید که اسناد معتبر را بازیابی می‌کند. وقتی متن مرجع در context قرار گرفت، مدل دیگر به حافظه‌ی parametric لرزان متکی نیست؛ او در حال خواندن است.

این درس همچنین تمایز میان «دانش» و «مهارت» را برجسته می‌کند. مدل ممکن است در یادآوری یک حقیقت ضعیف باشد، اما در رویه‌ای که از آن حقیقت استفاده می‌کند عالی عمل کند — به شرطی که حقیقت در دسترس باشد. پس وقتی مدل شکست می‌خورد، بپرسید: شکست از این بود که نمی‌دانست، یا از این بود که استدلال نکرد؟

مثال عملی

از Claude بخواهید زندگی‌نامه‌ی یک چهره‌ی محلی گمنام را بنویسد. توجه کنید که زندگی‌نامه‌ای روان و باورپذیر تولید می‌کند که ممکن است شامل تاریخ‌ها یا وابستگی‌های ساختگی باشد. حالا متن واقعی Wikipedia را در prompt بچسبانید و همان پرسش را تکرار کنید. مقایسه کنید. پاسخ دوم grounded است؛ اولی generated بود.

اشتباهات رایج

• «اگر مدل با اطمینان گفت، یعنی در داده‌اش هست.» اطمینان ≠ حضور در داده‌ی training.
• «cutoff یک دیوار سخت است.» نه — دانش به‌تدریج با نزدیک شدن به cutoff رنگ می‌بازد، و reliable cutoff زودتر از training data cutoff است.
• «هرچه context بیشتر، دانش بیشتر.» قرار دادن متن نامرتبط در context، توجه را رقیق می‌کند؛ ربط مهم‌تر از حجم است.