المنهجية

التقييم البشري

المُفاضَلة

الأسئلة

أسئلة مكتوبة بالعربية الفصحى وبالعامية، تغطي الكتابة والترجمة والنحو والبلاغة والاستدلال والاستشارة وغيرها، ويُوسَّع البنك على دفعات.

توليد الإجابات

يُجيب كل نموذج عن كل سؤال مرة واحدة بالشروط نفسها: السؤال وحده دون تعليمات نظام، وبالإعدادات الافتراضية لمزوّد الخدمة. تُستبعد الإجابات المقطوعة، وتُحفظ الإجابات مسبقًا فلا تتغير من مقيِّم إلى آخر.

إجراء المقارنة

يُعرض على المقيِّم سؤال لم يقيّمه من قبل، مع إجابتين لنموذجين يُختاران عشوائيًا بموازنة تضمن تغطية جميع الأزواج، ويُخلط ترتيبهما. تبقى الأسماء مخفية حتى يُسجَّل الحكم.

التقدير الإحصائي

تُقدَّر القوة النسبية لكل نموذج بنموذج برادلي–تيري (الأسلوب المتبع في LMArena)؛ إذ تُعامل كل مقارنة مباراةً، ويُحتسب التكافؤ و«كلتاهما ضعيفة» نصف فوز لكل طرف. تُعرض التقديرات على مقياس مماثل لمقياس إيلو مع فترات ثقة ٩٥٪ من ٢٠٠ إعادة معاينة، ويساوي الترتيب واحدًا مضافًا إليه عدد النماذج الأعلى منه بدلالة إحصائية.

سلامة البيانات

تُحفظ الأحكام المسجّلة في أقل من ٣ ثوانٍ، أو الزائدة عن الحد اليومي من الجهاز أو الشبكة نفسها، دون أن تدخل في الحساب. ولا يُخزَّن عنوان IP، بل بصمة مشفّرة منه، ولا يتطلب التقييم تسجيل دخول.

حدود ميزان

1. ١.المقيِّمون في التقييم البشري ليسوا عيّنة ممثِّلة، وقد تُفضَّل الإجابات الأطول أو الأكثر تنسيقًا وإن لم تكن أدق.
2. ٢.يبدأ بنك أسئلة التقييم البشري صغيرًا، ولكل تقييم هامشُ خطأ يتّسع كلما قلّت الأحكام؛ فإذا تداخل هامشا نموذجين لم يمكن الجزم بأيّهما أفضل، ولذلك لا تُعدّ الفروق الصغيرة بينهما حاسمة.
3. ٣.يكشف الاختبار المغلق بأسئلته المئة والخمسين الفروقَ الكبيرة (نحو عشر نقاط فأكثر)، أما الفروق الأصغر فتحتاج إلى أسئلة أكثر.
4. ٤.تتركّز تغطية اللهجات في هذا الإصدار على لهجات الخليج، ونعتزم توسيعها لتشمل لهجات عربية أخرى.
5. ٥.النماذج المحكِّمة غير معصومة، ولا سيما في الحكم على سلامة اللهجة.
6. ٦.صيغت المسودة الأولى لأسئلة الاختبار المغلق بمساعدة الذكاء الاصطناعي، ونعتزم مراجعة أهم أسئلته مع مختصين.

للتواصل

للاستفسارات، والتعاون البحثي، واقتراح الأسئلة والنماذج: