المنهجية
يتألف ميزان من مكوّنين متكاملين: التقييم البشري، ويقيس تفضيلات المستخدمين بين إجابات النماذج؛ والاختبار المغلق، ويقيس الكفاءة اللغوية بالدرجات. تعرض هذه الصفحة إجراءات كلٍّ منهما وحدوده.
التقييم البشري
المُفاضَلة
- الأسئلة
- أسئلة مكتوبة بالعربية الفصحى وبالعامية، تغطي الكتابة والترجمة والنحو والبلاغة والاستدلال والاستشارة وغيرها، ويُوسَّع البنك على دفعات.
- توليد الإجابات
- يُجيب كل نموذج عن كل سؤال مرة واحدة بالشروط نفسها: السؤال وحده دون تعليمات نظام، وبالإعدادات الافتراضية لمزوّد الخدمة. تُستبعد الإجابات المقطوعة، وتُحفظ الإجابات مسبقًا فلا تتغير من مقيِّم إلى آخر.
- إجراء المقارنة
- يُعرض على المقيِّم سؤال لم يقيّمه من قبل، مع إجابتين لنموذجين يُختاران عشوائيًا بموازنة تضمن تغطية جميع الأزواج، ويُخلط ترتيبهما. تبقى الأسماء مخفية حتى يُسجَّل الحكم.
- التقدير الإحصائي
- تُقدَّر القوة النسبية لكل نموذج بنموذج برادلي–تيري (الأسلوب المتبع في LMArena)؛ إذ تُعامل كل مقارنة مباراةً، ويُحتسب التكافؤ و«كلتاهما ضعيفة» نصف فوز لكل طرف. تُعرض التقديرات على مقياس مماثل لمقياس إيلو مع فترات ثقة ٩٥٪ من ٢٠٠ إعادة معاينة، ويساوي الترتيب واحدًا مضافًا إليه عدد النماذج الأعلى منه بدلالة إحصائية.
- سلامة البيانات
- تُحفظ الأحكام المسجّلة في أقل من ٣ ثوانٍ، أو الزائدة عن الحد اليومي من الجهاز أو الشبكة نفسها، دون أن تدخل في الحساب. ولا يُخزَّن عنوان IP، بل بصمة مشفّرة منه، ولا يتطلب التقييم تسجيل دخول. ونحصي الزيارات أعدادًا يومية مجمّعة، دون ملفات تعريف الارتباط ودون حفظ عناوين IP.
الاختبار المغلق
المِعيارقريبًا
إذا نُشرت أسئلة الاختبار أمكن تدريب النماذج عليها عمدًا أو اتفاقًا، فتفقد الدرجات دلالتها؛ لذا تبقى أسئلة الاختبار المغلق غير منشورة، والأمثلة الواردة في هذه الصفحة توضيحية لا تدخل في الدرجة.
| المهارة | ما تقيسه | عدد الأسئلة | طريقة التصحيح |
|---|---|---|---|
| فهم اللهجات | فهم ألفاظ اللهجات العربية وتراكيبها ومقاصدها في سياقها، مع تركيز أولي على لهجات الخليج. | ٢٥ | اختيار من متعدد · تصحيح آلي |
| المفردات والدلالة | معاني الألفاظ في سياقها، والمشترك اللفظي، والترادف والتضاد، والفروق الدقيقة بين الألفاظ، والتعابير الفصيحة. | ٢٠ | اختيار من متعدد · تصحيح آلي |
| الأمثال والتعابير | فهم الأمثال والتعابير المتداولة ومواضع استعمالها. | ١٥ | اختيار من متعدد · تصحيح آلي |
| النحو والصرف | الإعراب والتراكيب والأبنية الصرفية في العربية الفصحى، مع تركيز على المواضع الدقيقة. | ٢٠ | اختيار من متعدد · تصحيح آلي |
| الإملاء والتشكيل | قواعد الهمزات والتاء والألف، وتشكيل الجمل تشكيلًا تامًّا يُقاس بنسبة أخطاء التشكيل. | ١٥ | اختيار من متعدد وإملاء ونسبة أخطاء التشكيل |
| العروض والبلاغة | بحور الشعر العربي الفصيح، والصور البيانية والمحسنات البديعية. | ٦ | اختيار من متعدد · تصحيح آلي |
| اتباع التعليمات | الالتزام بتعليمات دقيقة تُفحص برمجيًا، منها قيود خاصة بالعربية كالأرقام الهندية والتشكيل التام. | ١٥ | فحوص برمجية |
التصحيح والتقدير
- التصحيح الآلي
- تُصحَّح أسئلة «المِعيار» كلها آليًا دون أي نموذج: الاختيار من متعدد، والإجابات القصيرة، والإملاء والتشكيل، واتباع التعليمات (بفحوص برمجية)، بعد تطبيع النص (التشكيل، صور الهمزة، الألف المقصورة، التاء المربوطة، الأرقام). ويُقاس التشكيل بنسبة الحروف المشكولة تشكيلًا صحيحًا.
- الدرجة الكلية
- متوسط درجات المهارات بأوزان متساوية (من ١٠٠)، مع فترة ثقة ٩٥٪ ومدى للترتيب من ١٠٠٠ إعادة معاينة مقترنة على الأسئلة.
ضبط الشروط ومنع التسرّب
تُرسَل الأسئلة إلى جميع النماذج بالصيغة نفسها، دون تعليمات نظام، وبدرجة حرارة صفرية حيث تتوفر. ولا تمر الطلبات إلا عبر مزوّدين لا يحتفظون بالبيانات، وتحمل ملفات الأسئلة «علامة كناري» سرّية تكشف تسرّبها إلى بيانات التدريب. ويُستبدل نحو ثلث الأسئلة كل ربع سنة.
المراجعون اللغويون
يراجع مختصون في العربية أسئلةَ «المِعيار» وإجاباتِها المعتمدة قبل تشغيله، ويُعدَّل ما يقترحون تعديله.
د. عمر بن عواد بن نور الحربي
الأستاذ المشارك بقسم اللغة والنحو والصرف، كلية اللغة العربية، جامعة أم القرى
أسئلة الفصحى في «المِعيار»: النحو والصرف، والإملاء والتشكيل، والمفردات والدلالة، والعروض والبلاغة
أمثلة توضيحية (لا تدخل في الدرجة)
النحو والصرف
ما إعراب «طالبًا» في جملة التعجب: «ما أحسنَ طالبًا يُتقن عمله!»؟
- (أ) تمييز منصوب
- (ب) مفعول به منصوب
- (ج) حال منصوبة
- (د) خبر «ما» منصوب
اتباع التعليمات
عرّف الذكاء الاصطناعي في جملتين بالعربية الفصحى، كل جملة في سطر، مشكولتين تشكيلًا تامًّا، بلا أي حرف لاتيني، على أن تنتهي الجملة الثانية بكلمة «الإنسانِ».
الإملاء والتشكيل
شكّل الجملة الآتية تشكيلًا تامًّا بما في ذلك أواخر الكلمات: في التأني السلامة وفي العجلة الندامة
العروض والبلاغة
ما بحر مطلع معلقة امرئ القيس: «قِفا نَبْكِ مِنْ ذِكْرى حَبيبٍ ومَنْزِلِ ... بِسِقْطِ اللِّوى بَيْنَ الدَّخولِ فَحَوْمَلِ»؟
- (أ) البسيط
- (ب) الطويل
- (ج) الكامل
- (د) الوافر
الأمثال والتعابير
ما المقصود بقول العرب: «سبقَ السيفُ العَذَلَ»؟
- (أ) فات أوانُ اللوم بعد أن وقع الأمر
- (ب) القوةُ تسبق الحجة في حسم الخلاف
- (ج) المبادرةُ إلى الحرب خيرٌ من التردد
- (د) العتابُ يُفسد المودة بين الأصحاب
المفردات والدلالة
ما الفرق بين «الحسد» و«الغِبطة» كما قرّره أصحاب المعاجم؟
- (أ) الغبطة تمنّي زوال النعمة عن صاحبها، والحسد تمنّي مثلها دون تمنّي زوالها عنه
- (ب) الحسد تمنّي زوال النعمة عن صاحبها، والغبطة تمنّي مثلها دون تمنّي زوالها عنه
- (ج) الحسد يكون في المال خاصة، والغبطة تكون في العلم خاصة
- (د) الحسد ما أضمره القلب من التمنّي، والغبطة ما نطق به اللسان منه
حدود ميزان
- ١.المقيِّمون في التقييم البشري ليسوا عيّنة ممثِّلة، وقد تُفضَّل الإجابات الأطول أو الأكثر تنسيقًا وإن لم تكن أدق.
- ٢.يبدأ بنك أسئلة التقييم البشري صغيرًا، ولكل تقييم هامشُ خطأ يتّسع كلما قلّت الأحكام؛ فإذا تداخل هامشا نموذجين لم يمكن الجزم بأيّهما أفضل، ولذلك لا تُعدّ الفروق الصغيرة بينهما حاسمة.
- ٣.يكشف الاختبار المغلق بعدد أسئلته الحالي (١١٦ سؤالًا) الفروقَ الكبيرة (نحو عشر نقاط فأكثر)، أما الفروق الأصغر فتحتاج إلى أسئلة أكثر.
- ٤.تتركّز تغطية اللهجات في هذا الإصدار على لهجات الخليج، ونعتزم توسيعها لتشمل لهجات عربية أخرى.
- ٥.صيغت المسودة الأولى لأسئلة الاختبار المغلق بمساعدة الذكاء الاصطناعي، وقد راجع أسئلةَ الفصحى فيه مختصٌّ في النحو والصرف، ونعتزم أن يراجعها مختصٌّ آخر على الأقل قبل تشغيله.
للتواصل
للاستفسارات، والتعاون البحثي، واقتراح الأسئلة والنماذج:
nawaf.yousef.alharbi@gmail.com