إصدار تجريبي · ٠٫١
ميزان معيار مفتوح لتقييم النماذج اللغوية الكبيرة في العربية. في إحدى كفّتيه «المفاضلة»: يحكم فيها القرّاء بين إجابتين مجهولتين. وفي الأخرى «المعيار»: اختبار مغلق يقيس الكفاءة اللغوية بالدرجات.
لا يكفي أن يُعجِب النموذجُ قارئه، ولا أن يجتاز اختبارًا منشورًا قد يكون حفظه. لذلك يجمع ميزان بين الحُكمين.
التقييم البشري
مفاضلةٌ عمياء بين إجابتين، والحكمُ للقارئ.
يُعرض على القارئ سؤال وإجابتان من نموذجين لا يعرف اسميهما، فيختار الأجمل أو يحكم بتكافئهما. تُجمع الأحكام وتُقدَّر منها القوة النسبية لكل نموذج بنموذج برادلي–تيري.
الاختبار المغلق
اختبارٌ محجوب يزن الكفاءة اللغوية بالدرجات.
مئة وخمسون سؤالًا لم تُنشر قط، موزعة على تسع مهارات لغوية. يُصحَّح أغلبها آليًا، وتُصحَّح المهام المفتوحة بلجنة محكِّمين من شركات مختلفة.
المُفاضَلة
المِعيار
المهارات التسع التي يزنها «المِعيار»قريبًا
١فهم اللهجات
فهم ألفاظ اللهجات العربية وتراكيبها ومقاصدها في سياقها، مع تركيز أولي على لهجات الخليج.
٢الكتابة باللهجات
القدرة على الكتابة بلهجة محددة كتابةً طبيعية متسقة دون الانزلاق إلى الفصحى أو إلى لهجة أخرى.
٣المفردات والدلالة
معاني الألفاظ في سياقها، والمشترك اللفظي، والترادف والتضاد، والفروق الدقيقة بين الألفاظ، والتعابير الفصيحة.
٤الأمثال والتعابير
فهم الأمثال والتعابير المتداولة ومواضع استعمالها.
٥النحو والصرف
الإعراب والتراكيب والأبنية الصرفية في العربية الفصحى، مع تركيز على المواضع الدقيقة.
٦الإملاء والتشكيل
قواعد الهمزات والتاء والألف، وتشكيل الجمل تشكيلًا تامًّا يُقاس بنسبة أخطاء التشكيل.
٧العروض والبلاغة
بحور الشعر، والصور البيانية والمحسنات البديعية، وفنون الشعر النبطي.
٨اتباع التعليمات
الالتزام بتعليمات دقيقة تُفحص برمجيًا، منها قيود خاصة بالعربية كالأرقام الهندية والتشكيل التام.
٩المهام الكتابية المفتوحة
مهام كتابية واقعية كالمراسلات الرسمية والتلخيص والترجمة، تُقيَّم بمعايير محددة سلفًا ولجنة محكِّمين.
ترتيب «المُفاضَلة» بحسب أحكام القرّاء
يتشارك النماذج الترتيب نفسه ما دامت فترات الثقة متداخلة.
النتائج كاملةإذا أفدت من ميزان في عمل بحثي، فيُرجى الاستشهاد به على النحو الآتي:
@misc{mizan2026,
title = {Mizan: An Open Benchmark for Evaluating Large Language Models in Arabic},
author = {{Mizan Contributors}},
year = {2026},
note = {Preview release v0.1},
url = {https://mizan-web-production-63b2.up.railway.app}
}للاستفسارات، والتعاون البحثي، واقتراح الأسئلة والنماذج:
nawaf.yousef.alharbi@gmail.comأو عبر منصة X:@NawafAi_