Grading Needs a Rubric, Not Intelligence

本文探讨了在开放性试题自动评分中，评分模型的智能水平是否影响评分可靠性这一核心问题。研究提出并验证了一种“非对称架构”ANY-TO-BENCH：由前沿大模型（如GPT-5.6 Sol）在一次性文档摄入阶段提取题目与结构化评分量规（含官方参考答案、明确评分标准及等级），而后续重复性评分任务则交由六种低成本小模型（包括GPT-5.6 Luna与Claude Sonnet 5的三个推理强度版本）完成。实验基于24道来自台湾三类国家级考试的真实开放性试题（涵盖短答、论述与绘图题），每份答案由全部六种模型生成，并由相同六种模型各评分三次，共产生3,456个有效评分点。结果表明：答案本身决定95.6%的得分变异，而评分者身份仅贡献0.2%；提升作答者的推理强度可使得分变动达满分的0.143，但提升评分者推理强度带来的变动不超过0.006。进一步消融实验发现，移除量规中的评分标准与等级、仅保留官方答案，对评分一致性（ICC=0.888）无显著影响；而若同时移除官方答案，则一致性骤降至ICC=0.628，得分系统性偏高，且评分者能力重新显现影响。这证实：量规——尤其是其中的官方答案——是解耦评分结果与评分者智能的关键机制。研究还验证，在量规锚定下，既不存在答案长度偏好，也无模型家族自偏好；单个评分者已足够可靠，增加人数或重复评分不提升一致性。该工作为构建低成本、高信度、可解释的自动化教育评估基准提供了理论依据与工程范式。