面向高考历史科目试题的自动答题系统
基本信息
- 论文：面向高考历史科目试题的自动答题系统
- 年份：2022
- 期刊：中文信息学报
- 分级：CCF-B
研究背景
研究问题：考试自动答题任务是指利用标准化考试环境对问答系统进行测试。本文针对我国高考历史科目部分，构建能够作答高考历史试题的自动答题系统。
任务描述：历史高考试题包含选择题和简答题两种题型，简答题除了问题之外，还带有一段与问题相关的文字材料。本文针对选择题和简答题，分别构建了答题系统。
数据集：高考历史科目真题数据集GH577
Taking up the Gaokao Challenge: An Information Retrieval Approach
相关工作
- 世界历史选择题任务
- Overview of the NTCIR-11 QA-Lab Task
- Overview of Todai Robot Project and Evaluation Framework of its NLP-based Problem Solving
- CMU Multiple-choice Question Answering System at NTCIR-11 QA-Lab
小学数学试题任务
Learning to solve arithmetic word problems with verb categorization初高中英语单选任务
一种面向初高中英语单选题的类人答题系统医师资格考试任务
Master clinical medical knowledge at certificated-doctor-level with deep learning model我国高考的选择题答题
Taking up the Gaokao Challenge: An Information Retrieval Approach
系统模型
该自动答题系统包含三个模块：检索模块，阅读理解模块，集成模块
整体框架如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JevYQp14-1682482167083)(:/38d35334032742038f5bb8f61299364f)]
检索模块
作用：从知识语料库中检索相关文本知识使用BM25算法计算检索词与文本知识之间的匹配度。阅读理解模块
作用：融合题目和阅读文档的信息，评估各候选答案的正确性，计算候选答案的分数。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-svRqWFRc-1682482167085)(:/31a9f41ad15847d690e27ada73b17f42)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EYll9Aqc-1682482167086)(:/576e84505a434bd7a66073b1367d836d)]集成模块
作用：集成模块的作用是使阅读理解模块对各候选答案的分数与检索模块输出的检索匹配度互相补充，从而得到最终的候选答案概率。
实验结果
作者做了三个方面的实验：
自动答题系统在真题与测试卷上的实验结果
自动答题系统在在GH577上的实验结果
自动答题的消融实验分析
结论
本文构建了高考历史科目自动答题系统，实验结果表明，设计的答题系统是有效的。但是，该答题系统在某些方面，存在不足，例如多模态、多语言类问题，多步推理问题。