标识
山东省教育招生考试院李基梅、助理研究员主持完成了《基于自学考试试题库系统的区域协作命题模式研究》 (课题编号gjk2017045)。课题组主要成员有山东省教育招生考试院王继荣、副研究员，山东省教育招生考试院张凤杰研究实习员，山大鸥玛软件股份公司信息技术人员薛勇。
正文
一、内容与方法
随着计算机应用技术的快速发展,网络的影响空前广泛,尤其是大数据技术、人工智能等新兴技术在各行各业广泛应用并取得了显著成效。信息技术的发展是对人类智力极限的重要突破，它正在引起社会经济结构和生产方式的重要变革，在以信息技术为主导的新时代，传统的管理思想、组织、方法受到了严峻的挑战。当前，在我国的教育考试领域，就正面临着从考试内容到考试形式的巨大变革，如何将大数据、人工智能等信息技术手段充分应到命题工作中，安全高效的服务于我国的教育考试工作，满足新时代人民群众对教育考试的新要求，成为教育考试工作面临的一个重要课题，也是考试命题工作发展的关键要务。积极开展题库建设，能够切实维护考试安全，确保命题质量达到稳定的测试目标，使教育考试走向专业化、规范化、信息化，是推动命题工作良性健康发展的一条重要途径。从国家层面，国家高度重视题库建设工作，2014年，国务院《关于深化考试招生制度改革的实施意见》中也明确指出要“加强国家题库建设”。
课题组深入学习国内外题库建设先进理论成果，多次开展省外专项调研，充分了解其他省份自学考试命题工作状况，共谋推动命题工作发展的思路办法。在对比分析传统命题方式面临的突出问题及局限性、以及基于题库系统命题的主要优势及现实意义的基础上，尤其当前自学考试省级命题工作普遍面临诸多困境在这一现实背景下，着力研究基于题库系统的区域协作命题模式，打破传统命题方式的限制，整合命题资源进行高质量的题库建设，为协作各省节约建库成本、将题库资源发挥最大功效，确保命题质量达到稳定的测试目标，使教育考试更加专业化、规范化、信息化，适应我国教育考试制度改革发展的新形势、新需要。
二、结论与对策
（一）传统命题方式面临诸多现实问题及局限性
目前在教育考试中命题工作普遍采用两种方式：一种是分散命题方式，通过选聘命题教师，以征集试题、试卷的形式开展命题工作；第二种采用入闱命题方式，由教育考试机构统一组织，选取合适闱点，屏蔽通讯设备，全封闭开展命题工作。两种传统命题方式在实际应用中均面临诸多困难。
1.普遍面临命题教师选聘困难的难题
命题教师是考试命题工作的重要依托，传统的命题方式中试题的命制较强依赖于教师自身素质及专业水平、命题质量受教师主观影响较大。从现实层面来看，目前高厉害性国家教育考试中出于安全保密的需要，多采用入闱命题工作方式。目前高校教师在学校中承担较多的教学任务及科研工作，动则十几天甚至几十天的全封闭入闱、不能与外界联系，严重影响教师的工作和生活，所以各省教育考试机构普遍面临命题教师选聘困难的现实难题，尤其是高水平的骨干教师参与命题工作积极性普遍不高，所以命制高质量的试题就难以保障。
2.对标准掌握不一，易出现低级错误
从标准参照测验的角度说，学生参加不同批次考试所获得的等级（水平）应在一把共同的“量尺（sale）”上进行比较和度量。但从实际操作层面来看，由于每次选聘参与命题工作教师业务水平参差不齐、风格差异性较大，不可避免的出现“标准不一”的问题，主要由于不同命题教师：一是对课程标准、考核要求认识的不统一；二是对试题难易度、区分度界定等试题命制标准把握不统一；三是对题型选用、试卷结构把握标准不统一；四是命题经验不足，对命题要求掌握不够，易出现错别字、试题前后关联、前后提示等低级错误；因而造成多批次命题试卷间系统性、科学性、规范性、平行性不强。
3.安全保密风险点多、管控难度大
从安全保密防控上来看，无论采用分散命题方式还是入闱命题方式，由于命题工作参与人员多、环节多，均面临较大的安全保密风险防控压力。一是由于命题教师队伍庞大、安全保密意识不够强，对安全保密的知识和防范技术掌握不够深，加之对命题教师也缺乏有效的监管，容易发生因命题教师无意甚至故意造成的失泄密事件发生；二是在开展分散命题时，由于广泛征集试题、试卷，试卷从命制完成到使用启封都由考试机构负责管理，管理周期长，有些甚至长达三五年，就可能存在因管理不善，造成的试卷毁损或者失泄密情况发生；三是对教育考试中考生群体众多、社会关注程度高的教育考试往往采取全封闭入闱命题方式，在实际实施过程中需要耗用大量人力物力、成本较高，需要协调武警公安网信等多部门配合支持、实施难度较大，而且必需选取合适入闱闱点，加装大量安全保密设施设备、防控压力大；任一环节出现问题都会发生失泄密风险，安全保密压力大。
4.应对突发事件的能力不足
近年来由于洪水、地震等自然灾害造成考试延考、缓考的情况屡有发生，需要在短时间内提供一套试卷用于考试，这对备用试卷的质量以及两套试卷间平行性都提出了很高的要求；但在传统命题方式中，试题备用卷的质量很难达到考试正用卷的质量水平，两套试卷不能实现完全等值，公众就会对考试公平性产生质疑。尤其在当前，受新冠肺炎疫情常态化的影响，命题工作是人员聚集性较强的工作，在疫情防控严峻形势下，能否适宜开展大规模集中命题工作有很大不确定性，即使开展也面临较大的疫情防控压力；传统命题方式在应对突发事情上的应变能力稍显不足。
（二）基于题库系统的命题模式具有显著优势
近年来，随着美国、欧洲等国家和地区对题库研究的不断深入，题库建设及应用技术已经取得了长足的进步，题库已经从早期的“试题仓库”发展位一个计算机管理的动态过程（item banking）。目前，欧美的大型考试均已具备对应的较成熟的题库系统，例如雅思（ielts）、学术能力评估测试（sat）、研究生管理科学入学考试（gmat）等。积极发挥题库的优势作用，对稳步推进我国考试招生制度改革有重要作用，也是建设专业化考试机构的重要一环。
1.数据安全可靠、安全保密性高
在题库建设中，通过广泛征集试题，构建一个足量、科学、易扩充的题库系统，只要题库体量庞大，对于高考中的合格考、大学英语四六级考试、自学考试这类标准参照考试来说，即使将整个题库提供给考生，只要考生能全部掌握，达到60分及格线的标准，即可认为考生达到了这门课程的考核要求；不会因题库泄露造成影响巨大的安全保密责任事故，因而题库的安全保密的防控压力较小。
2.标准统一，试题质量高
基于题库系统的命题方式，不需要再采封闭集中入闱的命题形式，可以将命题工作变成日常性工作，可以降低教师参与命题工作的畏难情绪，吸引更多高水平的教师参与命题工作，组建高水平的题库建设团队。在题库建设时，统一标准，对每道试题的政治性、科学性、规范性进行严格把关，确保每道试题准确无误，只有符合入库标准的试题方可进入题库；并通过试测、校准、考后数据回填等技术，最大程度的保障试题质量，从而不断提升考核的精准度。
3.各批次间试卷平行性得到有效控制
标准参照考试类考试传统命题方式往往缺乏试卷等值处理，很难对不同考次学生的考试数据资料进行累积并开展大数据分析。而题库具有测量学上的优越性，即高质量、可预控、等值可比、稳定一致 。基于题库系统命题，可以对每道题难易度、认知层次、区分度进行科学合理赋值，在制定科学合理的组卷策略后可由题库系统自动组配多套试卷，各套试卷间的平行性能得到有效控制，不会因命题教师业务能力、认知层次的影响，出现较大的偏差，难度控制较为稳定。
4.数据便于统计分析利用
对考试结果的统计分析评价也是科学化考试流程的一个重要步骤，通过题库系统准确便捷的获得试题的统计学质量、试卷难度质量等有效数据，对考试数据的分析与利用对开展命题工作，尤其针对标准参照考试命题工作具有十分重要的指导意义。一方面对考试机构来说，可以建立严格的考试质量控制体系，充分数据统计分析结果进而针对性、方向性更强的开展命题工作。另一方面，通过题库系统可以形成针对学校、考生等的多层次评价报告，对教育教学情况反馈，形成考生个体的评价报告，帮助学生有针对性的应考。
5.数据可重复利用，经济效益好
题库是一个动态数据库，可以定期对数据进行更新维护，将不合时宜的题库进行剔除，将最新的试题实时补充到题库中；使用的试题进行组卷锁题，近期不再使用，可以设定一定时长的封闭期，如对于自学考试题库系统中设定3-5年或者3次考试的封闭期，封闭期过后试题重新进入题库中，实现题库内循环，经济效益好。
6.适应新时期考试新形势的需要
题库系统有易于管理、灵活性强、稳定性高等管理学上的显著优越性。一是，在题库系统的基础上可以大规模开展上机考试,适应新时代考生对考试工作要求一年多考、随到随考的新需求；二是题库系统能有效应对自然灾害、试题泄密等各类突发情况，尤其是在当前新冠疫情防控常态化的要求下，题库系统够在极端情况下及时快速形成一套质量不错的试题满足考试的需要，最大限度的维护考生利益，避免舆情发生，保障社会稳定。
（三）基于题库系统的区域协作命题具有重要现实意义
随着我国经济和社会的发展，题库从最初的简单存储试题的仓库已经演化到支持考试各个环节的多功能信息系统，成为考试机构开展业务的枢纽。在“互联网 ”背景下做好自学考试信息化命题策略研究工作，整合各省市现有的资源,通过统筹协调、统一规划、共同打造题库的“蓄水池”，建立“共享题库”机制,探索建立基于题库系统的自学考试区域协作命题模式，是全面提升各省自学考试命题工作质量与效率的重要途径与手段。
1.传统的区域协作命题以提供纸质试卷、互换试卷的形式进行，在实施过程中面临诸多现实困难：例如由于使用同一套考试试卷，各协作方必须统一安排考试时间，由于各省间考试课程设置和规模上存在较大差异，在协作省份较多的情况下很难在考试时间安排上达成一致。基于题库系统的区域协作命题模式，协作各方仅需完成课程考试大纲及使用教材版本的统一，对考试时间、难度控制不做统一要求，协作各方共同打造题库的“蓄水池”，建立“共享题库”，各省可以自行确定考试时间各取所需抽题组卷；达成合作的难度相对较小。
2.传统的区域协作命题由于使用同一张考试试卷，各协作方即使在专业培养目标、考试大纲、教材选用上达成统一，由于各省间考生群体差异较大，对试卷难度控制要求以及考后及格率也会存在较大差异。而在基于题库系统的区域协作命题模式下，各协作方可以根据本省生源情况、专业培养目标设置不同参数自行组卷，难度控制较好控制，可以有效控制及格率。
3.传统的命题方式中试题的命制较强依赖于教师自身素质及专业水平、命题质量受教师主观影响较大，命制试题的系统性、科学性、规范性不强；且不同教师命题水平与风格有存在较大差异，在试卷平行性、难度控制上不够稳定。同时，由于各省命题水平受到本省普通高校发展水平的制约,有时难以满足本省对命题量大而又多样化的需求。而基于试题库系统的区域协作命题，尤其针对命题教师资源稀缺的课程可以统筹协调，全国一盘棋，破除地域限制，走向命题联合，实现命题资源的优势互补，统一标准，建设高质量高标准的“共享题库”，确保考试结果的公平性公正性。
4.传统的区域协作命题供题方式是以提供纸质试卷的形式，试卷要流经多省份、经命制传输保管等多重环节，失密泄密风险点较多。而基于题库系统的区域协作命题，通过合理分工，分散征集试题，构建一个海量的题库系统，由于题库体量庞大，即使把题目公开，学生能将题目全部掌握，也足以达到标准参照性考试的考核要求；且各协作方只需在考试前根据本省的具体情况设置参数模板，再自行组卷供本省考试使用，试卷的安全保密防控压力相对较小。
5.由于各省级考试机构在命题流程、命题模式上都有很大的相似性，实行基于题库的区域协作命题模式，能够集中优势资源，建设通用兼容的题库系统，实现题库资源共享，为各省节约单独建库所需的大量的人力、物力及时间成本，解决各省独自开展题库建设投入高、利用率低等问题,试题库资源能被充分使用,发挥最大的功效。
（四）基于题库系统区域协作命题模式研究探索
1.积极推进有协作意向及需求的省级考试机构，将专业设置体系相近的课程进行协作命题模式探索。协作省市间要达成一致意见，完成教材及大纲的统一并保持相对稳定。协商制定命题资源题库建设标准规范、题库共享机制、安全保密管理、费用结算等区域协作命题制度管理办法，科学合理的做好协作命题模式顶层制度设计。
2.集中力量，开发关键技术，确定题库系统的理论模型。项目反应理论（irt）具有参数不变性等优点，基于irt建成的题库系统可以进行试题的扩充，能对题库进行动态维护，具有更大的优势性。建设基于irt的题库系统成本相对较高，但在区域协作的框架下各协作方可以摊薄建库成本，可行性较强。在此基础上进行“共享题库”系统功能模块设计、数据库设计、安全性设计等，各省根据各省实际情况，也可以在现有题库系统的基础上进行升级改造，构建兼容互通的区域协作命题题库系统。
3.对于基于题库系统的协作命题模式来说，题库建设是最基础、也是最关键的工作。各协作方要依据制定的题库标准规范及协作命题的制度办法，整合各方试题资源，分工合作、优势互补，共同完成题库初期建设工作。一方面各省在实际命题工作中积累了大量的历史真题数据，可以充分利用历史数据进行加工改造形成新题，也可以利用历史数据建立多个试题库作为查重库，避免不合格的试题入库。另一方面广泛征集试题，自学考试作为标准参照考试，在题库建设上要求试题数量必须足够多、内容科学、结构比例合理、覆盖面要大；由于自学考试命题依据“一纲一本”，建设题库可以将大纲、教材要求考核的内容全部涵盖其中，共同构建一个足量、科学、易扩充的题库。
图1 区域协作命题题库系统结构图
4.题库管理一个动态的质量控制过程，各协作方根据考试功能的具体要求、题库使用状况等要不断进行动态维护和更新，确保题库科学合理的库容量。对各协作方使用的试题要进行组卷锁题，对使用过的试题设定一定时长的封闭期，封闭期过后重新进入题库中，实现题库内循环，经济效益好。同时要根据考后情况，生成实测参数数据与预估参数数据对比及时进行数据回填，调整修正试题参数，保证试题参数指标更加准确，提高命题的精准度。
5.题库系统建设要求高安全性、高可靠性，一方面在整体设计中要严格遵循相关的保密法规，采取成熟可靠的技术和体系结构，采用完善的备份方式和灾难恢复方案，保障系统安全性和灾难恢复能力；另一方面要搭建各协助方“共享题库”专网，构建安全稳定的网络结构，确保协作方数据传输的安全可靠。
三、成果与影响
在课题近三年的研究过程中，课题组深入学习了在题库建设、命题技术等方面国内外先进理论与成果；多次开展外省课题调研活动，形成内容详实、科学合理的数篇调研报告；积极推动了山东省自学考试命题工作平台建设，在认真总结平台建设实践经验的基础上，结婚理论研究，在《山东教育》2021年1、2期合订版上发表《标准参照考试题库系统建设研究及其实践》、在《甘肃教育》2021第6期上发表《基于题库系统的自学考试区域协作命题研究》2篇研究论文，着力研究建立基于题库系统的区域协作命题模式，打破传统命题方式的限制，整合命题资源、节约建设成本，将题库资源发挥最大功效，使教育考试更加专业化、规范化、信息化，适应我国教育考试制度改革的需要。同时在山东省自学考试命题工作中开展了题库系统建设的初步探索与实践经验，为推动国家教育考试中其他的标准参照考试题库建设以及常模参照考试题库建设提供有效参考与借鉴。
（二）实际应用成果：建设了山东省自学考试命题工作平台
山东省作为教育部考试中心任命的高等教育自学考试济南命题中心承担14门自学考试全国统考课程命题任务需要向全国各省提供考试用卷，同时承担近300门全省统考课程命题任务，命题工作量大、参与人员多、各类信息资料不便于管理。在本课题的研究过程中，始终坚持理论研究与工作实践相结合，将理论研究成果转换成实际应用效果。通过积极向领导汇报争取，完成了山东省自学考试命题工作平台的招标及初步建设工作，通过信息技术手段对命题工作各环节进行梳理抽象，整合建设命题信息化工作平台，实现命题工作无纸化、信息化，有效避免命题过程中低级错误及人为失误，提高命题质量于效率，也为开展区域协作命题工作提供重要的技术支撑。
根据当前命题业务工作的实际需要，并考虑工作的长远发展，山东省自学考试提平台研发设计包含了用户管理模块、命题工作管理模块、审题工作管理模块、试题库管理模块、试卷库管理模块、命题资源管理模块、数据统计分析模块共七大功能模块，能够实现无纸化命题、审题、自动组卷、排版、查重、抽题、打印、试卷质量评价等覆盖命题工作各环节的功能。平台建设坚持“安全性、易用性、先进性、标准化、可扩展”的高标准要求。鉴于命题工作的特殊性，在整体设计中要严格遵循相关的保密法规，采取成熟可靠的技术和体系结构，采用完善的备份方式和灾难恢复方案，保障系统安全性和灾难恢复能力；系统具备操作日志功能，自动记录关键操作及维护性操作，确保各类命题工作数据高安全性、高可靠性。同时，为了满足基于题库系统的区域命题模式需要，在可扩展、标准化方面重点要求在技术架构开放性强，采用开放性的技术架构、国际通用的标准化网络协议与规范以及国内外标准的硬件、软件、接口和协议，提供开放的接口，易于进行集成与整合，对于考试机构现有的业务系统、较早开发的信息系统及其他省份相似功能命题信息系统，系统提供接口方法，为其开发数据接口以实现数据的共享传输，也可灵活的进行系统升级，保证系统的兼容性、灵活性和可拓展性，为开展基于题库系统的区域协作命题工作提供有力的技术支撑以及技术保障。
四、改进与完善
（一）题库建设能够切实维护考试安全，确保命题质量达到稳定的测试目标，使教育考试走向专业化、规范化、信息化，适应当前我国教育考试制度改革的需要。由于命题工作的特殊性，题库系统建设要求高安全性、高可靠性，一方面在整体设计中要严格遵循相关的保密法规，采取成熟可靠的技术和体系结构，采用完善的备份方式和灾难恢复方案，保障系统安全性和灾难恢复能力；另一方面基于题库系统的区域命题模式，涉及跨省际间数据传输，要搭建各协助方“共享题库”专网，构建安全稳定的网络结构，确保协作方数据传输的安全可靠。
（二）当前，我国教育考试从考试内容到考试形式都面临着巨大变革，如何充分利用现代化技术手段高效便捷的为我国的教育考试工作服务，成为考试工作面临的一项重要课题。题库系统安全保密性更高、命题方式更加经济便捷，是今后命题工作发展的必然趋势。基于题库系统的自学考试区域协作命题模式下具有巨大优势，各省考试机构要积极协调考务、命题等部门，达成一致共识，制定统一标准规范及协作机制，共同打造区域协作命题资源“共享题库”，建设兼容互通的题库系统，全面提升各省级考试机构命题质量与效率，推动自学考试事业更加健康有序发展。
五、成果统计一览表（见下页）
课题组成果统计一览表
1.“成果形式”请注明为论文、编著、专著或教材
2.“获奖情况”请填写政府颁发的、厅局级以上的奖励，奖项名称应与课题名称对应。
3.“决策采纳”指被厅局级以上党政领导机关完整采纳吸收，并附有基本材料和相关证明。