基于 BP 算法的士兵职业技能鉴定系统试题优化研究
摘要:现阶段对士兵进行职业技能鉴定时,系统所使用的试题的难易度先前已由人为给定,并未因考评结果而动态调整,这势必会导致试题难度系数参差不齐,从而影响科学组卷和鉴定结果。文章在分析传统经典测量理论的基础上,从 BP神经网络算法的角度出发,充分利用鉴定结果和不同等级的题目答对率来判断该试题的难易度合理性,通过逆向传播动态调整各等级的影响因子,实现动态调整试题的难易度。实验结果表明,BP 神经网络算法在试题难易度动态调整方面有很大的优势,同时也保证了系统的科学合理性。
关键词:士兵职业技能鉴定系统;试题难易度;BP 算法;动态调整中图分类号:TP309.7 文献标识码:A 文章编号:1673-1131(2015)10-0037-03.
当前,随着各国军备竞赛的大力发展,装甲装备保障[1]已成为现代战争中的重要环节,作为装备保障力量主体的士兵,对他们职业技能进行鉴定和考核,不仅仅关乎个人技能的认证,更是装备保障是否到位的核心,甚至在一定程度上对于战争的胜负起到作用。士兵职业技能鉴定系统的开发和运用,正是为士兵职业技能认证做铺垫的,作为系统核心环节,试卷生成是否科学合理,将直接影响鉴定结果。
1 士兵职业技能鉴定试题库现状
现阶段,全军装甲装备专业士兵普遍采用职业技能鉴定 系统来进行专业等级认证,该系统设计之初并未考虑试题库的优化问题,试题的难易度[2]由出题人事先给定,且不再更改,也不能随鉴定结果而动态调整,这势必会导致随机生成的试题整体难易度偏离预期目标,使鉴定结果误差较大,不能做到完全的公平公正,致使士兵职业技能鉴定系统的维护和可靠性引起人们的质疑。该系统试题库存在的不足包括:
(1)出题人事先给定试题难易度,主观性太强,依据经验法必然存在偏差;(2)难度系数不能满足不同专业不同等级人群,缺乏普遍性; (3)人为给出的试题难度系数精确性太低,试卷的公平公正性过低。
基于上述原因,本文提出基于 BP 神经网络算法,充分利用鉴定结果反馈的信息和不同等级通过率来实现对试题难易度进行动态调整,从而避免人为因素参与,使试题库更加科学、合理。
2 传统经典测试理论
传统经典测试理论[3(] Classical Test Theory,CTT),也叫真分数理论,它的产生是建立在测量误差服从正态分布的思想之上的,其模型 S=R+r 的核心思想是把测验得分 S 看作是真分数 R 和误差分数 r 的线性组合。将经典测试理论应用于士兵职业技能鉴定试题的难易度判定上,主要取决于士兵参加考核后的得分率,这也符合人们日常的思维模式,考核成绩越高,得分率越高,说明试题的难度系数越小。CTT 有一套完整的测验分析指标体系和评价标准,主要从单个试题和整个卷面进行分析,这里着重分析单个试题的难易度和区分度。
2.1 试题难易度
在经典测试理论中,试题难易度是通过计算测验群体在某试题的失分率来获得。对于以“对或错”为评分标准的客观题和酌情评分的主观题,难度P的计算方法略有不同,如下式(1):
(1)
其中,N 为测验群体总人数,R 为答对客观试题的人数;S表示某试题的分值。由计算公式不难看出,试题难度 P∈[0,1],且 P 值越大,试题难度越大,P 值越小,试题难度越低。
2.2 试题区分度
试题区分度[4]是评价试题的另一个重要指标,它主要用于试题对不同能力水平的测验对象的鉴别程度。试题区分度通常采用高低端分组法计算,按成绩从高到低的顺序排列,前50%的考生为高分组,后 50%为低分组,其计算公式如式(2):
D=2(XH-XL)/W (2)
其中,D 为试题区分度,XH 为高分组平均分,XL 为低分组平均分,W 为试卷总分。
一般而言,试题区分度 D∈[-1,1] ,值越大表明试题的区分度越大,相反试题区分度过低不能很好地判断测验对象的能力水平,甚至会影响鉴定结果。通常试题的区分度 D≥0.4 ,表明该题的度分度很好,0.39≥D≥0.3 的试题区分度较好,0.29≥D≥0.2 的试题不太好修改,D<0.2 的试题应淘汰。
2.3 经典测试理论算法流程图
2.4 经典测试理论的缺陷
(1)缺乏灵活性。经典测试理论所得的难度系数主要取决于考核的得分率,得分率高,难度系数就低,得分率低,难度系数就高,这样便存在一个问题就是难度系数将与测试者有关,测试者的能力高低不同,所得的难度系数也不同。
(2)测试周期长。该算法所得试题难度系数没有精确的定位,只是根据参加测试人员数量控制,难度系数调整不知道什么时候到头,也无法验证难度系数的可靠性。
3 模糊 BP 神经网络算法
3.1 BP 神经网络原理与算法
BP 神经网络[5]是一种模拟生物神经系统按误差逆向传播算法训练的多层前馈网络,由于其具有简单,高度自主并行处理,自适应能力比较强等优点而得到广泛应用。BP 神经网络使用最速下降法,通过存储的大量输入输出模式关系,反向传播来不断调整网络的权值和阈值,使整个网络的误差平方和最小。其简单的网络拓扑结构包括输入出,隐层和输出层,示意图如图 2 所示:
图 2 基本 BP 神经网络拓扑结构
其算法流程[6]如下:
(1)网络初始化。给各连接权值赋予一个(-1,1)之间的随机数,设定误差函数e,给定就是精度值和最大学习次数 N,设定一个较小的随机数偏置;(2)随机选取第 K 个样本及其对应的期望输出;(3)计算隐层的输入和输出,把隐层的输出作为输出层的输入再次计算输出层的值;(4)判断实际输出与期望输出之间的偏差是否在阈值允许范围内或是达到最大学习次数,若满足则跳到第(7)步退出,否则进入下一轮学习过程,计算误差函数对输出层各神经元的偏导数;(5)利用隐层各神经元的权值和输入层各神经元的输入修正权值;(6)利用新修正的权值再次计算全局误差,回到第(4)步;(7)退出循环。
3.2 BP 算法在试题难易度动态调整中的应用
3.2.1 模糊化试题难度
在士兵职业技能鉴定系统中,其试题的难易度分为三个等级:非常难、难、中等、易、非常易,现将其模糊化如下表 1 所示,鉴于考虑大多数人群,需要控制试题难度,一般取 0.2-0.8之间,难度过高,所有人失分,难度过低,所有人都答对,区分度太小,意义不大。
3.2.2 网络拓扑结构建立
根据《中国人民解放军现役士兵职业技能鉴定规定》指出,士兵技能划分为初级技能(五级)、中级技能(四级)、高级技能(三级)、技师(二级)、高级技师(一级)5 个等级。因此在建立神经网络拓扑结构的时候选择的输入层数为 5,这里采用输入层数 1来确定隐层的层数,因此可确定隐层为 2 层,输出层采用单一输出结果,因此可建立士兵职业技能鉴定的 BP神经网络拓扑结构如下图 3 所示: 其中 为输入向量,其各权重为试题在不同等级考核过程中出现的概率,输入层到输出层的权值分别为各等级考核中试题的答对率和答错率。隐层的输出向量为 ,由于士兵职业技能鉴定系统中不存在主观题,试题考核结果只有答对或是答错两种可能,所以隐层到输出层的权值满足归一化原则,且试题答对与答错对结果的影响程度相同,都为 0.5,即3.2.3 各层信息之间的数学关系(1)信息正向传播过程。
对于输出层,其关系如下:
对于隐层,其关系如式下:
在上边两式中,激活函数一般选单极性的函数,即(5)(2)误差反向传播过程。
计算误差平方和,,由于只有一个输出结果,所以简化后的误差计算公式如下:
其中,O 为试题的实际输出,T 为试题的理论期望输出。
将误差与给定的阈值比较,若小于阈值则退出,否则反向修正权值: 其中,W(t)为第 t 次训练时权重的修正, 为比例系数,为动量系数。
根据上面的步骤,反复迭代,直到网络拓扑结构的实际输出值在误差允许的范围。
4 实例测试
现就士兵职业技能鉴定系统中的XX题为例,根据多次考核结果统计所得试题信息,验证其难度系数动态调整过程及效果。
该试题难度为难,在一、二、三、四、五等级的试卷中出现的概率分别为 0.4,0.3,0.2,0.1,0,设定误差最大阈值为 0.003。
编写程序计算其误差和难度系数,其迭代次数与误差对应的关系表如下表 2 所示:
表 2 BP 算法迭代次数与误差对应表
由上表可以看出,随着迭代次数的不断增加,误差越来越小,最后趋于稳定,试题的难度系数也稳定在 0.61 附近,并且在(0.56,0.68]这个难度系数范围内,运用 BP 神经网络算法进行试题难易度动态调整方案可行,效果显著。
5 结语
文章分析了现存士兵职业技能鉴定系统试题库存在的不足之处后,提出了试题难易系数动态调整策略,在分析经典测试理论的缺陷后,提出将BP神经网络算法运用到试题难度系数的调整上来,并建立了适用于该系统的网络拓扑结构模型。
实验结果表明,采用BP神经网络算法在士兵职业技能鉴定系统试题难度的动态调整上效果明显,试题难度进一步精确,这对于考核系统试卷生成有很大帮助,系统的科学性、合理性得到了进一步提升。
参考文献:
[1] 军队装甲装备保障专业士兵职业技能鉴定指导中心.军队装甲装备保障专业士兵职业技能鉴定法规制度汇编[S].国防工业出版社,2012[2] 刘文,刘艳伟,刘秋梅.关于试题难度系数调整算法和组卷算法的研究[J].燕山大学报,2007(5),31.
[3] 孙甲霞,李学勇.试题难度系数的算法与设计[J].基础及前沿研究,2009(19).
[4] 王梅.基于样本分析的试题难度系数修正算法.西安邮电学院学报,2010(11),6,15.
[5] 贾丽会,张修如. BP 算法分析与改进[J].计算机技术与发展, 2006(10)10,16.
[6] 吴立锋,吴经龙. BP 算法学习率自适应性研究[J].大众科技,2011(12).
[7] 杨甲沛,李锵,刘郑,袁晓琳.基于自适应学习速率的改进型BP 算法研究[J].计算机工程与应用,2009(45).