4.预测和修改测验:第一,抽取学生样组试测,请教师试评,修改测验;用同样的方法再测评。第二,计算前后成绩的相关系数,据此修正测验时间、测验要求等,提高客观性与有效性。
5.正式测验:随机抽取1000名被试,包括多个年级的学生参加测验。
此数无统一规定,但与量表等级多少、所跨年级范围有关。量表等级越多,跨年级越大,那么受测学生就越多。
6.将各年级的全部作文依照水平高低分为A(最差)、B、C、D……、J(最优)十组。
7.把A、B、C……、J每组再按水平高低分为a(最差)、b、c、d、e(最优)五组(计50组)。
8.对上述50组的作文,按水平高低,在各小组内排列次序。
9.调整不当的排列。
10.据各篇作文的等级次序记分,每组中最优者为20分,次之19分……依次类推,登记在记录表内。
(以上6至10各步骤,至少请三位评分者独立做。)
11.求出各评分者给每篇作文分数的总平均,再将作文排列顺序。
12.求出作文成绩的次数分布和累积次数分布表。
13.按照百分等级与T分数对照表所列出的百分等级,抽选出与这些百分等级相应的7篇作文。
14.以7篇作文为依据,把各篇作文前后5篇作文抽取出来构成7组作文,每组11篇。
15.请多位有作文鉴别力的评分者独立评定7组中每组作文的成绩。
每组作文中最劣者得1分,次劣者得2分……,最优者得11分。各组皆然。
16.计算每篇作文的平均得分。
17.抽取各组居中的作文,并注明它的T分数。这样,7篇作文及其相应的T分数,即构成写作参照评定量表。
18.试评与质量分析。以上是编制写作参照量表的程序,但并不是所有依此程序编制的量表都能完全评出学生作文水平高低。它还受测验题目、主持者以及评分者的知识能力等多方面因素的影响。因此,在量表正式定型前,必须选取几十篇作文请各类不同的教师试评,检验量表的效度和信度(特别是评分的一致程度)。结果证明可行,才可推广使用。
(三)分项测评量表的编制
分项测评量表包括两类:第一,分项测验量表(即客观测验和多段短文测验);第二,分项评定量表。分项测评量表的编制一般要经历十个步骤。
测评项目中加权数是如何确定的?加权就是依据各项目的相对重要程度,分别给予不同的权数。加权有多种形式,写作测评项目宜采用百分比系数的自重权数,即把权数作为项目的分值(占分),而且各项权数之和为100分。权数体现了各项目之间的结构,合理地突出重点,全面权衡差异,使评分具有可比性和客观性。
确定作文项目加权的方法主要有以下几种:
1.特尔斐法(Delphi Technique)
首先由美国赫尔默提出,预测来来的直观方法。目前已在教育测评领域得到广泛的运用,成了较受人们欢迎的确定权数的方法。具体步骤为:
(1)第一轮,请10-15位富有十年以上作文教学经验的语文教师或写作研究专家各自提出写作测评应包括的项目。
(2)主持者概括出比较重要的一些项目,再呈现给上述人员,并计算出每一项目的系数和平均估计值的偏差。
(3)把第一轮表格中被调查者回答问题的情况反馈给被调查者本人。
并让提出项目偏差最大的几个专家进一步讨论,作出新的估计。这样反复多轮,最后得出比较一致的意见。
特尔斐法的优点在于参加咨询的人员不受权威的影响,整个过程意见的收敛性保证了参加者能够取得一致的观点,从而使加权能反映大多数人的思想。缺点是研究周期长,且要动员一定数量的专家参加。
2.层次分析法
层次分析法是管理学上的一种多目标多准则的决策方法。美国的斯塔(T.L.Saity)首先引入教育评价领域以解决权数问题。这种方法首先把评价对象分解成不同项目,然后采用两两比较的步骤,找出这系列可供选择的项目相对重要性程度的顺序。写成矩阵的形式(称倒数矩数),从中推得一个校系数向量(反映各个项目的相对重要性程度)。同时,请专家对项目的加权作审定,把专家的经验认识与理性分析综合起来。
3.因素分析法
把分数的因素综合简化为少量的几个公因素,然后通过各公因素在总变异中所占的比值以及各变量的共同性(h)来确定权数。这种方法可以通过软件对大量的数据作出处理,所得结果比较精确,可以在一定程度上克服主观随意性。
(四)写作评定标准体系的编制
写作评定标准体系,就是评定学生作文的准则的具体规定。它由两部分组成:第一,对各种程度写作的质量或特征的描述。这种描述对某篇作文而言相当于“评语”,即狭义的标准。第二,作出标号,即各种水平作文的标记符号,如A、B、C、D、E或1、2、3、4、5,或直接记分。
评定标准体系的制定与项目及权数确定紧密相连,有几个子项目,就要确定几个子项目的标准。如果学生的学习结果已用动态的行为术语描述,则要将叙述方式改变为静态的名词和形容词(术语),使之符合评定量表格式。有时评分标准中的项目,直接用提问式来表示。
评定标准第一级要列出最好作文的特征,最低一级则列出最差作文的特征,然后再在两类之间划定等级。由于分项评定一篇作文要给定若干成绩,为易于推广使用,各项目等级,一般以3级(5级为宜。其次,为避免奇数等级(如分数为3或5等)可能出现评定趋中的倾向,可考虑采用偶数评级法(如4级)。
标准体系的编制,要遵循编制测评项目的基本要求,概念一致,层次递进,通俗易懂。各项目的评定标准要统一,共同构成相互协调的体系。
写作评定标准的显示,一般可采用下列方式:
1.描述式
用文字描述作文各个项目的不同等级的特征,指明符合什么特征给多少分(或等级),或者扣几分。写作评阅时,可以从这几个项目中,选择与被评者作文品质相符的等级打“√”或记下分数。
2.数字式
对作文评定标准不作具体描述,只在标准前端写上数目,并说明每个数目所代表的意义,或者只说明最大数表示“最好”,最小数表示“最差”,其余代表中间的各层次。评分时,评阅者针对每位学生的作文,在每一项目前,画上适当的数字符号。
3.图示式
每个项目后划一条横线,并在上面划几根短纵线,横线上各交叉点都标注适当的形容词或短语,代表不同水平的作文特征。评分时,评定者依照作文水平,在线内适当的点上划个“√”或记下分数。
4.描述图表式
与图示式相似,区别在于对应地用描述性的评语在表示等级的交叉点或相邻两点的“区段”上标志不同作文等级的特征。这种形式综合了“描述式”的具体详尽,不易导致误解,又有“图表式”的形象简明的优点。
5.检核表式
列出各种好的或差的写作特征。评分时,在全部项目中找出与学生作文相符合的项目,用“√”号标记。然后根据各个项目所赋的分值,求平均数或总和,作为最后分数。这种标准特别适用于是否优异或合格的评定。
上面这些编制方法,要根据实际需要,斟酌选择使用。
六、写作测评量表的使用
我们以朱作仁编制的《小学生命题作文测验》为例,来说明写作测评量表的使用。