真实性评价设计要素分析

[摘 要]真实性评价的设计是一个多因素的复杂的任务。设计过程中，必须考虑评价任务、自然情境、社会环境、评价结果和规范与标准这五大要素。在真实性评价的设计过程中，需要思考以下问题：真实性评价的有效性、受试者教育水平和真实性感知的个体差异。
　　[关键词]教学；教师；学生；真实性评价 　　
　　标准化测试的评价方式有其不可否认的优点，如教师能在教学后以最快、最简捷和最客观的方式了解学生的学习成果，评定学生的学习等级等。然而，标准化测试也具有许多无法克服的缺点，例如：太过于强调记忆或背诵式的学习，忽略了理解与反思的重要性；误导人们以为“每个问题都只有一个正确的答案”，使学生只是被动的辨认答案而非主动的建构解决方式；测试结果无法真实地反映出学生知识和技能发展的脉络等。在诠释标准化测试的结果上，教师往往难以清楚认识自己在标准化测试中所扮演的角色，教师重视“什么是较容易测试的东西”更甚于“什么东西对学生来说是重要的”；而且在测试的成绩单上，并未呈现出任何有关学生确实能够做到或完成的工作，即使学生能够通过所有课程的考试，也不能表明他们真的已掌握了课程中所涉及到的知识技能。这些都是标准化测试遭遇到的问题。那么，是否有适用于检测和评价学生运用知识能力水平需要的评价方式呢?20世纪90年代出现的真实性评价恰恰是适应这一需要提出的。
　　
　　一、真实性评价的内涵与外延
　　
　　所谓“真实性评价”是能够通过适当的设计，通过多元的评价方式，确实地评价出学习者真正能力的测试理念与方法。其目的在于能确切了解学习者实际具备某种能力的程度，以作为教育改进的依据。
　　对于什么是真实性，不同的研究者有不同的观点。Savery等认为评价的真实性是指评价的认知要求与标准状态的认知要求之间的相似性。所谓标准状态是对现实生活状况的反映或模拟，使受试学生面对的是他们将来的实习或职业生涯。而Dar-ling-Hammon等则认为只考虑认知要求太狭隘。他们认为学生的能力发展更为重要，因为现实生活中需要那种整合和协调知识、技能和态度的能力以及在一个新环境下应用它们的能力。也有学者进一步强调能力的重要性，认为学生不仅需要发展如解决问题和批评性思维等认知能力，也需要发展认知后能力。
　　然而，真实性是主观的而且依赖于感知，这意味着学生感知的真实性不一定与教师和评价设计者感知的真实性相同。如果确实存在这种感知的不同，那么教师根据自己的观点全力设计的真实性评价就不能被学生认同，那么这种评价就毫无意义。关于真实性评价及其合理性与可行性的研究表明：第一，根据构建一致性理论，真实性评价应该与真实性教学相一致，这样才能对学生的学习产生正面影响；第二，真实性评价要求学生通过有意义和有价值的成绩证明自己相关的能力；第三，真实性是主观的，因此学生对真实性的感知在真实性评价影响学生的学习过程中是非常重要的。图1说明了真实性评价在教育实践中位置及与其它因素的关系。
　　真实性评价的有效性应该考虑的两个重要方面，即评价内容的有效性和评价对学生学习的影响。评价内容的有效性与一个评价是否测量了它应该测量的内容相关。对于能力评价而言这意味着：第一，评价任务必须正确地反映需要评价的能力；第二，评价的内容应代表所评价知识领域的真实生活问题；第三，真实生活中专业人员用来解决问题的思维过程应包括在评价任务中。后续效应指的是评价对教学和学生学习有意或无意的影响。Biggs。构建一致性理论强调有效的教学要求指导、学习和评价是相容的。如果学生发现教学与评价的信息不一致，评价产生正面的影响是不可能的。考试应该对所教的内容有很强的影响，因为教师教的目的是考试，即使考试注重的内容教师认为并不重要。Cibbs强调学生学习在很大程度上依赖于评价和学生对评价要求的感知。Sambell则坚持教学和评价对学习的影响主要基于教师和学生对教学计划的感知，这种感知可能偏离了教学计划的实际目的。所有这些观念都支持这种主张，即学习和评价是一个事情的两个方面，而且两者强烈的相互影响。
　　
　　二、真实性评价设计的五大要素
　　
　　通过对真实陸评价理论和实践的分析，本文提出了真实性评价设计的五大要素。
　　
　　(一)评价任务
　　一个真实的任务是一个学生将在职业实践中面临的活动所形成的问题。毋庸置疑，真实任务在真实性评价中是关键因素。但不同研究者强调真实任务的不同方面。本文定义真实性任务为相似于现实的，与知识、技能和态度及其复杂性和支配权整合的任务。
　　真实性评价要求学生像专业人员那样整合知识、技能和态度。因而，评价任务应该与现实任务的复杂度相似。尽管某些现实问题有可能是简单的，只涉及一个学科并只有一个正确答案，但大多数真实性问题是复杂的，涉及多学科的，并且可能有多项答案。评价任务的支配权和形成答案过程的支配权也应该是相似的。学生在评价任务中的支配权应该相似于专业人员在现实任务中的支配权。给予学生评价任务和形成答案过程的支配权是促使学生从事真实性学习和培养解决问题能力的关键。然而，在现实中，工作常常是由雇主分配的，专业人员常常是用标准的工具和过程解决问题，这会减少雇主的支配权。所以，为了使学生在处理专业问题上具有竞争力，评价任务应该与标准状态的复杂性和支配权水平相似。

　　可见，任务真实性似乎是相当客观的，但是，这一客观性有时也是模糊的。例如，学生能看到评价任务与他们个人爱好之间的联系时，他们就会认为该任务是有意义的。很显然；不同的学生对任务的相关性或含义的感知是不同的，这种感知也会随着学生经历的改变而改变。　(二)自然情境
　　真实性评价的自然情境应该反映知识、技能和态度将在职业实践中运用的方式。保真度经常被用于计算机模拟情境中，用来描述模拟与现实的相似程度。真实性评价处理的常常是高保真情境。素材的介绍和情境中给出的细节的量是保真程度的重要方面。同样，自然情境真实性的一个重要因素是那些含有相关或不相关信息的可利用资源的数量和种类，它们应该与标准状态可用资源相似。提供真实的自然情境的另一个关键点是给予学生实现评价任务的时间。考试常常是严格控制在一定时间内的，如两个小时。在现实中，职业活动常常是散布在数天内的更长的时间中，或者反过来，在很短的时间内要求快速的反应和动作。一个真实性评价不应该依赖不实际的、武断的时间限制。总之，自然情境的真实性水平由其与真实环境中这些因素的相似性来限定。
　
　　(三)社会环境
　　不仅是自然环境，社会环境也会影响评价的真实性。现实生活中，合作是一个普遍的现象。有研究者强调，学生在校外的学习和表现主要发生在社会系统中，因此，真实性评价的模式应该考虑现实生活环境中出现的社会过程。在真实性评价中真正重要的是评价中的社会过程与现实中相应情况下的社会过程的相似性。如果现时情况要求合作，评价也应该包括合作；但如果现实情况是个体行为，评价也应是个体性的。当评价要求合作，那么评价设计就应该考虑如社会互动、积极的相互依存、个人的责任性等过程。然而，当评价是个体性的，社会环境应该是激励某种学习者之间的竞争。
　　
　　(四)评价结果
　　评价包含有评价作业，作业的完成会形成结果，然后依据某种标准形成评价。评价结果与完成的评价任务种类和数量相关而与评价本身无关。在评价中，真实性结果由四个因素决定：第一，结果应该是一个有质量的产品或表现，学生在现实生活中也能做到；第二，这种产品或表现应该是一种证明，用其能对受试者潜在能力作出有效推断；第三，由于在一个单一测试中证明相关能力常常是困难的，真实性评价应该包含一系列任务和学习的多项指标以便得出合理的结论。实践中，常常是数种评价方法结合使用；第四，学生应该将他们的工作以口头或书面方式报告给其他人，因为通过答辩可以证明他们的表现是真实的。
　　
　　(五)规范与标准
　　规范是评价结果的可确定价值的特性。标准是期望的不同年级和年龄学生表现的水平。在真实性评价中，确定规范并事先明确告知学习者是非常重要的。因为这会指导学习过程。另外，在现实生活中，雇员通常都知道他们的表现将会以什么样的规范来评判，这意味着真实性评价要求规范依据评判。而且，规范和标准应该涉及相关职业能力的发展，也应该以现实生活中运用的规范为基础。
　　除了基于现实生活中的规范外，真实性评价的规范也应以其他四个要素的要求为基础。例如：如果自然环境要求一种能力的真实性评价在五个小时完成，那么该评价的规范就应该是学生要在五个小时内提交结果。另外，以职业实践为基础的规范也能指导真实性评价中其他四个要素的诉求。换言之，评价中规范与标准要素与其他四个要素之间应该是一个交互关系。
　　
　　三、设计与实施真实性评价需要思考的问题
　　
　　当一名教师或教学设计者试图设计真实性评价时，这些要素意味着什么?设计者应该重点考虑的问题是什么呢?
　　首先应考虑的是评价预测的有效性。我们的教育目标是培养有竞争力的学生，因此，评价的真实性的提高将是有价值的。评价与职业实践的相似性越高，评价的真实性就越高，进而评价预测的有效性就越高。
　　在设计真实性评价时，另一个需要考虑的是学习者的教育水平，低水平的学习者可能不能应付实际的、复杂的、职业状态下的真实性问题。如果被迫去做，就可能导致认知的超负荷，进而对其学习过程产生负面影响。因此，标准状态应该是真实职业实践的抽象或模拟，以使其对某一教育水平的学生来说是可以达到的。怎样为那些还没有准备好开始职业生涯的学生设计真实陸评价呢?答案是评价的真实性应该由其与标准状态的相似程度来限定，而不一定是真实的职业实践。一个真正职业实践的抽象(如标准状态)或模拟仍是真实的，只要在这种抽象状态下，学生必须施展全部能力才能完成评价任务。
　　第三个需要考虑的问题是真实性的主观性。真实性的感知可能随着教育水平、个人兴趣、年龄或职业实践的量而改变。这意味着真实性评价的五个要素并不是绝对的，而是可变的。当学生在学习的最后一年，已经参加过实习，对职业实践已经有了很好的想法，这时对他们的职业能力进行评价是可能的。而对于没有实践经验的一年级学生而言，他们要求更高的自然环境的真实性。当设计真实性评价时，设计者必须考虑学生观点的变化。

　　真实性评价结果的效度、信度与可比较性一直受到质疑。但由于真实性评价所强调的是学生的个体差异，在相同的评价中不同的学生会有不同程度的表现，因而学生之间不容易建立一个比较的标准；但从另一个角度来看，真实性评价的重点不在于建立一个普遍的标准以评定学生的等级，其所强调的是了解学生在学习过程中的表现，因此，评价的结果是否具有可比较性则相对的不重要了。至于信度与效度的问题，则可通过采用多种评价方式评定学生的某项学习成果的途径来解决，以便更加逼近学生真实的学习成绩。