现代教育技术培训：对学习者评价

etthink

2009-7-21 20:28

小案例： 刘老师刚刚教完了《项羽本纪》，希望能通过教学提高学生古文学修养，培养他们对历史的兴趣，同时也希望他们对历史事件有自己的见解。如何使用评价这个教学手段促进学生达到教学目标，同时又得到相关反馈信息呢？   
刘老师要求学生课后阅读《项羽本纪》，从网上收集相关资料并撰写一篇读后感，这个作业的成绩将作为学期总成绩的一个部分。在一周后的一节课上，刘老师安排作业优秀的学生介绍自己的作业。
  我们经常用客观测验来评价学生的学业成绩（比如考试、测验）。但是在测量复杂认知过程，评价态度和情感等方面仍然存在较大缺陷。随着新的评价理念日益深入人心，表现性评价和学生成长记录袋等新的方式涌现出来，较好的弥补了传统考试方法的局限。在上面这个案例中，刘老师设计了表现性的任务，要求学生表达自己的想法和见解，对于培养学生的兴趣、提高修养具有积极的促进作用。
  制定针对学习者的评价方案是教学设计的重要一环。评价方案本身就是教学设计中一个重要组成部分。它对于准确了解教学效果，及时获得教学反馈，以便于进一步改进教学来说至关重要。
一般的评价过程为：(请点击查看)

一、客观测验  

本部分主要从考试的质量标准、试题的质量标准、试题编写原则三个角度对客观测验进行介绍。
      
1.考试的质量标准
      （1）  效度：指考试对教学目标测量的有效性程度
       （2）  信度：指测量的可靠性，它反映考试分数可准确重复的程度。

   
我们举一个打靶的例子来说明效度和信度。如果打靶的时候能击中靶子，我们说这次打靶是有效的；如果打靶时能够重复击中靶子，我们说打靶的水平是可信的。对于考试来说，如果试题反映了需要考查的内容，没有偏离要考查的内容，就保证了试题的效度；如果试题测试的结果能够大致重复，没有很大的偶然性，就说明了试题的信度。

2009-7-21 20:28

小活动                           

               
  试判断出现下列情况时，是测试的信度还是效度出现了问题：
  • 考试分数不能准确反映学生水平。
  • 考试内容偏离了学习目标。
  • 对同一个体使用两套题目不同而内容相近的考题，考分相差很大。
  • 员工在面试测验时表现优异，但在以后实际工作中表现平平。



2.试题的质量标准

  （1） 区分度：区分度是反映试题区分应试者能力水平高低的指标。试题区分度高，可以有效拉开不同水平应试者分数的距离，使高水平者得高分，低水平者得低分，而区分度低则反映不出不同应试者的水平差异。试题的区分度与应试者的水平密切相关，试题难度只有等于或略低于应试者的实际能力，其区分性能才能充分显现出来。

区分度可用以下公式计算：D＝（H－L）÷N
（D代表区分度指数，H代表高分组答对题的人数，比如考试成绩前27%的人；
L代表低分组答对题的人数，比如考试成绩后27%的人；N代表一个组的人数即高分组与低分组人数之和）。
区分度指数越高，试题的区分度就越强。一般认为，区分度指数高于0.3，试题便可以被接受。

小活动：如果一道考题的难度为0.533，而区分度为0.127, 试用日常语言说明该题的难度和区分度。

         
（2） 难度：难度是指应试者解答试题的难易程度，它是衡量测评试题质量的一个重要指标参数，它和区分度共同影响并决定人才测评的鉴别性。

难度一般用以下公式计算：P＝R÷N
（P代表试题的难度指数，R代表试题的答对人数，N代表考生人数）。

难度指数越高，表示试题越容易；难度指数越低，则表示试题越难。
一般认为，试题的难度指数在0.3－0.7之间比较合适。

      一道质量优良的试题应该难度适中。太容易，各个能力层次的考生都能通过，则这道题对于鉴别考生的实际水平没有意义；同理，太难，不管程度高的还是程度低的都不能通过，也对于鉴别考生水平意义不大。




如果一道考题的难度为53.3%  ，而区分度为12.7%, 试用日常语言说明该题的难度和区分度。

3.试卷编写原则
     

试题编写原则

              填空题：主要用于评价认知领域“记忆”层次。
            编写填空题时要明确答案范围，以防止模棱两可，确保只能有一个简单的正确答案。
             配对题：主要用于评价认知领域的“记忆”层次。
            配对题的编写应注意：
                  •  题干和备选答案应是性质相近的一类。
                  •  备选答案在数量上应等于或多于所提问题，某一备选答案可多次被选择，但每一个问题都只能有一个答案。
                  •  应在题示中说明具体配对原则。
                  •  利用图表、图解来编写配对题时，应将它们编号，考生根据要求按图号配对。
            选择题：主要用于评价认知领域的“理解”层次。
            选择题由题干和备选答案两部分组成。题干可以问题的形式提出，也可以不完整的陈述句的方式提出；备选答案由几个迷惑答案和 1 个（单项选择）或者多个（多项选择）正确答案组成。
                  选择题编写要求如下：
                  •  题干应措辞正确，使学生在看到备选答案之前就能清楚地了解试题所提出的问题。提供的备选答案应是内容相近的一组答案，不要因备选答案设计的内容明显不同，而使原来的选择题变为同一前提下的几个是非判断题。
                  •  题干应包括解题所必须的全部条件，备选答案不做条件上的论述；备选答案应相对较短，一组备选答案的长短应尽可能一致。
                  •  题干应简洁明了，只包含阐明问题所需要的条件，不应塞进与问题无关的材料，以免影响考生对题意的理解，降低测验的效度。
                  •  在题干中使用否定结构应谨慎。因为题干采用否定形式，会增加学生的阅读困难，也不利于向教师提供学生掌握了多少知识的正面信息。当然适当地使用否定形式，有益于培养学生的求异思维能力。
                  •  选择题易于测量学生的理解能力，但是必须有一个前提，即只依靠记忆不能回答这些问题。因此在编题时，应利用多种变式把教科书中的概念编进新的背景材料中。
                  •  备选答案中的致误答案应具有迷惑性，使那些半懂半不懂的学生看上去它们似乎都对。所以致误答案在逻辑上，内容上、形式上均应与题干一致。
                  •  应该避免为正确答案提供非故意的暗示。
                  •  使用“以上全对或者全错”做正确的备选答案时，应保证全部备选答案可以毫无疑义地归于正确或错误的一类。
                  •  选择题可以由文字、公式、图表等多种形式组成。
             是非题：主要用于评价学生对一些重要概念和原理的“理解和掌握”。
            是非题通常是一个比较难以辨别对错的陈述和表述，要求学生判断其正确与否。
                  由于是非题凭猜测得分的概率很大，可采用倒扣分的办法来抑制猜题以保证评价的信度。另外，是非题的题意必须全对或全错，不能含糊不清。文句要简单扼要，不可作冗长的叙述。
             计算题：主要用于评价认知领域中的“应用”层次。
            这类试题可以评价学生掌握梳理知识和技能的认知水平、灵活程度等。在命题时需要考虑求简舍繁，注意知识点之间的联系，注意基础与提高的统一。
                         问答题：主要用于评价认知领域高层次学习目标。
          编制问答题要注意控制难度，可把一道题分成几个问题或者几个层次。另外要控制答题自由度，如对答案作出答题范围或者字数限制。
      
思考下面的题目有何问题？

2009-7-21 20:34

配对题思考提示 以下为上述题目中存在的问题：
                •  同质性
                上述题目不是同类问题。甲栏目涵盖的姓名从总统、发明家到人权领袖。如果不是特别的作为一组相关的人物或思想，这对于配对练习而言过于宽泛繁杂。
                •  排列顺序
                  顺序颠倒了：甲栏目和乙栏目应该交换位置。如上面练习题现在的排列，学生阅读一个人名，然后不得不通读许多长长的描写来寻找答案，这是一个更耗时的过程。不妨运用某种顺序，如年表的、数字的或字母顺序的，来安排你的选择项，这样可以节省学生的时间。               
                  •  多项正确答案
                  “20世纪的总统”的陈述有三个毫无疑义的答案：尼克松、福特和罗斯福。另外，对于“福特”选项，是发明T型车的亨利．福特还是杰拉尔德．福特，指代不明。应该要写明姓氏和名字以避免歧义。
                  •  指南不详
                  指南过于简略，配对指南应该具体指出配对的原则：
                  甲栏包含历史事件的简要描述，乙栏是美国总统的姓名。将乙栏姓名的代码填入甲栏前的空格中，使当时发生的历史事件与在职总统配对。
                  修改后的题目如下：
                  •  指南：甲栏描述与美国总统相关的事件，将乙栏姓名的代码填在甲栏前的空格中，使每个事件与相应的总统姓名匹配。每个姓名只许使用一次。
                                                                                                                     

甲栏	乙栏
______1. 唯一不经选举就职的总统                    ______2. 发表《解放宣言》                    ______3. 唯一引咎辞职的总统                    ______4. 唯一任职超过两届的总统                    ______5. 美国的首位总统	•  亚伯拉罕．林肯
•  理查德．尼克松
•  杰拉尔德．福特
•  乔治．华盛顿
•  弗兰克林．罗斯福
•  西奥多．罗斯福
•  托马斯．杰弗逊
•  伍德罗．威尔逊

   再分析以下两个问题：

2009-7-21 20:34

                  
  二、表现性评估 （ Performance Assessment ）   广东天河区华康小学何燕等几位老师开发了关于“市制单位”调查活动的表现性任务。其设计思路是：小学四年级的学生已经在第七册第一单元中认识了十进制的计数方法，但实际生活中还存在着一些非十进制（比如时钟的十二进制，分钟的六十进制，计算机的二进制）的计数方法，从体现数学的现实意义这个角度出发，应该让学生了解一些与日常生活息息相关的非十进制计数法，同时在这个过程中培养学生收集信息和处理信息的能力。于是，在学完第七册第一单元后设计了一个非十进制计数方法调查的任务。
  

小活动     请对该表现性评价的测验目标和表现性任务提出自己的看法；并设想本案例需要制定什么样的评分细则，规定什么样的测验要求？

  表现性评价直接测量教学内容的掌握情况，而不是仅仅说明已经发生的认知的、情感的和心理的过程的指标。教师通过设计表现性任务，对学生的高级思维、情感态度进行评价 。     设计和计划表现性评价的 4 个步骤如下：(请点击查看)                              （注：若上面flash中的---详细规定评分原则一项中的《核查清单》《评分量表》  不能打开，请参阅。）  

小活动     在你的教学实践中，哪些环节可以采用表现性测验？在设计表现性测验的过程中，可以从哪几个角度来设计？

  三、档案袋评价 (Portfolio Assessment)   小案例：吴老师原来一直使用考试的方式来评定学生的学业成绩，但是他发现，考试方式有时候存在一定的偶然性。当他了解了新的档案袋评价方法后，决定在他的几何课上使用档案袋来评价学生，补充单一考试评价的不足。
        

制作档案袋的任务在学期开始就布置下去了。教师要求学生把本学期要求完成的五个综合性数学实践活动任务（例如调查学生阅读习惯、测量大讲堂的面积等）的结果放到档案袋中，形成档案袋评价的材料。
      

学期末，吴老师首先让学生对每件作品进行自我陈述；然后，要求学生使用他提供的评估量表，对档案袋进行互评，并加上对他人作品的评语。互评让学生不仅能得到同伴的反馈，而且还有机会欣赏别人的档案袋作品。
      

使用档案袋评价一段时间后，吴老师认为档案袋评价方法明显提高了学生的教学参与感，在给别人提供反馈评价的过程中，学生对问题的理解更深入了。



现代教育技术培训目录：
培训准备：
1 初识教育技术：http://www.etthink.com/thread-5641-1-1.html
2 了解教育技术基本含义：http://www.etthink.com/thread-5642-1-1.html
教学目标与学习者分析：
1 了解学习理论：http://www.etthink.com/thread-5643-1-1.html
2 认识教学设计：http://www.etthink.com/thread-5644-1-1.html
3 分析教学目标：http://www.etthink.com/thread-5645-1-1.html
4：分析学习者特征：http://www.etthink.com/thread-5646-1-1.html

教学方法和媒体选择：
1 教学方法：http://www.etthink.com/thread-5647-1-1.html
2 教学方法的选择：http://www.etthink.com/thread-5648-1-1.html
3 媒体的概念、分类和环境：http://www.etthink.com/thread-5649-1-1.html
4 教学媒体的作用：http://www.etthink.com/thread-5650-1-1.html
5 教学媒体的选择：http://www.etthink.com/thread-5651-1-1.html

信息化教学资源的收集：
1 信息化教学资源的概念：http://www.etthink.com/thread-5652-1-1.html
2 信息化教学资源的分类：http://www.etthink.com/thread-5653-1-1.html
3 信息教学资源的获取：http://www.etthink.com/thread-5654-1-1.html
4 网络资源的收集与整理：http://www.etthink.com/thread-5655-1-1.html

信息化教学资源的加工
1 多媒体素材的特点及格式：http://www.etthink.com/thread-5656-1-1.html
2 多媒体素材的加工：http://www.etthink.com/thread-5657-1-1.html
3 课件的概念、分类和结构：http://www.etthink.com/thread-5658-1-1.html
4 教学演示课件的制作：http://www.etthink.com/thread-5659-1-1.html


教学实施
1 教学实施：http://www.etthink.com/thread-5660-1-1.html
2 教学活动顺序：http://www.etthink.com/thread-5661-1-1.html
3 教学过程组织形式：http://www.etthink.com/thread-5662-1-1.html

4 教学实施准备：http://www.etthink.com/thread-5663-1-1.html

教学评价1 评价概述：http://www.etthink.com/thread-5664-1-1.html

2 对学习的评价：http://www.etthink.com/thread-5665-1-1.html

3 对教学实施过程的评价：http://www.etthink.com/thread-5666-1-1.html

总结与提高
1 建立信息朝代伦理道德：http://www.etthink.com/thread-5667-1-1.html

2 教育技术未来发展趋势：http://www.etthink.com/thread-5668-1-1.html

3 网络支持的教师专业发展：http://www.etthink.com/thread-5669-1-1.html