教学设计结果形成性评价

教学设计结果的形成性评价无论是教学设计方案还是学习材料，这些设计成果一般在推广使用之前，要在小范围内使用，测定它的可行性、适用性和有效性以及其他情况，来检验方案并不断修改、完善方案，使教学设计过程及其成果更趋有效。教学设计成果的评价一般也包括形成性评价和总结性评价两种形式，但它不同于其他评价的主要特点在于教学设计成果的评价主要以形成性评价为主，也就是说，教学设计成果要在其形成的同时对其加以评价。一、教学设计结果的形成性评价形成性评价是教学设计人员用来获取数据，并通过这些数据修正他们的教学，提高教学效率效果的过程。形成性评价的重点是搜集数据，分析数据，改进教学设计。形成性评价开始于分析阶段，持续于选择和设计阶段，如果计划中还有试用阶段，那么还将持续到实施过程的前期。1教学设计形成性评价的方法形成性评价通常包括六个阶段：自我评价、专家评议、一对一评价、小组评价、实地试验、进行中的评价。需要说明的是，在这里用“阶段”这个词是为了帮助设计人员明确：在实施上述形成性评价的时候，要注意前后的关系。通常情况下，这些方法是依次实施的，当然，在设计实践中，可能不会实施所有的形成性评价方法，如一般的课堂教学设计的形成性评价很少进行一对一评价、小组评价，专家评议、实地试验等方法经常被用于一些公开课、研讨活动；而在企业环境中，形成性的实施相对完整一些。（1）自评（Design Review，初始排错）设计者、开发者或设计团队中的一些成员在将方案呈现给专家或使用者评价之前对其进行评价。这一过程通常被称作“内部评议”，一般是在外部评价之前进行。为使自评更有效，设计开发者应完成以下任务：l         制定一套评价标准。这套标准可以和针对专家、使用者评议的一样，也可存在差别，但应尽可能涵盖所有教学过程中教师和学生会关注的所有项目，以及设计团队需要解决的所有设计和开发问题。l         将所有设计成果先搁置几天以便于形成结果与意图的距离。l         成为准执行者并试行这套方案。l         记录各种积极和消极的反馈。（2）专家评议（Expert Review）主要指邀请一些内容专家、教学设计专家或者相关领域的专家，针对教学设计各要素的选择或设计提供信息，并（或者）在方案实施之前对其中的各个草拟要素进行评议：l         方案中所涉及的教学内容是否是正确的、最新的？l         方案中的所有观点是否是一致的？l         提供的案例、实践练习、反馈是否是真实而准确的？l         教学方法是否符合并反映现代教育观念和教育理论？l         教学的内容、方法以及所用的教学资源是否适用于教学对象？对于课堂教学这一层次的设计成果专家评议，往往采用说课的方式；对产品或系统这两个层次的专家评议，通常采用专家评议会的方式。教学设计人员要认真记录每个专家的详细意见，并对这些评议结论进行“再检查”，从中找出仍然存在的问题，对方案和学习材料进行修改。（3）一对一评价（One-to-One Review）一对一评价有时也被称为对教学设计成果的诊断性评价阶段。在这个阶段中，设计人员往往需要和三名或者三名以上具有代表性的学习者一起工作，从单个的学习者身上采集数据并修正教学材料，其目的是确定并改正教学中存在的明显错误，并从学习者那里获得对教学内容的最初使用数据和反馈。这是设计者首次从学习者的角度出发，对他们在设计和开发过程中所做的决策进行审视，来验证设计师和开发者的预感是否正确，是否存在对目标人群的误解。这个阶段的评价可以从以下几个方面进行（Walter O Dick, Lou Carey, James O. Carey，2000）：l         明晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？l         影响力：教学对于学习者个体的态度和达到教学目标有没有影响？在态度方面，需要确定学习者是否意识到学习和自身是密切相关的、自己能够通过适当的努力就可以达到目标、对学习经历感到有趣并满意；在学习成就感方面，可以通过后测了解学习者是否能回忆起学习的信息、是否能完成任务，具体的方法可以是书面练习、口头回答教师的提问或者是完成一件事、一个作品。l         可行性：如果得到所需的资源（如时间、教学情境），教学的可行性有多大？可行性主要考虑学习者的能力水平、教学媒体和教学环境，如学习者的成熟度、独立性和动机水平如何影响完成教学所需的时间，学习者能否或者轻易地学会所要求的专业设备操作或技能，学习环境是否令学习者感到舒服，在规定时间内传递教学的成本是否合理等等。一对一评价的过程关键在于它是一个交互的过程。设计人员要参与学习者的学习过程，观察学习者的参与情况，并在预先设定好的时机，和学习者讨论材料中呈现的内容。因此，在每次进行一对一试验之前，设计师都应该制定一个策略，决定交互该如何进行，如何向学习者进行说明，如何让学习者知道什么时候可以和评估人员讨论，如何鼓励学习者放松地谈论设计方案和学习材料。这就要求设计师有比较强的交流能力，能够在自己和学习者之间建立友好信任的关系，并进行有效的交流。一对一评价收集数据的途径有观察记录、和学习者讨论中的记录、教学完成后的问卷和测验。在交流和记录的过程中，设计人员不仅要知道问题所在，而且还要了解问题的具体内容、学习者为什么会出现这种反应以及评估人员对此作出的解释，因为后者往往更能提供改进教学清晰度的有用信息。很明显，每次一对一试验都只有一个学习者参加。学习者无需从大量学习者中随机抽取样本，只要挑选几个能够代表目标人群的学习者。在实际评价中，可以从高于平均水平、处于平均水平和低于平均水平各一个，如果有必要，也可以在完成了对这三个学习者的初步评价后再多挑选几个学习者进行一对一评价。在选择学习者的时候，既要考虑其知识和能力的水平，也要关心其他与学习者的成绩密切相关的特征，如学习者的态度、先前的经验、学习的风格等。通过一对一评价，教学中的严重错误都会暴露出来，有些可以马上进行修改。但由于选择的学习者是有差异的，从每个人身上得来的数据都可能是不一样的，因此有些问题可能不会立即修改，需要等到其他学习者重新试验后或者小组评价后才会作出改动。（4）小组评价（Small-Group Evaluation）小组评价阶段往往是由820个目标人群的典型代表组成学习小组，利用教学材料自行学习，然后通过对他们的测试来采集所需要的数据。小组评价有两个主要目的，一个是确定在一对一评价后所做的改动是否有效；另一个是确定教学中还存在哪些问题，是否能适用真实的目标群。小组评价往往需要收集两个方面的数据（Walter O Dick, Lou Carey, James O. Carey，2000）：l         教学有效性：教学有效性主要包括学习者在前测和后测的成绩以及对教学的态度。前测一般包括入门技术和教学目标，后测测定学习者在教学目标上的表现，可以通过测试或练习获得；对教学的态度信息主要是通过态度问卷和后续访谈来获取。l         教学可行性：一般包括学习者完成教学和所要求的绩效评测所需的时间以及在特定条件下实施教学的成本及可行性；实施或管理教学者的态度。小组评价的基本过程和一对一评价中所采用的截然不同。在一对一评价中，评价人员始终和学习者处于互动的状态；而在小组评价中，评价人员（或者教师）在向学习者作出必要的说明和解释后（如果有前测就先进行前测），就按照方案中规定的实际教学方法、过程组织教学过程，在各个过程中，评估人员要尽可能少地干预。只有当教学环境出现问题以至于使教学过程无法按照方案继续下去的时候，评估人员才进行一定的干预，并且将出现的问题和解决方法如实记录。正是因为如此，在教学实施后的态度问卷中要尽可能详尽地包含教学方案的各个部分，包括教学设计的各个要素、教学实施中的问题以及他们对教学的改进建议，如：l         你清楚应该学什么吗？l         学习材料直接和教学目标相关吗？l         在学习过程中，你感到压力很大吗？哪些地方令你学习很困难？l         教学有趣吗？你比较喜欢参加哪些活动？l         有足够的练习吗？这些练习和教学目标相关吗？l         测验能真正地考察你对教学目标的知识吗？l         在学习的过程中，你得到了足够的支持吗？反馈信息令你满意吗？l         当考试答题时，你感到自信吗？为什么？l         你对教学过程和学习材料还有哪些好的建议？如果有可能，在学习者完成问卷后，就学习者的看法进行更深入的讨论，并从中分析教学设计方案和学习材料中的问题，然后再进行修改。从上述小组评价的过程和方法可以看出，学习者的挑选和信息的分析对小组评价来说至关重要。迪克、凯里等认为（Walter O Dick, Lou Carey, James O. Carey，2000），小组评价以820个学习者为合适，如果学习者人数少于8，所得到的数据可能不具备代表性；如果从多于20个学习者处获得数据，所获得的信息又可能超过了需要，而且增加的学习者并不能带来额外的有价值的信息。小组评价的学习者不能像一对一评价那样有一定的随意性，应该尽可能地代表目标人群，在理想的研究环境下应该随机挑选学习者，因为这样才能把经验推广到整个目标人群。但是在典型的学校、业界和成人教育环境下，纯粹的随机经常是不可能的，甚至也可能是不希望的。因此他们建议，在无法随机挑选小组评价的学习者时，仍要尽可能确保从目标人群的每种类型中至少选取一个代表，并提供了几种划分目标人群类别的方法：l         学业水平分别为高、中、低的学习者l         不同母语的学习者l         熟悉和不熟悉某种学习方式（如网络教学）的学习者l         年轻、没有什么经验的学习者，相对更成熟的学习者我们认为，除了上述几类之外，选择学习者时还要考虑到他们的动机水平，因为动机水平较高的学习者往往会获得较高的学业成绩。如果无法实现这一点，则需要在结果解释的时候说明这一点，并提供相应的实施建议。一对一评价比较强调评估人员的交流能力，而小组评价则比较强调对数据信息的分析，一方面要判断问卷调查时哪些问题还需要进一步深入访谈，另一方面要将问卷、测试中所得的数据信息和描述性信息加以汇总，并分析这些信息所代表的含义，以便形成更有效的修改报告。小组评价后的修改既包含一对一评价后的进一步完善，也可能会教学策略作较大的调整。（5）实地试验（Field Trial）实地试验是教学设计结果实施前形成性评价的最后一个阶段，执行人员（通常是指教师）要在一个与教学材料最终使用环境尽可能相像的学习环境中进行评价。实地试验的目的是确定在小组评价之后所做出的改动是不是有效，并要确认教学方案在预设的使用环境下是否能够使用。实地试验的主要目的是要找出并消除教学中尚存的问题。实地试验和小组试验有许多相似之处，两类评价的过程中都要决定学习者的表现是否适当，教学的传递方式是否可行；另一个相似之处是，二者都是采集学习者的成绩和态度信息、教师的教学过程和态度，以及诸如时间、费用、空间和设备等资源信息。二者的最主要差别在于教学材料、学习者、过程、教师和环境的真实程度不同。实地试验更强调与实际教学的接近程度，因此在实地试验前，往往教学方案已尽可能得到修改和完成。实地试验的关键是创设一个与“真实世界”尽可能接近的教学情境（Walter O Dick, Lou Carey, James O. Carey，2000），因此，实地试验不仅要求教学环境、条件都要与最终的使用环境、条件尽可能相像，而且执行教学的人员也要尽可能是教师，而不是教学设计人员，在教学实施过程中，设计人员可能不在场，即使在场，设