- 美国在线教育质量保障机构QM及其评价标准
- QM在线课程质量标准：高等教育标准（第五版）介绍
- QM在线课程质量标准的国际化：中国案例
- 在线课程质量标准研究：美国QM标准适应中国环境吗？
- “QM标准应用（APPQM）”培训项目的学习启示
- QM在线课程质量标准的“投入”和“产出”
- 衡量QM标准对改善课程设计的影响：群组法的设想
美国在线教育质量保障机构QM及其评价标准
Quality Matters（简称QM）是一家美国在线教育质量保障的专业服务机构。2003-2006年度美国教育部将后教育改进基金会的补助金发放给马里兰州一批致力于在线课程质量保证的远程教育学家。这项以研究为基础的项目不断拓展，最终衍生出QM评价标准（rubrics）和基于同行的课程审核程序。
依靠联邦补助金的发放，QM成功转型为一家致力于不断改进在线课程的独立机构。随着美国公众对教育的监督更加密切，教育经费不断缩水，QM的领导层在联邦补助金发放结束后，面临着许多挑战，包括学科教育理念的多元化和学习模式的多样性，以及与各种组织机构和组织文化的交流碰撞等等。
联邦补助金发放结束后，创始于2006年的QM从最初的非盈利项目成功转型为一家依靠各界捐助和付费制课程的独立经营机构。它的宗旨从未改变：通过有效工具和质量保证过程来提高在线课程的质量，改进学员的学习体验；支持教师发展，提供有效资源；促进QM标准的整合和在线课程质量提高的进程。
2014年9月，QM在马里兰州的巴尔的摩举办了第六届关于在线学习质量保证的年度会议，会议主题为“质量保证如何驾驭当下的思潮变迁”。美国远程教育报（AJDE）的这一专刊就是依据会议报告所做，远程教育报还特地邀请了会议报告人为专刊撰文。
QM对在线课程和混合课程的在线部分提倡采用以研究为主，测试为辅的质量标准。这些标准集中体现在QM的评价标准上，如高等教育评价标准、中小学及学前教育的评价标准、成人教育和专业教育评价标准等等。在补助金发放期制定的高等教育评价标准现在已经更新到第五版，并且为不断扩张的QM评价标准体系构建了一个基本框架。远程教育学者有时会混淆网上的QM标准清单和完整的评价标准。事实上，高等教育评价标准是一份专门为在线课程审查准备的文件，内容非常详细，长达37页。只有QM的用户才有可能获得附有注释的评价标准，这一做法确保了评价标准和同行评审的完整性。
课程设计的同行评审是QM重复性执行的部分，它确保了高校在课程质量保证上的所有努力具有可测性。同行评审是由教师借助有效的质量标准来实施完成的，其目的是不断提高在线学习质量。有关机构通过QM的课程审核管理系统提交申请和课程信息。完成QM同行评审专业进修的三名在线导师组成一个团队，负责从学生的角度审核课程设计。每组必须包括一名课程专家，一名课程申请机构的外聘评审员，和一名受过额外训练、更具经验的评审主管（也是整个团队的负责人）。
附有注释的评价标准指导每一位评审员的课程评估和团队成员间的协作。一名课程创作者或代表率先完成统计用户信息，听取课程设计专门领域的同行建议，与评审小组互动。除了评审前后召集会议，真正的评审活动费时三周左右。评审员需从学生的角度进行学习体验。课程代表会收到一份最终的评估报告，包括每一项标准的打分，评审员的建设性意见，和具体的、可操作的建议。获得QM的官方证书意味着该课程达到了评价标准85%以上的标准。用户们可以对他们自己的课程进行非正式的内部审查，无需严格遵循评价标准的一整套选拔同行评审员的标准。但是只有那些在官方评审中符合标准的课程会被授予证书。同行评审活动已经成为QM运行的基石。近年来，为了满足用户需求，QM不断增加评分工具和资源的投入。
QM赋予了用户机构一定的灵活性，方便它们使用评估工具满足自身需求：
- 教员对照附有注释的评价标准逐条检测课程或以评价标准为指导原则完善课程模板；
- 不断发展师资力量，鼓励教员通过参加研讨会熟练掌握QM标准和原则；
- 利用QM提供的在线评估工具，在不受监管的情况下进行课程初步筛选；
- 将QM的正式课程评估列为标杆，指导更多在线课程的改进与评定；
- 把QM评估体系嵌入到课程模板的设计，战略计划的制定，委员会的长期任务，推广和终身职位的认可之中。
（张梦编译）
回目录
QM在线课程质量标准：
高等教育标准（第五版）介绍
待授权后发布
回目录
QM在线课程质量标准的国际化：中国案例
QM在美国的成功，尤其是它所制定的在线课程和混合式课程质量标准的广泛应用，引起了越来越多的国际关注。然而，要想在非英语国家翻译和传播这一标准，首先应当考虑它在不同的文化背景下是否同样适用。
一、QM国际化中可能存在的问题
直译的课程质量评估标准能否在其他文化背景下产生相同的效果？如果不能，修改这些标准来适应其他国家的教育体系是否合适？修改需要考虑哪些因素？首先，让我们考虑一下将美国在线课程质量标准直译为他国语言的情况。直译可以保留标准的完整性和有效性，而改写标准，因其缺乏严谨的研究和检验，可能会破坏其自身的权威性。如果引进新的评估标准，或者因为原有的标准与当地的文化规范和行为准则发生冲突而进行删减或修改，那么该标准的效力则可能受到质疑。此外，QM的在线课程认证赢得了广泛认可，意味着它的评价标准不受语言或文化背景的限制。
然而，标准的直译难以满足其他国家的文化需求，并且忽视了他们教育体系的独特优势。下面让我们仔细检视一下在线课程设计的文化适应问题。文化差异在许多方面影响在线学习者的学习，它始于个体如何感知自身所处的现实与世界，不同的思维模式影响不同文化受众接收信息和整合事实的方式。文化差异还体现在对权威的尊重程度、对异议的包容度和社会可接受的表达个人观点的方式上。此外，不同社会对学习者的独立性、独创性和创造力的期许以及鼓励策略有着很大差异。对分工合作及个人成就的不同重视程度则是另一个重要的文化变量。不论是传统的在线课程还是MOOCs（慕课），都应当预见和适应不同文化背景下的学习者的不同需求。提升对文化差异的敏感度以及有效利用课程材料将是在线课程未来努力的方向。
二、中美案例研究：QM国际化所面临的挑战
尽管中国学术界正在努力引进一些西方观念，例如促进学习者参与、协作学习以及主动学习，他们并没有抛弃传统的教学法。教师与学生分别作为知识拥有者和接收者的模式在很大程度上没有改变。儒家所倡导的“一日为师、终身为父”的观念仍然流行，体现了中国社会、学生和家长对教师这一职业的尊重。此外，受儒家思想影响，中国学生一直被教导要刻苦学习而不知道如何高效学习。这一长期秉持的态度和其他一些既有的惯常做法影响了中国学术界对美国QM评估标准的看法。中美在促进学习者交流互动和批判性思考、因材施教的观念上有所冲突。此外，一些针对自主选择课程教材、为残疾学生建立专门的教育机构、尊重学生隐私权等方面的特定的评估标准在中国难以适用，或者说失去了其有效性。
QM要想对中国以及其他国家的在线学习产生积极的影响，必须进行实质性的修改。这些修改将会利用中国高等教育的独特优势，并且鼓励引进久经考验的西方教学实践。没有这些改变，美国课程质量标准将无法在受不同文化规范影响的教师和学生中取得成功。
三、问题的解决方案：中国案例
QM与中国顶尖教育机构-复旦大学在上海建立了合作关系。合作的第一步是将美国的在线课程质量标准翻译为中文；接着，QM将训练一批复旦教员参与评审中文在线课程和混合式课程。这一培训将会涵盖QM标准应用的实质以及认证课程同行审查的要素；下一步是评估小部分代表不同学科和教学水平的混合式在线课程或完全在线课程。通过分析评审结果，QM团队和复旦大学的教师代表将共同制作一份经过改编的中文课程质量标准（包括注释在内），并且赋予它新的身份和象征意义。这一标准将修改或删除被认为是不相关或无效的评估标准和注释，增加被QM标准忽视的、适用于中国教学法的新标准，并且将会通过第二轮中文在线课程的评审确认其有效性；最后一步则是与中国其他教育机构分享复旦的成果。
四、总结
文化适应对QM标准满足不同文化受众的需求至关重要。以中国为例，中国古代的教学传统和思维习惯仍然对后世影响深远。QM将与复旦大学合作，共同制定和检验一份既保留了原有要素、又融合了接受文化的新标准。
（张梦编译）
回目录
在线课程质量标准研究：
美国QM标准适应中国环境吗？
复旦大学高等教育研究所、教师教学发展中心 丁妍
2015年5月13日，复旦大学教师教学发展中心与QM签订了五年合作协议，旨在开发一套由QM高等教育质量标准改编的、适合中国在线/混合式课程的质量标准体系。
QM机构有自己一套相对成熟的认证在线/混合式课程质量的运作体系，它通过有效的评估工具和质量保障过程来提高课程设计的质量，改进学习者的学习体验。截至2016年10月，已有遍布48个州的1035所国内高校会员。近年来，QM机构开始致力于国际业务的拓展。先后有加拿大、沙特阿拉伯、新加坡、爱尔兰、澳大利亚等国际高校加盟会员，复旦大学是该机构的第一家中国高校会员。
根据复旦与QM的合作协议，第一步工作是在两年内，基于QM高等教育质量标准最新版，即第五版，进行中国本土化指标的研制与开发。因此，我们研究的主要问题是：QM标准是否适用我们本土环境？如果没有，主要应调整哪些方面的内容？
围绕这些问题，课题组首先在2015年暑假组织校内二十多名有意愿或已开发在线课程的复旦教师在QM网络学习平台进行了为期两周（7月14日-7月28日）的QM高教标准的学习，该学习项目称为APPQMR，由QM机构免费提供。在学习结束后，对这群教师做了问卷调研，收集他们对QM标准的看法。并且邀请其中若干教师利用QM标准工具对国内在线课程进行评价，以了解QM标准与国内在线课程设计之间的契合度。以期通过这些努力，总体分析本土环境下美国QM标准的适用性。
一、调研结果1：QM-复旦“APPQMR”在线学习项目的反馈问卷分析
此次问卷调研针对的是28名已学习APPQM项目的教师（包括1名上海教育评估院老师和27名复旦教师），主要征求他们对43个QM指标是否适用于本土环境的看法。适用程度的评分采用5分里克特量表，从“非常适用”的5分，到“完全不适用”的1分。其中21项分指标得到4.50分以上的评分，14项的评分在4.20-4.49之间，另有8项指标低于4.19分。这说明QM标准在本土适用性上，有一定的认可度，但仍然存在较大可提升的空间。
其中，被教师认为适用性程度较低的指标有S1.9、S4.4 、S4.5 、S6.4 、S6.5 、S7.2 、S8.2，涉及课程概况（学生自我介绍、网络礼仪）、课程技术（隐私保护）、课程教材（多样性、前沿性）、特殊服务（残障学生）等，一方面说明了中美在线教育发展程度的差距，但更体现出两国在教学理念、教学文化上的不同。因此，在新指标研制中，必须考虑到这些中国教学思想和文化的元素。
二、调研结果2：使用QM标准对若干国内在线课程的评审结果分析
利用QM标准，7位受邀教师（包括复旦3位，外部课程指导员4位）分别对“Coursera”、“超星慕课”、“中国大学MOOC”三个平台共计11门不同学科的课程进行了评审。
被评审的课程在16个QM分指标上获得课程评审员较多“符合”的评价（8个以上），说明我们的课程设计与这些QM标准比较一致；11个QM项目得到了较多的“不符合”评判（8个以上），这些标准可能是我们今后在线课程设计中亟待提高的地方；另有5个QM指标被认为“不适用”中国在线课程（6个以上），对这些标准需要我们进一步研究，以了解评审员判断“不适用”的依据及原因。
具体来说，样本课程比较符合QM标准中的S1 “课程概况”、S6“课程技术”和S8“易用性和可用性”，而在S3“课业评价与测试”、S4“教材”、S5“课程活动与学生互动”方面存在较大欠缺，反映出我们的在线课程在形式和基本要素上已经与国际标准接轨，今后课程改善的着力点应该放在如何满足那些内涵性的、对学习质量更有影响的指标上。
在“不适用”指标上与前面教师问卷调研结果有一定差异，但是对于QM的S6.5和S8.2，两次受调研的对象均认为不适合用来做中国在线课程的质量标准。S6.5是关于外部技术工具的隐私权规定，S8.2则是课程技术对残障学生的特殊服务。
QM作为发源于美国本土的在线课程质量标准，已被美国众多大学所接受用来指导在线课程的设计和评审，在适用性方面，已具有一定的边界对象（boundary object）的特点。如果要在国际化推进中取得突破性进展，这种边界对象的特性将更需要被强化，使该标准除了在自己的情境中保持同一性外，还能够沟通不同国域的教学情境。在此基础上，我们的本土化研究可能才是一个有效的补充。
回目录
“QM标准应用（APPQM）”培训项目的学习启示
复旦大学教师教学发展中心 范慧慧
2015年7月，笔者参加了为期两周的 “Applying the Quality Matters Rubric”课程学习和考试。该课程是QM针对高等教育在线课程质量标准设计开发而成，采用纯在线学习方式开展。该课程共有9个模块，每个模块对应若干明确的学习活动和任务要求。通过本次学习，笔者在深入学习了QM在线课程质量标准的基础上，对如何有效地开展在线课程设计和组织线上学习这方面的问题有了切身体悟。
该门在线课程的主体内容是由文字形式的说明要求、阅读资料和在线测试论坛等构成，没有视频等其它富媒体形式。但这并没有影响这门在线课程的有效开展，学员们通过这些文字内容的指引和学习，顺利完成了该门课程的学习。这一点更充分地体现出，在线课程线上组织的有效性并非仅在于课程内容的发布。现如今提到在线课程，大家往往关心的只是课程视频内容的呈现质量和形式，力求视频内容精益求精，以吸引学习者积极开展学习。通过该门课程的学习，笔者深刻体会到，课程设计中的“一致性”原则、明确的学习导引、多样的学习任务、实时的学业测评和及时的在线互动是保障学习者进行有效在线学习的5大要素。
1. 课程设计遵循“一致性”原则
“一致性”（alignment）概念是QM质量标准的核心原则。“一致性”是指课程的几大关键元素（比如学习目标、学业评价与测试、课程资料、学习活动和学生互动、课程技术等）之间有直接的联系，彼此共同发挥作用，以保证学习者获得预期的学习成效。在笔者参与本门课程的学习过程中，也时刻感受到“一致性”原则在课程内容设计中的体现。
本门课程的总体学习目标是让学员能够应用QM标准去实际评估1门在线课程的质量，并提出帮助性的改进建议。为此，课程9大模块的内容设计都紧紧围绕这一总体学习目标而展开。比如，第二模块对QM标准和“一致性”原则的介绍和应用，第三、四、五模块对QM八大标准的学习和评估实践，第六模块学习撰写帮助性建议，第七模块结合标准进行建议撰写等等，目的在于一步步引导学员开展学习和完成任务。每一模块的学习内容具体明确、任务要求适量合理，所有课程元素相互紧密联系，确保学员一旦完成所有模块的学习和任务之后，便能够顺利进行课程最终要求的实践环节：对1门在线课程进行质量评估（包括改进建议）报告，从而达到学习目标中提出的预期学习成效。
2. 明确的学习导引
课程从一开始，就向学员明确说明了本门课程的学习目标以及各模块的学习活动安排。由于在线课程的学习是由学员根据课程规定的要求开展自主学习，没有像实体课堂那样由老师带领着学习。因此，让学员在正式学习之前，先明确本门课程的学习目标和所有的具体学习活动要求，能有效帮助学员把握课程全局，进而有目标地开展自我学习。在本门课程中，除了详细的课程大纲之外，还提供了一份学习活动自查表（见图1），帮助学员清楚了解和跟踪自己每一个学习活动的完成情况。同时，在每一个学习模块中，会再次对本模块的学习目标和对应的学习活动要求进行说明，保证课程导引的方便易用。这样的设计，也正是QM八大类标准中“S1课程概况”“S2学习目标”“S8易用性和可用性”等指标所明确要求的。
图1：学习活动自查表
 
3. 多样的学习任务
本门课程具有多种学习活动和任务要求。这些学习活动任务总体上分为两大类，第一类是引导学员熟悉学习平台设置的，是在线课程所特有的任务类型。比如完善个人信息，在论坛发帖/跟帖，下载资料等。这类任务都非常简单明确且易操作，一方面能让学员掌握在线学习必要的技能，另一方面也提高学员继续完成其他任务的积极性。第二类是指导学员开展在线自主学习的，比如阅读资料，参加小测试，与学习同伴和课程引导人进行线上互动等，这类活动任务设计非常多样且频繁，一方面让学员在自主在线学习过程中，时刻保持学习参与度和积极性，另一方面也促进学员在线上开展互动交流，使得彼此虽没有见面，但也形成了相互的学习支撑和督促。这同样也符合QM八大类标准中“S5课程活动与学生互动”指标的要求。
4. 实时的学业测评
学业测评其实是学习活动和任务中的一部分，之所以要特别作为一个要素，是因为这部分对开展在线学习的学习者而言至关重要，而且也往往是我们国内在线课程设计中的薄弱环节。本门课程设计有非常多的在线测试，往往在单个模块中就会根据学习要点内容设计若干个测评，比如在课程模块二“Introducing the QM Rubric, Alignment Concept, and Course Worksheet”中，对应本模块的3个要点：QM标准、“一致性”概念和课程工作表，安排了3个测试，学员学习了某一部分就能进行该部分内容的测试。测试的主要目的是为了实时评估学员对这部分学习内容的掌握情况，对自我的学习进行了解，以便能及时对学习过程中的薄弱环节进行巩固和补充，保证自己能够达到既定的学习目标。这一要素在QM八大类标准的“S3. 学业评价与测试”指标中也同样被强调。
5. 及时的在线互动
在线课程由于没有实体课堂作为载体，在线学习者缺少与学习同伴和教师的面对面交流环节，若长期处于单人学习环境中，容易产生学习倦怠而放弃学习。本门课程在多个在线互动环节的设计中，让学员能够得到及时的反馈，感觉时刻被关注，有效提升了学习的积极性。第一，在学习环节中，基本上每一页的学习内容都设计有若干个即时小测试，均为是非、选择等客观题，让学员在学习过程中进行回答，并能即时测试反馈结果，让学员知道自己是做对了还是做错了，如果做错了，会同时给出正确的答案。第二，在学业测评环节，在完成自己的模块作业基础上，在线课程还要求学员去浏览和点评学习同伴的作业。第三，在论坛交流环节，学习引导人随时关注着每一个发帖，对学员的问题和留言给予及时的反馈和回答。此外，发布的或者跟过的帖子，若有人（学习同伴或引导人）有更新留言，会在第一时间通知到学员的电子邮箱。这些都有效保障了在线学习者获得良好的在线互动体验。
通过此次在线课程的学习，笔者对如何有效地开展在线课程设计和组织线上学习有了切身的体会。复旦教师教学发展中心也正在策划和设计线上结合线下的教学研修项目，以加快实现全覆盖的教师教学研修培训体系。我们将充分结合此次学习经验，优化对在线教学研修项目的设计和线上学习的组织，保障教师在线研修学习的最终效果。
回目录
QM在线课程质量标准的“投入” 和“产出”
2003年，QM由高等教育发展基金会拨款成立，致力于开发一套可复制、可量化的在线课程质量评价过程。2005年，QM在整理了大量文献的基础上发布了第一版QM标准。QM既有研究投入，也有研究产出。实际上，QM的研究投入和产出相辅相成，互为一体，三条交叉的论据可以证明这一观点：（1）学术研究是建立QM在线课程质量标准的投入，同时还促成了QM标准的产出；（2）投入在衡量QM影响力上的研究资金，产出了关于QM影响力的基本研究；（3）众多机构投入到衡量QM影响力的研究上，产出了关于QM影响力的深度研究。
QM历年研究主题包括学习产出、专业提升产出、对组织的影响、QM工具和过程的验证等几大方面。
一、学习产出
1.学生满意度
Davies（2010）等人 的研究发现学生满意度与学习动机有着密切联系，为之后的研究提供了方法论上的启发。
Finley（2005） 衡量了经QM改进后课程的学生满意度，发现课程设计改进后，学生更加清楚如何把握课程。Aman（2009）调查了2006到2007年9个机构554名在线学习者的满意度，发现通过QM评审的课程拥有良好的学生满意度。
Knowles（2010） 研究发现，对于一门课程是否达到QM标准，学生和QM评审员的意见大相径庭。他认为，导致这一差别的主要原因是师生对在线课程抱有不同期望。You（2014）团队 继续了前者的研究。他们建议QM评审员寻求衡量课程的确凿依据，学生则需要明确课程目标。
Parscal（2011）等人 的研究表明，如果在线课程在设计之初便遵循QM指导方针，那么学生与教师就察觉不出QM标准对于课程的改进之处。因此，未来的研究可以关注课程在被QM评测前的表现，为衡量QM标准的影响力提供有力的证据。
Dabney（2012） 利用联通主义理论发现，学生投入与在线课程质量呈正相关关系。
Myers（2015） 研究了在线课程可用性对学生满意度的影响。研究表明，在线课程越是符合QM的可用性标准，学生满意度越高，学习动机也更强烈。
Hintz（2014） 研究发现，学生普遍对使用QM标准的课程感到满意。她指出，学生真正需要的是有用且简单的技术。
2. 学生表达
采纳学生的观点是QM核心指导原则之一，对于验证、改进QM标准和过程来说至关重要。QM早期有两项研究关注了学生表达。Iyengar（2006） 在调查四门混合课程学生后发现，混合课程的学生同样重视QM标准。Mott（2006） 将学生反映的遗漏的设计特征与QM标准联系起来。Bowen（2009）等人 的研究发现，学生投入与课程易用性有关，学生已经意识到在线课程必须满足所有学习者的需求，包括一些需要无障碍技术的人。
Ralston-Berg（2011，2014） 用五年时间收集了关于QM标准重要性的学生表达，总共调查了22个州31所机构3160名学生。他发现学生给的重要性排序恰好与QM标准一一对应。值得一提的是，《QM学生权利法案（QM Learner Bills of Rights）》是Ralston-Berg收集学生表达的研究产出之一。Hizon（2015）等人 在前者的基础上继续研究，他们发现传统学习者同在线学习者一样，将“明确说明如何开始课程、在哪里能找到课程的各部件”排在重要性第一位。
Knapp（2013）等人 调查了面对面学习、在线学习和混合学习的学生后，发现较之前两者，混合学习者认为所需付出的努力最少。Young（2014） 提出将QM与混合课程相结合。他发现在符合QM标准的混合课程中，学生的学习动机远比在面对面学习中强烈得多。
Simunich（2015）等人 通过收集学生表达来研究课程可检索性（隶属于可用性）。他们发现，在线课程若是达到QM的可用性标准，学生的学习体验和学习动机将往积极方向变化；反之，两者则往消极方向变化。Myers（2015） 发现，对于达到可用性标准的课程，学生报名加入或继续学习的意愿较其他课程强烈很多。
3. 学习动机
学习动机通常与学生满意度联系在一起。QM早期便已经有许多实践者发现改进课程设计能够提高课程完成率。Loser（2006）等人 猜测有趣的学习活动能够促进学生学习。他们发现，虽然所研究课程的完成率无显著差别，但在期末学生评教时，改善了学习活动的课程受到学生好评。
之后有两项研究试图判明QM评审与课程完成率之间是否存在联系。Aman（2009） 发现，尽管QM评审过的课程有着很高的学生满意度，但它并没有表现出与课程完成率之间有明显的关系。研究指出，在线课程学生保留率这一问题十分复杂，主要原因是学生把各式各样的影响和期望带入课程中。而在更早以前，Dietz-Uhler（2007）等人 便提到了这一点。他们认为，研究学生保留率的难点在于没有一个对“保留”清晰的定义。他们还发现通过QM评审的在线课程，其学生保留率高出其他在线课程。
Rutland（2011）团队 试图探索在达到QM标准的课程中退课现象是否会减少，在进行对比试验后，他们并没有发现显著变化。研究还指出，未来有关学生保留率的研究需要控制师生互动这一变量，因为教师的表现对于学生的在线学习体验有着直接影响。
4. 课程设计与教学简易性
Geiger（2013）等人 研究发现，在线课程完成率受教师影响。教师若是经验丰富且有感染力的，其课程完成率通常较高。
Harkness（2015，2014a，2014b） 与他的同事记录了在线课程在通过QM认证前后的变化。他们发现，在线课程遵循QM标准改进设计后，退课率下降了23.53%。
5. 衡量学习
Runyon（2006） 带头研究了QM认证课程的学生成绩。他发现，学生越积极参与到课程内容中，互动活动越多，他们的成绩就越好。Runyon还注意到，教师质量与课程设计质量同样重要，因此当衡量教育影响时，需要把这一变量一并考虑进去。
前面提到的Geiger（2013）与他同事的研究还发现，在SmarterMeasure评估中得分低的学生，反而能在QM认证课程中在优秀教师的指导下取得较好的学习成绩。
Harkness（2015，2014a，2014b）的研究还发现，在线课程遵循QM标准改进后，获得A到D成绩的学生人数增加了19.74%，获得F成绩的学生人数减少了66.66%。Parscal (2014) 在跟踪调查了890名在线学习者后得出结论，QM认证课程的学生比一般在线课程的学生成绩更好。
6. 探究社群与QM
Swan (2010，2011)等人 率先注意到了QM标准与探究社群（Community of Inquiry）框架之间存在联系。他通过实验观察到，为学生提供按QM标准改进过的课程后，学生所有课程成绩远远好于之前。他们认为，由于QM改进了在线课程，使教师明确说明学习目标，并从学生的角度加以描述，学生表现因此得到改善。他们指出，QM与探究社群之间存在正交关系，QM衡量课程设计，而探究社群衡量学生互动。他们建议使用QM标准来指导在线课程的设计，这样做既可以保持课程原先的高质量，也可以促进课程中探究社群的发展。
Miner（2014） 认同Swan等人的观点，即QM强调课程结构，而探究社群则强调课程互动。她推测，探究社群能够用来查明QM改进的真实效果。Myers（2015） 通过实验发现，在教学中运用探究社群可以大幅提升学生满意度。
Hall（2010） 从教学行为这一维度来分析QM和探究社群的关系。她发现，改进的课程设计和组织能够增加教学行为，减少课程管理任务，从而加强教学质量和教学简易性。改进的设计还能改善学生的自我管理和课程活动，减少学生所需花费的时间和努力。研究还发现，优秀的教学行为能够引发学生的高度认同，并带来更高的学生成绩和学生满意度。
二、专业提升产出
1. 参与正式的QM同行评审
Sener（2011） 收集了运用QM过程的同行评审数据和个人评审的数据，验证了以下观点：（1）在评审过程中，评审员通过团队内部的互动来学习有关改进在线课程的内容。（2）评审团队负责人获得了宝贵的领导经验。（3）当正式评审同行的课程时，评审员还可以平行地评审自己的课程。
2. QM对专业发展的影响
QM的主要任务之一是提升教师专业水平（Professional Development）。截止至2015年夏，共有45300名教学人员参与了30种不同的专业发展研讨会及课程。
Wright（2010） 提出疑问：QM的训练能否提高教师设计、开发、教授课程的能力？通过研究他发现答案是肯定的。然而，Blundell（2015） 发现，达到QM标准课程的教师满意度与一般在线课程无明显区别。Bollinger（2009）等人 完成了一项针对在线教师满意度的调查，他们的结论有：在线教师经常因为技术问题而气馁；在线学习者比传统学习者使用更多更广泛的资源。
Ward（2011） 研究了QM标准对于新手在线教师的影响。她发现，通过参与QM培训和相关课程，新手教师能够更有效地讨论、开发、实施更多的在线课程。Budzick在2014年使用Davies的技术接受度模型研究发现，愿意使用QM标准的教师人数明显增加；在接受QM培训后，教师的在线课程质量得到了提高。
Hagan和Arabie在2014年研究了内部、非正式的QM评审与教师发展的关系。他们调查了至少70次非正式评审和85名教师，分析哪条标准最常被或不被达到。其结论是，教师最关注S2、S3、S4、S5、S6这5条大标准，而S1、S7、S8往往被忽略。
3. QM标准和过程的非正式使用
McMahon（2006） 很早便注意到了使用QM标准对课程设计团队有积极影响。之后，Pollacia（2009）等人 将QM标准引申为开发在线课程时的简易自我评价工具。Greenberg（2010） 发现，QM标准能够带领教师、课程开发者、行政人员和学生开发出优质的在线课程。Monroe（2011） 发现，教学设计者、有专门学科知识的教师、无专门学科知识的同行教师以及行政人员都能够有效地使用QM标准。
Young（2014） 指出，QM标准有利于实现教师间更好的合作，原来的传统教师可以在混合课程中分享语言，分享课程设计，工作压力也随之减小。
Altman（2014）等人 使用内部、非正式的QM同行评审，将QM介绍给他们所在机构的教师。虽然这一案例的规模很小，无法产出有效的定量分析，他们还是提出了一些有研究价值的问题。比如，无论参与QM非正式评审与否，教师都相信QM同行评审能帮助他们学习新的教学技术，改进在线课程，更好地把握课程质量。有趣的是，未参加过QM同行评审的教师普遍觉得评审太费时间，这也是他们起初不参加评审的原因。
三、对组织的影响
QM先前仅仅是评审、改进会员机构的在线课程，而后迅速转型参与到机构中，一来使QM同行评审更接地气，二来进行了一些内部、非正式的课程评审，促进了QM的专业发展。
在QM转型前，Aman便注意到一个由QM标准所产生并传播的滞后效应。他分析数据后得出结论，在有QM参与的机构中，学生无论是选择了QM评审过的课程，还是选择了未经QM评审的课程，都表达出比其他机构的学生更高的满意度。
2010年，QM资助了一项研究来确定QM的传播是否贯穿庞大的教育系统。结果表明，教师和行政人员在部门会议、同事之间的非正式分享是QM传播的主要途径。
Parscal（2011）等人 试图研究QM评审前后的师生满意度，但是因为所研究的课程已经植入了QM非正式和正式的评审，使得他们的课题遭遇挑战。在线课程在设计之初便参照了QM标准，因此可以轻松通过QM正式评审。使用简单的前后测试并不能观察到满意度的明显变化，但反过来想，这也是QM作用于机构的意料外的积极影响。
Frey（2010）等人 聚焦于在线课程机构的易用性表现，他们发现很多机构并没有训练教师来准备容易获取的在线课程材料。之后，他们为在线教育团体制定了易用性的相关标准。
四、QM工具和过程的持续验证
1. QM标准具有严格的自我审核机制
从QM第一版高等教育标准诞生起，QM便持续验证其在线课程标准的质量。Shattuck（2007） 指出，学术研究和广泛实践推动了QM标准的建立。为追求可重复性、可靠性与应用性，每条QM标准都附有注释，指导评审员怎么样算符合或不符合标准。Adair（2015） 指出，评审过程是对在线课程的诊断而非规范，在线课程有多种途径来达到特定标准。
QM标准每隔两三年就要审核一次，审核有着十分复杂的过程。第一步，收集并分析大量文献、QM研究综述、用户反馈及课程评审数据。第二步，成立标准审核委员会，委员必须是经验丰富且有广泛代表性的标准使用者。第三步，修订所有专业发展（PD）课程，选定督导员建立标准更新工作室。若有需要，则开发新的PD课程。第四步，修改审核管理系统与课程工作表。若有需要，再加上修改审核政策。第五步，更新所有在线信息，发布新的工作手册和标准相关文件。
Zimmerman（2011） 完成了数项定量分析，他的结论有：（1）QM评审员在审核自家标准时，同评审会员机构课程时一样严格。（2）2008到2010年，39%的课程在初次评审时就达到了QM标准，而48%的课程在改进后符合标准。2011到2013年7月，71%的课程在初次评审时就达到了QM标准，而27%的课程在改进后符合标准。这些数据说明了将QM植入机构内部的积极作用。（3）QM标准中有两条标准最常被遗忘，第一条是给学生自我评价的机会，第二条是给学生视觉或听觉内容的选择。（4）商务类课程最常在初次评审时就达到QM标准，其次是教育类课程。（5）2011到2013年的数据显示，93.3%的QM认证课程教师熟悉QM标准。这表明越来越多的机构在提交正式评审之前，便已经使用QM标准来设计或修订课程。（6）评审小组三名成员对在线课程的评分通常一致，例如，三名评审员一致认为或不认为课程符合某条特定标准，这反映出QM评审员的可靠性。
2. QM标准符合其他认证标准
Legon（2006） 指出，QM标准一直符合其他认证标准。Voelker（2015） 指出，QM的K-12中学教育标准和K-12中学出版社标准符合国际K-12在线学习联盟（iNACOL）的在线课程质量标准。Bose（2012） 研究发现，QM标准和国际培训、绩效、教学标准委员会（IBSTPI）的标准在技术方面有重要关联。
（胡蝶飞编译）
回目录
衡量QM标准对改善课程设计的影响：
群组法的设想
在过去十年有关QM标准应用的讨论中，最常见的问题是“把QM标准应用到在线课程，能否提高学习成果，包括促进学习记忆保持、提高学习成绩以及学生的满意度？”。这一问题看似必要、合理，甚至不可回避，事实上却把说明标准效力的任务看得过于简单了。要想回答这个问题，我们应从认识QM标准的本质开始。
一、QM标准的投入、产出和结果
QM标准已经被超过850所美国高等院校采纳。它既是最佳教学实践文献和在线学习者行为和偏好研究的“产出”，同时又是优质在线课程或混合式课程设计的“投入”。至于该标准能否为学习者、教师和院校带来令人满意的“结果”，许多研究者得出了不同的结论。
二、衡量QM标准的影响所面临的挑战
识别或量化基于QM标准的课程修订效果面临着许多挑战。大多数课程在未提交QM正式审核之前，便受到过QM或其它课程设计标准的影响。在实际操作中，QM也鼓励课程开发者在提交审核前，就参考QM标准并做出修改。这就带来了第一个挑战：如何从QM标准已经产生的间接影响中，梳理出它被正式应用后所产生的影响？
另一个挑战是QM标准鼓励多种途径达到特定标准，甚至包括那些课程标准开发者没有预想到的途径。QM认为尽管课程设计需要满足课程质量标准的标准，课程开发者却无需采用相同的方式。为了保留课程的个性、确保院校能够建构自己的独特身份，QM不仅允许而且鼓励达标方法的多样性。然而，不同的达标选择可能会改变该标准对在线学习者的影响。此外，课程与课程之间通常具有很大的差异性，43条中的每一条QM标准对这些课程的影响都不尽相同。因此，如何全面归纳出QM标准应用所产生的影响是我们面临的第二个挑战。
到目前为止，我们只考虑了课程设计中可能会影响课程标准应用效果的变量，但是实际上还有许多其它因素在发挥作用。某些因素（诸如应用学习管理系统、举办迎新介绍会、提供学术性学习支持服务等）在某一特定院校中对全部课程的影响保持不变，但是在不同的院校中对在线学习者学习体验的影响则差异很大。其它一些因素（诸如教师的讲课风格、与在线学生交流的意愿、课程阅读材料的选择等）在同一院校中的不同课程、甚至同一课程的不同章节中都各不相同。所有这些因素的最终结果表明，在现实情境下，我们无法从大范围的课程和高校样本中概括出QM标准的一般影响。
三、是否存在一个折中办法？
尽管我们无法回答文章刚开始提出的那个问题，但这并不意味着对QM标准影响的有益研究也是不可能的。关键是要把精力放在能够回答的问题上和可复制的研究策略上。我们将继续考察在单一院校或院系进行的小规模研究项目，收集一门或多门课程在QM审核前学习者的学习表现和学习态度的相关数据，并且比较课程审核前后的数据结果。
尽管关注QM标准的单独标准似乎是更加准确的衡量标准效果的方法，但是却忽略了致力于同一目标的多条标准的交叉影响。一个值得让人关注的折中办法是分别关注八个大类标准：课程介绍和概览、学习目标（学习能力）、评估和检测、课程教材、课程活动和学生互动、课程技术支持、学生支持服务、以及可操作性和可用性。仔细考量这八个大类标准，我们会发现它们包含了许多共同满足QM某些主要目标的标准细则，因此更加有意义的标准分类应当基于它们是否共同满足同一目标。我们从八个大类标准中选出五条组成新的标准群组，并且增加了一些新的群组。汇集这些群组并且明确表达它们的预期影响，不仅有助于我们理解QM标准的应用目的，而且为我们提供了一条衡量标准影响的路径。这些是新群组的暂定名称：目标明确性标准（Clarity of Purpose Standards，19分）、操作简易性标准（Ease of Use Standards，18分）、课程一致性标准（Course Alignment Standards，15分）、学习者参与标准（Learner Engagement Standards，15分）、易用性标准（Accessibility Standards，10分）、知识习得/认知发展标准（Knowledge Acquisition /Cognitive Development Standards，9分）、遵从性标准（Compliance Standards，6分）、学生支持服务标准（Learner Support Standards，6分）。
1. 目标明确性标准 (19分):
课程目标需要清晰明确。这组标准会从学员的角度去提问与课程相关的作业、学习这门课程的目的和课程的实用性。这些问题有助于学员了解课程安排以及帮助他们在相应方面更好地准备和响应。这个应该算作对评分、学生学习动机和满意程度的正面影响。本组标准涉及的具体指标有：S1.2、S2.3、S2.4、S3.2、S3.3、S4.2、S4.6 。
2. 操作简易性标准（18分）：
包括课程的技术、可访问性、通用化设计、便利性、对学员在课程刚开始和驾驭课程时的困难期望，以及后续的发展等。这组标准预估学员的疑问和在课程刚开始的时候遇到的困难、对课程技术的应用以及完成各种各样的课程作业。其结果是要把学员的注意力集中到最重要的问题上，省去他们花在明确学习任务上的时间。而课程的第一个影响应该在于促使学员以有相当改善的分数去准时、准确地完成作业，其次是要用减少回应常规问题的数量和增加时间去课程质量监控来提高导师的满意度。本组标准涉及的具体指标有：S1.1、S1.5、S1.6、S1.7、S6.1、S6.3、S6.4、S8.1、S8.4。
3. 课程一致性标准（15分）：
对课程资格进行评估的目的在于协助课程设计者能够设计清楚易懂的课程，并且减少学员在与课程没有直接联系的内容、活动和评估上所花费的时间。这个标准影响可增加学员的满意程度。本组标准涉及的具体指标有：S2.1、S2.2、S3.1、S4.1。
4. 学员参与标准（15分）：
有助提高学员兴趣以及推广主动学习的活动。假如能够让学员坚持学习、成功及满意的理论成立的话，那些需要大幅修改以符合标准要求的课程和主动学习标准也应该把退学率降低，而把更多的时间花在活动、提高评级和改善整体的满意度。本组标准涉及的具体指标有：S1.8、S1.9、S3.5、S5.2、S5.3、S5.4、S6.2。
5. 易用性标准（10分）：
对残疾人士的住宿是根据政府的要求而设定的。达到这些标准可能不会对主流学生有明显的影响。所以，统计对无法自我认同的学员所造成的影响也许会对课程带来价值。本组标准涉及的具体指标有：S7.2、S8.2、S8.3、S8.5。
6. 知识习得（认知发展）标准（9分）：
对课程内容和知识能够进行明确而由浅入深的教学。通过课程，学员能够学习到更深入的知识，改善学习表现。本组标准涉及的具体指标有：S2.5、S3.4、S4.4、S4.5。
7. 遵从性标准（6分）：
遵从政策和惯例。这些标准或许可以帮助学生避免因不必要的纪律处分或处罚而扣分，也有可能会降低学生的坚持度和满意度。本组标准涉及的具体指标有：S1.3、S1.4、S4.3。
8. 学生支持服务标准（6分）：
积极主动地通过服务去指导学员，帮助他们顺利达到课程的预期目标。这里对学员，特别是对学困生的坚持和表现都有显著的影响。本组标准涉及的具体指标有：S7.1、S7.3、S7.4 。
由此可见，这几组评定标准展现了QM 标准不同的维度，这些课程质量标准群组展现了QM标准的不同维度，每一组都影响了学习者的学习表现和学习态度。对这些群组的单独研究能够帮助我们判断QM标准是否对学习者的表现和满意度产生了预期的影响。在此我提出一种能够产生可复制结果的方法，即集中研究那些一开始不满足QM标准但修订后符合标准的课程：比较它们修订前后在每一群组所获得的分数。我们可以推导出一个群组指数：
（原群组分数）/（修订后的群组分数）=群组指数
群组指数代表了课程发生变化的多少：指数越大，变化越小；反之，指数越小，变化越大。要想衡量QM标准对具体课程和学生的影响，我们应当关注那些低分群组。我们需要大量只有在修订后才满足QM标准的课程样本，从中获取课程修订前后的学生学习表现数据和期末调研数据。调研人员将会分析这些课程数据，生成它们的群组指数，然后集中研究低分群组，指出课程变化最大的方面。这些研究将有助于我们探索每一群组所对应影响学生学习表现的不同因素。该研究方法能够被广泛复制应用到许多院校的课程之中。
四、结论
只要不给某特定方法的研究（比如群组法）提供倾斜性的资助激励，那么QM标准对课程设计的影响研究就会寻求多条路径。鉴于QM的当前用户及潜在用户对找到本文开头提出的问题的答案抱有非常大的兴趣，我们有理由相信群组法在未来将会得到充分探索。
(张梦、黄丽铭编译)
回目录
|
