基于MAR技术的小学英语辅助学习系统设计与开发.docx

基于MAR技术的小学英语辅助学习系统设计与开发 王雅芸 陈勇摘 要：增强现实（AR）技术能够为教育体验者提供新的媒介，为传统的教与学提供多样化传授知识的手段移动增强现实（MAR）作为AR的分支，在显示设备方面更小型、更轻便，促进了AR的普及使用MAR技术辅助小学英语学科的学习，在提升学生英语学识能力的同时，又赋予教育过程娱乐性本文探讨基于MAR技术的小英语辅助学习系统，描绘了该系统的设计原则与整体架构，分析实现该系统的硬件、软件及媒体资源最后，以小学英语人教版三年级下册第三单元课文《At the zoo》为例，具体说明了该系统设计与开发的整个过程关键词：增强现实（AR）；移动增强现实（MAR）；小学英语；智能；Unity；VOIDAR：TP393 文献标志码：B ：1673-8454（2018）19-0080-05一、引言移动增强现实（Mobile Augmented Reality，简称MAR）是增强现实（Augmented Reality，简称AR）的分支，目前主要有两种：传统MAR技术和基于移动终端的MAR技术传统MAR技术主要依靠PC机、头盔显示器或者GPS、磁传感器等一些外接设备来完成系统。

[1]基于移动终端的MAR技术指在iPad、智能、便携式计算机等移动终端上实现的增强现实系统[2]尤其是智能，已经配备了相机和多种传感器，拥有足够的处理能力，具有轻便、便携、易用、可负担等优势，能更好地支持AR学习从平面化的书本中获取知识，尽管是有效的，但它们仍然是有限的[3]以PEP小学英语教材为例，于越[4]在调研中指出：小学生认为该课本学习起来困难与一般的占49.7%小学英语课本中的文字、插图呈现的2D信息对小学阶段部分学生的认知具有局限性和挑战性，且经常令他们困惑和难以识记AR技术的出现很大程度上打破了这种认知维度的局限，提供叠加的3D信息并与环境正确对齐学习金字塔”[5]理论提出：以语言学习为例，初次学习的两个星期后，阅读和聆听分别能够记住学习内容的10%和20%；看图能够记住30%；看影像、展览、演示和现场观摩能够记住50%说明“视觉化”可以使语言类的学习更有效以可视化的方式呈现抽象的概念，在提高教学效率同时也能帮助学生理解和记住这些概念[6]利用MAR技术，以更简便的方式将小学英语课文内容“可视化”呈现，帮助创设情境、增强个体体验，从而学习和获得经验目前，支持小学英语学习的相关AR产品已经得到了应用，例如：Orilnbar[7]公司发布了一款支持7岁左右儿童随时随地学习英语拼写的AR游戏；厦门荣趣网络科技有限公司开发了一款名为“AR英语”的APP，涵盖了小学三年级英语课本中大部分英文词汇。

本研究旨在围绕小学英语课文内容，设计开发MAR技术支持的虚拟动态景物环境，将视频、模型、音频等实时“写入”英语课文，补充标准课程，并在拟真场景进行简单互动拓展，通过个体体验建构知识体系，最终达到知识的理解与内化二、设计原则与整体架构1.设计原则基于MAR的小学英语辅助学习系统的设计原则应考虑如何在发挥AR技术优势的同时保证教学内容贯穿始终，需要遵循以下4个要素：学习目标明确在明确课文学习目标、知识重难点的基础上进行AR功能的编导，融合学习目标创设拟真学习环境和直观学习资源，达到较高层次的知识建构学习内容紧贴课文AR呈现的内容应紧紧围绕课文学习内容展开，通过扫描课文中标记图片可以看到配合课文情境的图像、模型、文字、声音等信息将抽象信息与直观信息相结合体现了它们之间的内在联系，让学习者更加直观全面地理解词汇及语法加深记忆[8]简单交互学习金字塔”[9]理论提出：学习效果在50%以上的，都是团队学习、主动学习和参与式学习系统交互功能可以提高学生的学习热情与学习主观能动性针对小学学科的AR系统交互设计要具备操作简易且能调动学生感官的特点针对英语学科应实现团队参与式对话的简单交互方式，既能增加趣味性，又能培养英语交际能力。

良好感官体验质量较高的视觉、听觉与交互体验，可以获得更好的学习情境沉浸感，较长时间抓住学生的注意力，提升用户体验2.系统整体架构设计系统整体架构设计如图1所示，均以以上几个设计原则要素为基础进行拓展选择小学英语课文单元，对小学阶段学习该课文单元的对象进行特征分析，目的主要是了解学习对象，选择适当的感官刺激，为后续的系统功能模块设计提供依据；对课文单元学习目标分析，包括以单词语法识记为中心的知识目标、以语言交際能力为中心的能力目标、协作自主学习目标、情感文化目标及重难点等，融合学习目标创设情境根据学习对象的特征和需要达到的不同学习目标，编导设计相应情节的功能模块，采集和创作课本中的标记图与需要展示的模型、视频、音频等开发资源，进行落地化开发系统应用安装成功后，学习者手持智能扫描需要学习的相应单元课本标记图，根据显示出的3D虚拟图像，学习者可以变换摄像头的距离或者移动书本来完成对虚拟图像的观看或观察三、资源方案实现该系统的开发资源主要有硬件资源、软件资源、媒体资源体验者所需资源主要有：智能、网络、小学通用英语课本1.系统硬件资源分析AR硬件从较高的层面上来说，主要分为两个种类：可穿戴和不可穿戴（便携式和固定式设备）。

可穿戴包括：头盔、耳机及未来会出现的隐形眼镜不可穿戴设备包括移动设备（智能、平板电脑、笔记本电脑、武器等）、固定式设备（电视机、个人电脑、播放器等）和平视显示器（集成式或后置式）[10]如今，智能设备处理速度迅速，摄像头像素高清，具备电子罗盘、GPS、陀螺仪，可实现重力加速度计算、光线和距离感应等功能，已完全满足了AR的硬件要求，其轻便、便携、易用、普及等优势更是实现MAR技术应用的理想平台本系统采用的MAR硬件平台是具有网络和摄像头的PC及Android系统的智能2.系统软件资源分析（1）开发环境Unity是一个层级式的开发环境，用于创建三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合性创作工具，其编辑器运行在Windows和Mac OS X下，可发布游戏至Windows、Mac、iPhone、Android等平台在2107年国际混合与增强现实研讨会（ISMAR）中，Vinh Nguyen与Tommy Dan提出了在Unity中建立虚拟现实和增强现实学习环境Unity是目前优秀且常用的开发AR和VR学习环境的引擎本系统采用的是Unity 2017.1.0版本，其脚本环境是Untiy自带的MonoDevelop工具。

2）软件开发工具包（SDK）现阶段AR的SDK已经非常多了，例如国外Metaio公司的Metaio SDK、高通公司的Vuforia SDK、Total Immersion公司的D Fusion SDK，且都在与Unity和Html5结合前两者虽然分别已被苹果公司和PTC公司收购，但目前并不会对使用者造成太大影响值得一提的是，Unity发布的2017.2及以上版本中集成了Vuforia SDK，为用户提供了更方便的AR开发环境国内AR SDK虽然起步较晚，但是发展迅速，已经能为开发者提供良好的用户体验，例如视辰的EasyAR SDK、亮风台的HiAR SDK、米有的太虚VOIDAR SDK等表1[11-15]对比了现阶段几款国内常用开发AR的SDK插件本系统采用的是VOIDAR SDK，其优势主要有：免费云识别、无水印、不使用云识别开发时无需将识别图上传至后台数据库、免费的录屏功能3）媒体资源要进行精确的图像识别，就需要用细节特征丰富的平面静态图像作为识别图考虑到系统遵循学习内容紧贴课文的原则，将小学通用英语课本中的图片作为通用识别图，方便学生手持课本就可以体验AR内容系统中用到的3D模型制作完成后需导出为fbx格式。

VOIDAR SDK视频支持PC端为mov、mpg、mpeg、mp4、avi格式；Android端为3gp、mp4格式；iOS端为3gp、mp4、avi格式；音频为mp3格式四、开发与应用本研究以英语人教版3年级下册第三单元课文《At the zoo》为例，依托于智能、Unity与DVOIDAR SDK，开发小学英语辅助学习的MAR应用1.学习者特征与学习目标分析（1）学习者特征分析小学三年级（8-9岁）是具体形象思维向抽象思维为主要形式的过渡期中的转折期他们开始学会掌握初步的科学定义，同时还离不开直接经验和感性知识，思维仍具有很大成分的具体形象性[16]同时，Lin和Hsiao[17]研究了静止图像与简单动画对学习者学习词汇的影响，结果表明，动画组的学习者在词汇表现上明显好于图片组所以在模块设计时需尽可能将抽象概念具像化，运用生动的视频和模型代替文字和图片小学三年级阶段的学生感知力和观察力较片面，起点水平较低，因此要选择相对简单的交互内容和交互方式，抓住非智力因素有关特征，提高学习过程的注意力，调动学习兴趣，培养丰富的情感意识2）学习目标分析该单元的学习目标主要划分为知识目标、能力目标、情感文化目标与重难点。

知识目标：学生能识记一些简单的形容词和器官名词，例如：thin、fat、eyes、nose；能力目标：能在对话中运用所学形容词描述动物特征；情感文化目标：爱护动物，懂得动物是世界不可缺少的一部分；重难点：能以单词和句型为依托灵活交流拓展2.功能模块根据学习者特征与学习目标分析，系统将单元课文《At the zoo》的AR功能划分为四个模块：视频模块、课文重点单词识学模块、情景互动对话模块、录屏模块视频模块：在该模块中当学习者扫描《At the zoo》单元封面图片时出现与该单元相关的动画视频并播放，视频内容包括该单元的词汇、儿歌、课文对话等这类视频资源通常与课本配套出版，获取较为便捷课文重点单词识学模块：该单元需要学习的英文单词侧重于简单形容词及器官名词，单词的学习方式是在动物园观察动物的情境下，使用所学单词对动物特征进行描述该模块实现显示课文中拟真动物模型，并在模型上绑定相应单词，以生动、形象化的方式帮助学生识记单词，了解动物，爱护动物情境互动对话模块：交流是学习语言的重要特征之一，该模块为学生提供可进行简单观察、模仿和交流的一个对话环境两张或两张以上的书本图片在扫描后出现相应的动物模型，当书本图片靠近到一定距离后，模型开始进行简单的互动并播放与课文内容相关的英文对话，学生可以通过按钮关闭对话声音，模仿或者创造自己的对话内容。

这一简单交互功能可以实现团队学习与参与式学习录屏模塊：通过录屏技术记录当前操作时所看到的画面并将这些画面存储，既能分享输出，又能方便对AR展示的学习内容快速浏览3.开发过程（1）AR环境布置第一步，登录Unity官网（https：// 2017.1.0，按照提示安装，需要注意的是，在Unity的安装路径中不能出现中文字符，否则运行会报错第二步，登录VOIDAR官网（https：// patch1 beta版本SDK注册并登录云平台（http：//），创建云数据库，完成后获得Accsess Key和Secret Key第三步，将SDK导入Unity中第四步，删除Scene自带的Main Camera，展开VoidAR中Prefabs目录，将ARCamera和ImageTarget拖至Hierarchy中选中ARCamera，在Void AR Behaviour组件属性中勾选Use Cloud，填入Access Key与Secret Key对应的值点击Add Compoent，添加并绑定。