智能图像识别的写作教学应用

Posted 2021-04-07 技术与教育

内容简介

本文介绍的是利用智能图像识别技术把照片识别为多个词汇供学习者选择，从而辅助写作过程的一项研究。除了图像识别技术这种“黑科技”的使用之外，学生的写作过程基于真实语境和其亲身经历的照片，是一种多模态写作过程。这是在信息时代培养学生多元识读能力（multiliteracies）的一种典型方法，值得我们借鉴。点击文末的“阅读原文”可查看该论文的基本信息。

本研究题目为 Self-experienced storytelling in an authentic context to facilitate EFL writing（真实情景下以自我体验式故事描述的方法促进英语写作的研究），2020 年 4 月发表于 Computer Assisted Language Learning 期刊，作者是台湾中央大学与越南国民经济大学的四名学者合作成果。本研究主要探讨多模态情境下，学习者在两个真实写作活动即讲述故事与描述环境中的写作表现及行为。研究对象是 46 名参与“数字化学习”课程的台湾大学生。辅助写作工具为作者团队自己开发的 EzVision 手机app。

Ezvision是一款利用谷歌提供的云技术，旨在支持英语写作的应用。Ezvion 有三种主要功能：照片摄取、词汇提示、笔记功能。如图 1 所示，基本使用过程是：

1. 用该 app 对身边的事物或环境拍照；

2. 系统识别图片内容后，会智能地提供相关词汇或短语供选用，学生可对词汇删除、添加、修改。

3. 学生可听词汇发音、为照片记笔记，或截屏保存到小卡片中。

以下图 2 显示的是笔记功能，允许学生修订和编辑他们的写作草稿，如增加一个新的句子，改变原选定的词汇或者修改语法。

每种功能都辅助写作过程的不同阶段。照片摄取和词汇提示这两种功能是为写作前的阶段准备的；而笔记功能则用于写作的草稿、修改和编辑阶段。

研究过程

本研究历时六周，被试分成两组，分别是实验组和控制组。实验组运用EzVision进行 “tell your story” （说说你的故事）写作训练，控制组则运用EzVision进行 “describe your context” （描述你的环境）写作训练。前者用EzVision拍下环境图片，通过描述事件或人物写成有完整故事的记叙文；后者则用EzVision拍下环境图片，并将环境描述下来写成说明文。

本研究者在实验第一周先对被试进行前测和学习指导，随后进行为期三周的写作训练。实验组与控制组的写作话题均一致。第五周进行后测，第六周对被试进行关于本次学习活动的系统性访谈。实验过程中，研究者收集了被试使用EzVision的数据，包括听单词、拍照和做笔记的次数。前后测是基于Klimova (2011) 的评价量规，其包含了写作内容、组织、词汇、语法准确性和连贯性五个方面。最后，一位研究者和一名经验丰富的教师分别对学生的作文进行评分以确保结果的可靠性。

研究结果

1.  两组在写作话题的表现上并没有太大的差异。然而细观写作的五个分析维度时，发现两组在这些方面出现极大差异。实验组（记叙文）在篇章的组织结构方面优于对照组。同样，在衔接和逻辑一致性方面，实验组得分明显高于对照组的得分。

2.  EzVision 的确可以在真实学习情境中促进二语学习者的写作能力提升。尤其是拍照和笔记两个功能对实验组学生的写作技能产生了积极正面的影响。在写前阶段，实验组学生不断进行构思，利用照片功能寻找与主题内容最切合的照片。在写作创编的整个过程中，学生利用笔记功能起草文稿、修改文稿和编辑文稿，这一些都有助于产出高质量的写作。

3.  实验组（记叙文）学生的总体、各维度写作成绩均显著高于对照组学生。原因是什么呢？在真实学习情境中，叙事型写作活动是由一系列的事件组成，学生可以更多的表达自己的情感和想法；而描述型写作活动只是对人物事件等进行描述，在内容的丰富性和语言的情感性都没有要求。

如下图是说明文组（左）与记叙文组（右）的写作样本比较。

研究结论

1.  故事叙述对学习表现有积极影响。

2.  在恰当的学习活动中使用真实的语料是一种简便的方式，可用来提高学生们的综合语言能力和在实际语境中运用语言的自信心。

3.  由于 Ezvison 的使用，学生们能够沉浸在他们周围的情景中，能更好写出结构完整、内容丰富的作品。

技术延伸

目前图像识别技术应用较多的是文字识别、人脸识别、以图搜图（如百度、谷歌、必应搜索引擎均可实现）等方面。而把物体图像内容识别出具体的文字提示的应用也已有很多，如手机软件 AlphaPic、慧眼识图等。但作为专门用途的语言学习应用，尚不多见。

本文所介绍的研究工具 EzVision 目前还无法在应用市场下载到。苏州清睿教育的“口语100”平台中，则有一个有趣的功能叫“拍拍说”：拍照上传后，系统会智能识别照片中的内容，并初步组成几个英文句子供选用，如果不满意可以修改或自己写新的句子。点击“说一说”可以同时用语音记录自己对照片的口头描述。

这种活动关注了课标提出的“看”的能力，即看图说话和看图描述的能力，特别注重在看后写、看后说的过程中对基本词汇、句型和结构的把握，同时也考查了批判性思维，是一种值得尝试的学习活动。

• 
  

特别说明

本文初稿由华南师范大学外文学院英语学科教学硕士生课程《外语信息化教学与研究》2019级第 7 学习小组同学（林若兰、林敏瑜、林思敏、陈婷、陈琪、尹红英）撰写，经刘晓斌修改。本文所得赞赏将全部奖励给该小组同学，欢迎读者支持鼓励。