CSUR-IGOpenHarmony啃论文俱乐部--我在ACM Survey阅读计算机综述，看到了卷54第八期十六篇：自动编程提示生成概览：HINTS 框架

Posted 2022-12-13

• 本文出自ACM技术洞察研究团队(CSUR-IG)，Computing Surveys Interest Group
• 成员：

• 深圳大学大三学生
• 中原工学院研一学生
• 中原工学院研一学生
• 安阳工学院大三学生
• 南通科技学院大三学生

• 我们是来自4个地方的同学，我们在OpenHarmony成长计划啃论文俱乐部里，与华为、软通动力、润和软件、拓维信息、深开鸿等公司一起，学习和研究操作系统技术…

文章链接：

原文链接：​​A Survey of Automated Programming Hint Generation: The HINTS Framework​​

译文链接：​​自动编程提示生成概览：HINTS 框架​​

我们在飞书文档给各位读者贴心做了全文翻译以及阅读笔记。

摘要

原文

Automated tutoring systems offer the flexibility and scalability necessary to facilitate the provision of high-quality and universally accessible programming education. To realise the potential of these systems, recent work has proposed a diverse range of techniques for automatically generating feedback in the form of hints to assist students with programming exercises. This article integrates these apparently disparate approaches into a coherent whole. Specifically, it emphasises that all hint techniques can be understood as a series of simpler components with similar properties. Using this insight, it presents a simple framework for describing such techniques, the Hint Iteration by Narrow-down and Transformation Steps framework, and surveys recent work in the context of this framework. Findings from this survey include that (1) hint techniques share similar properties, which can be used to visualise them together, (2) the individual steps of hint techniques should be considered when designing and evaluating hint systems, (3) more work is required to develop and improve evaluation methods, and (4) interesting relationships, such as the link between automated hints and data-driven evaluation, should be further investigated. Ultimately, this article aims to facilitate the development, extension, and comparison of automated programming hint techniques to maximise their educational potential.

译文

自动辅导系统提供了必要的灵活性和可扩展性，以促进提供高质量和普遍可访问的编程教育。为了实现这些系统的潜力，最近的工作提出了多种技术，以提示的形式自动生成反馈，以帮助学生进行编程练习。本文将这些明显不同的方法整合为一个连贯的整体。具体来说，它强调所有的提示技术都可以理解为一系列具有相似属性的更简单的组件。利用这种洞察力，它提出了一个描述此类技术的简单框架，即缩小范围和转换步骤框架的提示迭代，并调查了该框架背景下的最新工作。本次调查的结果包括：(1) 提示技术具有相似的属性，可用于将它们一起可视化，(2) 在设计和评估提示系统时应考虑提示技术的各个步骤，(3) 需要做更多的工作开发和改进评估方法，以及（4）有趣的关系，例如自动提示和数据驱动评估之间的联系，应该进一步研究。最终，本文旨在促进自动化编程提示技术的开发、扩展和比较，以最大限度地发挥其教育潜力。(3) 需要做更多的工作来开发和改进评估方法，以及 (4) 有趣的关系，例如自动提示和数据驱动评估之间的联系，应该进一步研究。最终，本文旨在促进自动化编程提示技术的开发、扩展和比较，以最大限度地发挥其教育潜力。(3) 需要做更多的工作来开发和改进评估方法，以及 (4) 有趣的关系，例如自动提示和数据驱动评估之间的联系，应该进一步研究。最终，本文旨在促进自动化编程提示技术的开发、扩展和比较，以最大限度地发挥其教育潜力。

技术洞察报告

技术地图

用途

本文提出了一个新颖的框架，即 HINTS 框架，用于描述提示生成技术，并在该框架的上下文中调查了这些技术。

场景

通过将提示技术视为一系列较小的步骤，可以将最近的工作一起绘制成一个连贯的画面。我们认为，这种关于提示技术的观点对我们如何设计、交流和评估提示系统具有影响，并且可以为提示生成的本质提供有用的见解。最后，我们已经确定了提示生成和评估技术之间的潜在关系，可以用来改进两者，并认为提示技术的分段性质需要进一步发展评估方法。如图：本文主要调查了HINTS框架在应用计算和计算方法的应用，又在两者之下展开调查了教育方面的计算机辅助教学以及计算方法的人工智能解决。

技术点

1. 从同伴或教师计划状态中选择下一步

• Hint Factory框架

2. 朝着目标迈出下一步

• AskElle框架

3. 比较程序功能

• Codewebs 引擎

• 如何将教师反馈附加到学生项目的特定特征以产生相关提示的示例

4. 自动修复程序

• 训练循环神经网络 (RNN)以预测正确的程序片段（令牌）序列

1. 涉及使用机器学习生成表示正确程序特征的模型的提示技术示例

1. 涉及自动更正学生程序的搜索的提示技术示例

1. 报告的能够通过自动修复技术更正的程序百分比

未来待研究：来自 HINTS 框架下的测量提示技术的见解

• 使用它们的组件将提示技术组合成一个连贯的图片是可能的

• 在提示系统的设计、沟通和评估过程中，应考虑包含提示技术的较小组件
• 提示生成技术与数据驱动的提示评估技术之间的联系应进一步研究
• 提示技术的设计可以提供对提示生成本质的洞察
• 来自组件的多种可能的提示技术需要进一步研究评估方法

提出目前存在的问题

• 教师和研究人员很难确定哪些技术对不同的情况最有效
• 评估的耗时性质、提示技术的复杂性以及这些技术产生的提示的明显不同性质（例如，针对不同的目的、编程语言和学生）妨碍了对每种技术进行全面研究以获得明确的答案。