AI 相关术语了解记录

Posted 2023-04-25 Cong0ks

RLFH (Reinforcement Learning from Human Feedback)  从人类反馈中学习的强化学习

# 训练过程

Collect human feedback 收集人类反馈 

Train reward model 训练奖励模型

RM Reward Model 奖励模型

 

Train policy with PPO  训练策略模型

Policy Gradient RL ，策略梯度强化学习

PPO Proximal Policy Optimization，近端策略优化

 

LLM (Large language model) 大型语言模型

 

RL Reinforcement Learning 强化学习

强化学习是一种机器学习类型，它通过最大化奖励来训练代理在环境中做出决策

 

术语记录机器学习

Evernote Export

• 实例：要对其进行预测的事物。例如，实例可以是一个网页，您希望将其分类为“与猫相关”或“与猫无关”。
• 标签：预测任务的答案，它可以是由机器学习系统生成的答案，也可以是训练数据中提供的正确答案。例如，某个网页的标签可能是“与猫相关”。
• 特征：预测任务中使用的实例的属性。例如，某个网页可能具有“包含字词‘猫’”这一特征。特征列：一组相关特征，例如用户可能居住的所有国家/地区的集合。样本的特征列中可能包含一个或多个特征。
• 特征列是 Google 专用的术语。特征列在 Yahoo/Microsoft 使用的 VM 系统中被称为“命名空间”或场。
• 样本：一个实例（及其特征）和一个标签。模型：预测任务的统计表示法。您使用样本训练一个模型，然后使用该模型进行预测。
• 指标：您关心的一个数值。也许（但不一定）可以直接得到优化。
• 目标：算法尝试优化的一种指标。
• 管道：机器学习算法的基础架构。管道包括从前端收集数据、将数据放入训练数据文件、训练一个或多个模型以及将模型运用到生产环境。
• 点击率：点击广告中的链接的网页访问者所占的百分比。

更多细节关于机器学习术语

%0A*%20**%E5%AE%9E%E4%BE%8B**%EF%BC%9A%E8%A6%81%E5%AF%B9%E5%85%B6%E8%BF%9B%E8%A1%8C%E9%A2%84%E6%B5%8B%E7%9A%84%E4%BA%8B%E7%89%A9%E3%80%82%E4%BE%8B%E5%A6%82%EF%BC%8C%E5%AE%9E%E4%BE%8B%E5%8F%AF%E4%BB%A5%E6%98%AF%E4%B8%80%E4%B8%AA%E7%BD%91%E9%A1%B5%EF%BC%8C%E6%82%A8%E5%B8%8C%E6%9C%9B%E5%B0%86%E5%85%B6%E5%88%86%E7%B1%BB%E4%B8%BA%E2%80%9C%E4%B8%8E%E7%8C%AB%E7%9B%B8%E5%85%B3%E2%80%9D%E6%88%96%E2%80%9C%E4%B8%8E%E7%8C%AB%E6%97%A0%E5%85%B3%E2%80%9D%E3%80%82%0A*%20**%E6%A0%87%E7%AD%BE**%EF%BC%9A%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1%E7%9A%84%E7%AD%94%E6%A1%88%EF%BC%8C%E5%AE%83%E5%8F%AF%E4%BB%A5%E6%98%AF%E7%94%B1%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%B3%BB%E7%BB%9F%E7%94%9F%E6%88%90%E7%9A%84%E7%AD%94%E6%A1%88%EF%BC%8C%E4%B9%9F%E5%8F%AF%E4%BB%A5%E6%98%AF%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E4%B8%AD%E6%8F%90%E4%BE%9B%E7%9A%84%E6%AD%A3%E7%A1%AE%E7%AD%94%E6%A1%88%E3%80%82%E4%BE%8B%E5%A6%82%EF%BC%8C%E6%9F%90%E4%B8%AA%E7%BD%91%E9%A1%B5%E7%9A%84%E6%A0%87%E7%AD%BE%E5%8F%AF%E8%83%BD%E6%98%AF%E2%80%9C%E4%B8%8E%E7%8C%AB%E7%9B%B8%E5%85%B3%E2%80%9D%E3%80%82%0A*%20**%E7%89%B9%E5%BE%81**%EF%BC%9A%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1%E4%B8%AD%E4%BD%BF%E7%94%A8%E7%9A%84%E5%AE%9E%E4%BE%8B%E7%9A%84%E5%B1%9E%E6%80%A7%E3%80%82%E4%BE%8B%E5%A6%82%EF%BC%8C%E6%9F%90%E4%B8%AA%E7%BD%91%E9%A1%B5%E5%8F%AF%E8%83%BD%E5%85%B7%E6%9C%89%E2%80%9C%E5%8C%85%E5%90%AB%E5%AD%97%E8%AF%8D%E2%80%98%E7%8C%AB%E2%80%99%E2%80%9D%E8%BF%99%E4%B8%80%E7%89%B9%E5%BE%81%E3%80%82%E7%89%B9%E5%BE%81%E5%88%97%EF%BC%9A%E4%B8%80%E7%BB%84%E7%9B%B8%E5%85%B3%E7%89%B9%E5%BE%81%EF%BC%8C%E4%BE%8B%E5%A6%82%E7%94%A8%E6%88%B7%E5%8F%AF%E8%83%BD%E5%B1%85%E4%BD%8F%E7%9A%84%E6%89%80%E6%9C%89%E5%9B%BD%E5%AE%B6%2F%E5%9C%B0%E5%8C%BA%E7%9A%84%E9%9B%86%E5%90%88%E3%80%82%E6%A0%B7%E6%9C%AC%E7%9A%84%E7%89%B9%E5%BE%81%E5%88%97%E4%B8%AD%E5%8F%AF%E8%83%BD%E5%8C%85%E5%90%AB%E4%B8%80%E4%B8%AA%E6%88%96%E5%A4%9A%E4%B8%AA%E7%89%B9%E5%BE%81%E3%80%82%0A*%20**%E7%89%B9%E5%BE%81%E5%88%97**%E6%98%AF%20Google%20%E4%B8%93%E7%94%A8%E7%9A%84%E6%9C%AF%E8%AF%AD%E3%80%82%E7%89%B9%E5%BE%81%E5%88%97%E5%9C%A8%20Yahoo%2FMicrosoft%20%E4%BD%BF%E7%94%A8%E7%9A%84%20VM%20%E7%B3%BB%E7%BB%9F%E4%B8%AD%E8%A2%AB%E7%A7%B0%E4%B8%BA%E2%80%9C%E5%91%BD%E5%90%8D%E7%A9%BA%E9%97%B4%E2%80%9D%E6%88%96%E5%9C%BA%E3%80%82%0A*%20**%E6%A0%B7%E6%9C%AC**%EF%BC%9A%E4%B8%80%E4%B8%AA%E5%AE%9E%E4%BE%8B%EF%BC%88%E5%8F%8A%E5%85%B6%E7%89%B9%E5%BE%81%EF%BC%89%E5%92%8C%E4%B8%80%E4%B8%AA%E6%A0%87%E7%AD%BE%E3%80%82%E6%A8%A1%E5%9E%8B%EF%BC%9A%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1%E7%9A%84%E7%BB%9F%E8%AE%A1%E8%A1%A8%E7%A4%BA%E6%B3%95%E3%80%82%E6%82%A8%E4%BD%BF%E7%94%A8%E6%A0%B7%E6%9C%AC%E8%AE%AD%E7%BB%83%E4%B8%80%E4%B8%AA%E6%A8%A1%E5%9E%8B%EF%BC%8C%E7%84%B6%E5%90%8E%E4%BD%BF%E7%94%A8%E8%AF%A5%E6%A8%A1%E5%9E%8B%E8%BF%9B%E8%A1%8C%E9%A2%84%E6%B5%8B%E3%80%82%0A*%20**%E6%8C%87%E6%A0%87**%EF%BC%9A%E6%82%A8%E5%85%B3%E5%BF%83%E7%9A%84%E4%B8%80%E4%B8%AA%E6%95%B0%E5%80%BC%E3%80%82%E4%B9%9F%E8%AE%B8%EF%BC%88%E4%BD%86%E4%B8%8D%E4%B8%80%E5%AE%9A%EF%BC%89%E5%8F%AF%E4%BB%A5%E7%9B%B4%E6%8E%A5%E5%BE%97%E5%88%B0%E4%BC%98%E5%8C%96%E3%80%82%0A*%20**%E7%9B%AE%E6%A0%87**%EF%BC%9A%E7%AE%97%E6%B3%95%E5%B0%9D%E8%AF%95%E4%BC%98%E5%8C%96%E7%9A%84%E4%B8%80%E7%A7%8D%E6%8C%87%E6%A0%87%E3%80%82%0A*%20**%E7%AE%A1%E9%81%93**%EF%BC%9A%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95%E7%9A%84%E5%9F%BA%E7%A1%80%E6%9E%B6%E6%9E%84%E3%80%82%E7%AE%A1%E9%81%93%E5%8C%85%E6%8B%AC%E4%BB%8E%E5%89%8D%E7%AB%AF%E6%94%B6%E9%9B%86%E6%95%B0%E6%8D%AE%E3%80%81%E5%B0%86%E6%95%B0%E6%8D%AE%E6%94%BE%E5%85%A5%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E6%96%87%E4%BB%B6%E3%80%81%E8%AE%AD%E7%BB%83%E4%B8%80%E4%B8%AA%E6%88%96%E5%A4%9A%E4%B8%AA%E6%A8%A1%E5%9E%8B%E4%BB%A5%E5%8F%8A%E5%B0%86%E6%A8%A1%E5%9E%8B%E8%BF%90%E7%94%A8%E5%88%B0%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E3%80%82%0A*%20**%E7%82%B9%E5%87%BB%E7%8E%87**%EF%BC%9A%E7%82%B9%E5%87%BB%E5%B9%BF%E5%91%8A%E4%B8%AD%E7%9A%84%E9%93%BE%E6%8E%A5%E7%9A%84%E7%BD%91%E9%A1%B5%E8%AE%BF%E9%97%AE%E8%80%85%E6%89%80%E5%8D%A0%E7%9A%84%E7%99%BE%E5%88%86%E6%AF%94%E3%80%82%0A%23%23%23%23%20%5B%E6%9B%B4%E5%A4%9A%E7%BB%86%E8%8A%82%E5%85%B3%E4%BA%8E%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%9C%AF%E8%AF%AD%5D(https%3A%2F%2Fdevelopers.google.com%2Fmachine-learning%2Fglossary%2F)