在原神里钓鱼，有人竟用上了深度强化学习，还把它开源了

Posted 2022-05-17 程序员的店小二

还愁在《原神》里钓不到鱼吗？这有一份迟到的提瓦特钓鱼指南。

在游戏圈，你可以没有玩过，但一定听过《原神》。

虽然这是一款口碑两极分化的游戏，但不得不承认《原神》是当前最为火热的游戏之一。

特别是在国外，原神可以说是火的一塌糊涂。

这款从开放公测起便屡次登顶国内外讨论热度和手游吸金榜第一的开放世界冒险游戏上线了一款小游戏——钓鱼。游戏中多个水域都有钓鱼点，不同的位置可以钓不同的鱼。

尽管是再普通不过的玩法，还是引得玩家流连。一般来说，钓鱼一共分三个步骤：甩杆→等待鱼儿上钩→提竿。其中所涉及的原理需要一定数字图像处理与机器学习基础。模型分为鱼群定位与识别和拉杆 (和鱼博弈) 两个部分。

很多玩家都在寻找钓鱼攻略，你还在愁在《原神》里钓不到鱼吗？今天我们为你送上这份迟到的提瓦特钓鱼指南。

这份钓鱼指南可以说是完全解放双手，不需要任何操作，只需要启动程序就能完成。上线短短几天，收获 700 + 星。

GitHub 地址：https://github.com/7eu7d7/genshin_auto_fish

感兴趣的小伙伴也可以去 B 站观看视频。这满屏的弹幕，不禁让人直呼离谱。

已经有网友开始上手了，并评论道：已经在部署了，连夜下载了 anaconda。

B 站地址：https://www.bilibili.com/video/BV1964y1b7vV?spm_id_from=333.905.b_7570566964656f.3

项目介绍

原神自动钓鱼 AI 由两部分模型组成：YOLOX、DQN。此外，该项目还用到了迁移学习，半监督学习来进行训练。模型也包含了一些使用 opencv 等传统数字图像处理方法实现的不可学习部分。

• YOLOX 用于鱼的定位和类型的识别以及鱼竿落点的定位；

• DQN 用于自适应控制钓鱼过程的点击，让力度落在最佳区域内。

安装

该项目是在 python 运行环境中使用的，需要先安装 python，这里推荐使用 anaconda。

配置环境：打开 anaconda prompt(命令行界面)，创建新的 python 环境并激活（推荐 python3.7 或以下版本）：

conda create -n ysfish python=3.6conda activate ysfish

下载工程代码：使用 git 下载，或直接在 github 网页端下载后直接解压：

git clone https://github.com/7eu7d7/genshin_auto_fish.git

依赖库安装：切换命令行到本工程所在目录：

cd genshin_auto_fish

执行以下命令安装依赖：​​​​​​​

python -m pip install -U pippython requirements.py

如果要使用显卡进行加速需要安装 CUDA 和 cudnn， 安装后无视上面的命令用下面这条安装 gpu 版：

pip install -U pippython requirements.py --cuda [cuda 版本]# 例如安装的 CUDA11.xpython requirements.py --cuda 110

安装 yolox：切换命令行到本工程所在目录，执行以下命令安装 yolox：

python setup.py develop

预训练权重下载：下载预训练权重 (.pth 文件)，yolox_tiny.pth 下载后将权重文件放在 工程目录 / weights 下。

YOLOX 训练工作流程：YOLOX 部分用半监督学习打标签。标注少量样本后训练模型生成其余样本伪标签再人工修正，不断迭代以提高精度。样本量较少所以使用迁移学习，在 COCO 预训练的模型上进行 fine-tuning。

将 yolox/exp/yolox_tiny_fish.py 中的 self.data_dir 的值改为解压后 2 个文件夹所在的路径。

训练代码：

python yolox_tools/train.py -f yolox/exp/yolox_tiny_fish.py -d 1 -b 8 --fp16 -o -c weights/yolox

DQN 训练工作流程：控制力度使用强化学习模型 DQN 进行训练。两次进度的差值作为 reward 为模型提供学习方向。模型与环境间交互式学习。

直接在原神内训练耗时较长，首先你需要制作一个仿真环境，大概模拟钓鱼力度控制操作。在仿真环境内预训练一个模型。随后将这一模型迁移至原神内，实现域间迁移。

仿真环境预训练代码：

python train_sim.py

原神游戏内训练：

python train.py

运行

以上准备就绪后，就可以运行钓鱼 AI，注意命令行窗口一定要以管理员权限启动。

显卡加速：

python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device gpu

cpu 运行：

python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device cpu

运行后出现 init ok 后按 r 键开始钓鱼，原神需要全屏。出于性能考虑检测框不会实时显示，处理运算后台进行。

更多实现细节，读者可参考原项目。
本文来自微信公众号“机器之心”