在原神里钓鱼，有人竟然用上了深度强化学习，还把它开源了
Posted Charmve
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在原神里钓鱼，有人竟然用上了深度强化学习，还把它开源了相关的知识，希望对你有一定的参考价值。
还愁在《原神》里钓不到鱼吗？这有一份迟到的提瓦特钓鱼指南。
在游戏圈，你可以没有玩过，但一定听过《原神》。
虽然这是一款口碑两极分化的游戏，但不得不承认《原神》是当前最为火热的游戏之一。
特别是在国外，原神可以说是火的一塌糊涂。
就在今年 9 月，这款从开放公测起便屡次登顶国内外讨论热度和手游吸金榜第一的开放世界冒险游戏更新了版本，添加 / 丰富了地图，并且上线了一款小游戏——钓鱼。游戏中多个水域都有钓鱼点，不同的位置可以钓不同的鱼。
尽管是再普通不过的玩法，还是引得玩家流连。一般来说，钓鱼一共分三个步骤：甩杆→等待鱼儿上钩→提竿。其中所涉及的原理需要一定数字图像处理与机器学习基础。模型分为鱼群定位与识别和拉杆 (和鱼博弈) 两个部分。
很多玩家都在寻找钓鱼攻略，你还在愁在《原神》里钓不到鱼吗？今天我们为你送上这份迟到的提瓦特钓鱼指南。
这份钓鱼指南可以说是完全解放双手，不需要任何操作，只需要启动程序就能完成。上线短短几天，收获 700 + 星。
GitHub 地址：https://github.com/7eu7d7/genshin_auto_fish
感兴趣的小伙伴也可以去 B 站观看视频，上线不到三天，超过 44 万次播放量。这满屏的弹幕，不禁让人直呼离谱。
已经有网友开始上手了，并评论道：已经在部署了，连夜下载了 anaconda。
B 站地址：https://www.bilibili.com/video/BV1964y1b7vV?spm_id_from=333.905.b_7570566964656f.3
项目介绍
原神自动钓鱼 AI 由两部分模型组成：YOLOX、DQN。此外，该项目还用到了迁移学习，半监督学习来进行训练。模型也包含了一些使用 opencv 等传统数字图像处理方法实现的不可学习部分。
YOLOX 用于鱼的定位和类型的识别以及鱼竿落点的定位；
DQN 用于自适应控制钓鱼过程的点击，让力度落在最佳区域内。
安装
该项目是在 python 运行环境中使用的，需要先安装 python，这里推荐使用 anaconda。
配置环境：打开 anaconda prompt(命令行界面)，创建新的 python 环境并激活（推荐 python3.7 或以下版本）：
conda create -n ysfish python=3.6
conda activate ysfish下载工程代码：使用 git 下载，或直接在 github 网页端下载后直接解压：
git clone https://github.com/7eu7d7/genshin_auto_fish.git依赖库安装：切换命令行到本工程所在目录：
cd genshin_auto_fish执行以下命令安装依赖：
python -m pip install -U pip
python requirements.py如果要使用显卡进行加速需要安装 CUDA 和 cudnn， 安装后无视上面的命令用下面这条安装 gpu 版：
pip install -U pip
python requirements.py --cuda [cuda 版本]
# 例如安装的 CUDA11.x
python requirements.py --cuda 110安装 yolox：切换命令行到本工程所在目录，执行以下命令安装 yolox：
python setup.py develop预训练权重下载：下载预训练权重 (.pth 文件)，yolox_tiny.pth 下载后将权重文件放在 工程目录 / weights 下。
YOLOX 训练工作流程：YOLOX 部分用半监督学习打标签。标注少量样本后训练模型生成其余样本伪标签再人工修正，不断迭代以提高精度。样本量较少所以使用迁移学习，在 COCO 预训练的模型上进行 fine-tuning。
将 yolox/exp/yolox_tiny_fish.py 中的 self.data_dir 的值改为解压后 2 个文件夹所在的路径。
训练代码：
python yolox_tools/train.py -f yolox/exp/yolox_tiny_fish.py -d 1 -b 8 --fp16 -o -c weights/yoloxDQN 训练工作流程：控制力度使用强化学习模型 DQN 进行训练。两次进度的差值作为 reward 为模型提供学习方向。模型与环境间交互式学习。
直接在原神内训练耗时较长，首先你需要制作一个仿真环境，大概模拟钓鱼力度控制操作。在仿真环境内预训练一个模型。随后将这一模型迁移至原神内，实现域间迁移。
仿真环境预训练代码：
python train_sim.py原神游戏内训练：
python train.py运行
以上准备就绪后，就可以运行钓鱼 AI，注意命令行窗口一定要以管理员权限启动。
显卡加速：
python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device gpucpu 运行：
python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device cpu运行后出现 init ok 后按 r 键开始钓鱼，原神需要全屏。出于性能考虑检测框不会实时显示，处理运算后台进行。
更多实现细节，读者可参考原项目。更多精彩内容请关注迈微AI研习社，每天晚上七点不见不散！
© THE END
投稿或寻求报道微信：MaiweiE_com
GitHub中文开源项目《计算机视觉实战演练：算法与应用》，“免费”“全面“”前沿”，以实战为主，编写详细的文档、可在线运行的notebook和源代码。
项目地址 https://github.com/Charmve/computer-vision-in-action
项目主页 https://charmve.github.io/L0CV-web/
推荐阅读
（更多“抠图”最新成果）
迈微AI研习社
微信号: MaiweiE_com
GitHub: @Charmve
CSDN、知乎: @Charmve
投稿: yidazhang1@gmail.com
主页: github.com/Charmve
如果觉得有用，就请点赞、转发吧！
以上是关于在原神里钓鱼，有人竟然用上了深度强化学习，还把它开源了的主要内容，如果未能解决你的问题，请参考以下文章
使用AI在原神里自动钓鱼，扫描Git仓库泄露的密码 蛮三刀酱的Github周刊第三期