Jenkins部署的Windows爬虫机如何配置

Posted 2023-02-14 但老师

文章目录

• 一 安装软件
• • 1. Python
  • • 爬虫必备安装包
  • 2. Visual Studio Code
  • 3. Git
  • • 3.1. 备选 - OneDrive
  • 4. Java
  • 5. 向日葵
• 二 配置Chrome
• • 1. 查看Chrome版本
  • 2. 下载ChromeDriver
  • 3. 解压放入Python的Scripts文件夹
• 三 生成SSH密钥对

有时候, 一台Windows只是用来部署一些任务, 例如爬虫任务. 这个时候需要简单配置一下

一 安装软件

1. Python

推荐Python3.10, Python简直爬虫首选.

爬虫必备安装包

模块	使用场景
pymysql	与mysql交互的不二选择
selenium	爬虫必备, 完全无法被检测到的网页模拟操作神器
requests	爬虫必备,接口交互必用
requests_toolbelt	接口上传文件必备
ddddocr	爬虫必备,破解图片验证码神器
opencv-python	图像识别基础包,不会主动使用, 但是无处不在
pillow	大部分使用场景都是用来截图和拼图

2. Visual Studio Code

☁️部署机用来改代码, 拉仓库, 实际用得不多. 偶尔部署有问题, 测试用用

3. Git

不主动用, 却又无处不在

3.1. 备选 - OneDrive

☁️如果不喜欢或不习惯Git的话, 还是在每台电脑的固定位置都装一个OneDrive吧, 使用环境变量来写一套万用代码

4. Java

其实只需要Java Runtime Environment即可, 腾讯软件管家即可下载
其实除了Python3.10, 2-5这4个都可以在软件管家下载

5. 向日葵

☁️远程查看任务机状态必备啊

二 配置Chrome

1. 查看Chrome版本

2. 下载ChromeDriver

selenium最佳搭档ChromeDriver, 根据Chrome版本, 可以在国内镜像平台下载 : ChromeDriver Mirror
不要求数字完全一致, 大版本相同就可以使用

3. 解压放入Python的Scripts文件夹

这个需要找找了, 一般是根据Python文件打开所在文件夹, 下面就有Scripts文件夹

三 生成SSH密钥对

打开cmd(实际上我一般打开的是PowerShell), 输入下面命令

ssh-keygen -t rsa -C '[e-mail]'

一路回车, 最后使用cat或者直接记事本打开id_rsa.pub文件, 复制到GitCodeSSH密钥处保存即可

接下来, 创建Jenkins节点, 建立Git任务拉取项目, 再建一个执行任务就可以了

- END -