从教务网爬虫程序到腾讯云上的运行

Posted 2020-11-14 qws-1216

从教务网爬虫程序到腾讯云上的运行

主要内容有以下几方面：

• pip3以及相关python包的安装
• mysql数据库的连接以及相关操作
• 腾讯云服务器的设置与连接，文件传输等操作

pip3以及相关python包的安装

在使用python3时，需要安装对应的pip版本，即pip3.ubuntu系统下的安装方式如下：
$ sudo apt-get install python3-pip
安装完成后就可以使用pip3来安装相应的python包，如requests包的安装方式如下：
$ sudo pip3 install requests
*当pip3从低版本升级到10.0后会出现cannot import name ‘main‘的问题，具体的解决步骤参考大佬博客，链接如下：
https://blog.csdn.net/qq_31643159/article/details/80045275*

mysql数据库的连接以及相关操作

在此次设计中，mysql数据库主要用于邮箱帐号存储，通知的存储（用于和下次爬取的数据进行比较，每次爬取完成后都对其进行更新）。在使用mysql数据库之前，需要安装pymysql包。

1. mysql数据库的连接：
   con = pymysql.connect(host=‘localhost‘, user=‘root‘, passwd=‘****‘, db=‘JwLib‘, charset=‘utf8‘)

2. 游标的创建：
   cursor = con.cursor()
3. 相关操作的执行：
   cursor.execute("select TopTitle from TopNotice")
cursor.execute("***************")

4. 关闭游标与数据库
   cursor.close()
con.close()

---

腾讯云服务器设置，连接，文件传输等操作

云服务器的使用需要进行购买，目前有阿里云，腾讯云等

1. 在利用服务器进行邮件发送操作时，大多时候都会失败，因为腾讯云服务器是默认关闭了25号端口的，需要自行申请解封。解封方式比较简单，进入云服务器控制台，点击个人帐号即会出现25号端口解封的引导。

2. 将编辑好的程序文件从ubuntu上传至服务器
   scp /home/qiao/python_file/test.py [email protected]***.152.***.1**:/home/ubuntu/python_file
   @后面的内容是云服务器的ip,执行上述命令之后，输入对应的密码即可（密码不可见）
   执行之后，即可将/home/qiao/python_file/test.py文件上传至服务器的/home/ubuntu/python_file文件夹下。

3. ubuntu16.04登录云服务器(ubuntu系统)的命令如下：
   ssh [email protected]***.142.***
   @后面的内容是云服务器的ip,执行上述命令之后，输入对应的密码即可（密码不可见）。完毕之后就可以看到服务器的终端，然后进行相应的操作啦。

4. 在云服务器上让程序一直不停地运行下去，命令如下：
   sudo nohup python3 test.py &
   采用nohup和&的结合操作，可以达到一直不停地运行的目的，可以关闭服务器终端，退出控制台等，程序都将运行下去，但必须保证服务器处于正常开机运行的状态。