项目 --- 开发环境搭建

Posted 2020-12-01 tmmm

项目环境配置

工程创建：[爬虫工程为例，web工程类似]　

　　最好做到一个项目一个虚拟环境。项目多后方便查看项目所用各工具的版本。

1. 先在终端： cd到存放的目录下并进入虚拟环境
2. 创建项目： scrapy startproject 工程项目名
   1. cd到项目的根目录 　　                              [一个项目一个虚拟环境的创建虚拟环境方式]　　
   2. 虚拟环境： mkvirtualenv 虚拟环境名            [建虚拟环境要在项目的根目录下建]
   3. 进入环境： source 虚拟环境名/bin/activate  [虚拟环境目录在此项目的根目录下]
   4. 建包文件： touch requirements.txt              [新建一个txt文件，用来存放安装的工具包名称]
   5. 进入文件： vim requirements.txt                 [编辑输入需要的包文件名称，并保存退出]
   6. 执行文件： pip install -r requirements.txt     [执行该文件会安装里面的包文件；可以pip freeze > requirements.txt生成该文件]
   7. 创建爬虫： scrapy genspider 爬虫名 域名     [爬虫名最好起爬哪一个板块叫哪一个板块名称，不要和项目名同名]
   8. 打开项目： 用pycharm打开此项目。
3. 然后再在： pycharm中打开此项目(空工程)　　        
4. 创建爬虫： scrapy genspider 爬虫名 该网站域名    pycharm终端[gyp@localhost ~/pyword/spider05/MyScrapy] $scrapy genspider budejie budejie.com
5. 运行爬虫： scrapy crawl 爬虫名 [-o xx.json/xml/csv] scrapy crawl qiubai -o budejie.json
6. 代码调试： scrapy shell 
7. 查看版本： scrapy version
8. 具体查看： 查看运行scrapy的python版本：
   1. 　　which scrapy 找到scrapy文件存储路径 。scrapy文件是一个可执行文件(也可说是一个python文件)
   2. 　　vim  查找到的路径。打开此可执行文件后的第一行 #！表示执行此可执行文件的解释器(python)的路径
   3. 　　此python解释器的路径 + -V   命令即可知道此执行文件scrapy的解释器python的版本号是多少。