爬虫系列之一爬虫开发环境的搭建

Posted coxielearnpython

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫系列之一爬虫开发环境的搭建相关的知识,希望对你有一定的参考价值。

当前python分为2.x版本,以及3.x版本,这两个版本相互直接是不兼容的,但是当前世面的主流web或者程序还是2.x偏多,所以我这边主要是2.x版本为基础,确切地说,是2.7版本。

下面来说说 如何安装开发环境以及开发工具

一、环境的安装

MAC上安装python

如果你正在使用Mac,系统是10.13.3,系统自带了Python 2.7。这边也可以在直接在终端输入如下命令,看是否存在python以及python版本

?  ~ python --version
Python 2.7.10
?  ~

如果需要安装python3,则执行以下命令

? ~ brew install python

注意:

  • 安装Python2.7以上版本,会自动带pip。
  • Python3高版本自带pip3
  • MAC自带的python是没有pip,此时需要如果需要使用,请执行
// 给系统的python安装pip
?  ~ sudo easy_install pip

LINUX上安装python

#安装依赖
?  ~ yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel

#下载python2.7
?  ~ wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

?  ~ mkdir /software
?  ~ mv Python-2.7.13.tgz /software
?  ~ cd /software
?  ~ tar -zxf Python-2.7.13.tgz

?  ~ cd Python-2.7.13/
?  ~ ./configure --prefix=/usr/local/python2.7 --with-threads --enable-shared
?  ~ make
?  ~ make altinstall

# 备份旧python相关命令
?  ~ mv /usr/bin/pip /usr/bin/pip_old
?  ~ mv /usr/bin/easy_install /usr/bin/easy_install_old
?  ~ mv /usr/bin/python /usr/bin/python_old

# 新版本python命令做软连接,快捷使用
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib
?  ~ ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib64
?  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib64

# 下载最新版的pip,然后安装
?  ~ cd /software
?  ~ wget https://bootstrap.pypa.io/get-pip.py
?  ~ python get-pip.py
?  ~ ln -s /usr/local/python2.7/bin/pip /usr/bin/pip

# 查找pip的位置
?  ~ find / -name pip

在windows上面安装

从Python的官方网站python.org下载最新的2.7版本

然后,运行下载的MSI安装包,在选择安装组件的一步时,勾上所有的组件:、

技术分享图片

特别要注意选上pip和Add python.exe to Path,然后一路点“Next”即可完成安装。

默认会安装到C:Python27目录下,然后打开命令提示符窗口,敲入python后,就会出现>>>提示符

二、开发工具的安装

不论是mac还是windows都是,从pycharm官网下载该工具,然后傻瓜式安装,打开需要激活,有多余经费的娃子们,推荐购买正版,穷人可以考虑加群:725479218 获取 pycharm激活 的 激活方式
技术分享图片


以上是关于爬虫系列之一爬虫开发环境的搭建的主要内容,如果未能解决你的问题,请参考以下文章

python分布式爬虫搭建开发环境

python分布式爬虫搭建开发环境

Forward团队-爬虫豆瓣top250项目-团队编程项目开发环境搭建过程

Forward团队-爬虫豆瓣top250项目-团队编程项目开发环境搭建过程

Scrapy爬虫学习笔记 - windows下搭建开发环境1

java调用Linux执行Python爬虫,并将数据存储到elasticsearch--(环境脚本搭建)