ubuntu16.04 配置爬虫环境

Posted kilort

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ubuntu16.04 配置爬虫环境相关的知识,希望对你有一定的参考价值。

MySQL

安装

  sudo apt-get install mysql-server(若安装有误,则update再安装,记得设置root密码)

配置

  远程访问:1 进入/etc/mysql 找到my.cnf指向的俩个路径,进入其中一个更改bind为0.0.0.0或者注释掉;

       2 进入mysql,通过命令grant all privileges on *.* to "user_name"@"user_ip"  identified by "user_password";   即赋予某用户,在所有数据库下的所有权限                                              (可更改)最后记得刷新flush privileges;

  检查mysql是否启动:ps -ef | grep mysqld 

  mysql的启动,重启和停止:service mysql start,restart,stop 或者systemctl start,restart,stop mysql(系统不同操作不同)

  mysql编码问题(默认为latin1,以改为uft8为例改为):进入/etc/mysql下,进入my.cnf查看其中俩条路径,进入conf.d 下进入mysql.cnf 添加 default-character-set =utf8,保                                                                                                     存退出后,进入第二路径mysql.conf.d 进入mysql.conf 在[mysqld]中添加 character-set-server = utf8,最后重启mysql

                            数据库,表,字段的编码见sql语句

 

Redis

安装

  sudo apt-get install redis-server

配置

  远程访问:进入redis.conf文件中,如若要允许所有访问 注释掉bind 127.0.0.1(redis 3.2后,protected-mode no) 或者更改为bind 0.0.0.0  若指定多个ip可在bind后面·        添加

  redis的启动,重启和停止:service redis start,restart,stop 或者systemctl start,restart,stop redis(系统不同操作不同)

 

pycharm

  去pycharm官网安装linux版本,解压,在 pycharm.sh路径中通过./pycharm.sh启动pycharm(绑定pycharm在启动栏,一劳永逸)

 

python

  Ubuntu自带python2.7和python3.5,以python3为例

  安装pip  sudo apt-get install python3-pip

  升级pip  sudo pip3 install --upgrade pip

  ubuntu下pip很方便,安装包很少出现依赖问题,最多出现timeout

  豆瓣源  http://pypi.douban.com/simple  

  具体使用 pip3 install -i http://pypi.douban.com/simple  this_package

 

docker

安装 

  sudo apt-get install docker

  sudo apt-get install docker.io

配置共享文件:sudo docker run -tiv 主机path:docker path image_id /bin/bash

 

防火墙

可安装ufw

sudo apt-get install ufw

 

ufw stauts 显示防火墙状态
ufw enable 开启防火墙
ufw disable 关闭
ufw allow 80 允许外部80端口访问
ufw delete allow 80 禁止。。。。。。
ufw allow from 127.12.1.1 允许这个ip下所有端口的访问%
ufw deny smtp 禁止 外部smtp访问

 

 

 

 

                            

 









以上是关于ubuntu16.04 配置爬虫环境的主要内容,如果未能解决你的问题,请参考以下文章

Ubuntu下的Selenium爬虫的配置

深度学习GPU环境Ubuntu16.04+GTX1080+CUDA9+cuDNN7+TensorFlow1.6环境配置

Ubuntu16.04 配置Python 虚拟环境

ubuntu16.04-java环境配置

ubuntu16.04 python3 安装selenium及环境配置

Ubuntu16.04下面配置java环境变量