spark学习第1天

Posted 2021-03-15 cuijunfeng

1.切换目录到/data/目录下，创建名为edu1的目录

1. cd /data/  
2. mkdir /data/edu1  

2.切换目录到/data/edu1目录下，使用wget命令，下载webmagic爬虫项目所依赖的lib包

1. cd /data/edu1  
2. wget http://192.168.1.100:60000/allfiles/second/edu1/webmagic-0.7-libs.tar.gz 

 

将webmagic-0.7-libs.tar.gz压缩包，解压缩。

1. tar -xzvf webmagic-0.7-libs.tar.gz  

3.打开eclipse开发工具

 

新建Java Project，命名为pachong1

 

 

点击项目名pachong1，新建一个目录，命名为libs，并将/data/edu1/webmagic-0.7-libs下的所有的jar包，拷贝到libs目录下。并选中所有jar包，右键点击“Build Path” => “Add to Build Path”

 

 

 

切换目录到/data/edu1/rexian.beijing.gov.cn下，查看数据情况