spark学习第1天

1.切换目录到/data/目录下,创建名为edu1的目录

  1. cd /data/  
  2. mkdir /data/edu1  

2.切换目录到/data/edu1目录下,使用wget命令,下载webmagic爬虫项目所依赖的lib

  1. cd /data/edu1  
  2. wget http://192.168.1.100:60000/allfiles/second/edu1/webmagic-0.7-libs.tar.gz 

webmagic-0.7-libs.tar.gz压缩包,解压缩。

  1. tar -xzvf webmagic-0.7-libs.tar.gz  

3.打开eclipse开发工具

新建Java Project,命名为pachong1

点击项目名pachong1,新建一个目录,命名为libs,并将/data/edu1/webmagic-0.7-libs下的所有的jar包,拷贝到libs目录下。并选中所有jar包,右键点击“Build Path” => “Add to Build Path”

 

切换目录到/data/edu1/rexian.beijing.gov.cn下,查看数据情况

 

猜你喜欢

转载自www.cnblogs.com/cuijunfeng/p/12197975.html
今日推荐