2月3日学习记录

Posted 2021-03-12 lq13035130506

1，背诵单词：bay:海湾  earn：赚的  cheerful：欢乐的  cash：现金  basin：盆，盆地  attain：达到  effort：努力  cassette：盒式录音带  civilization：文明  cock：公鸡  　　　　　　　　cabinet：内阁，橱柜  copper：铜币  fierce：凶猛的  fame：名声  cheque：支票  communism：共产主义  emit：发出  curtain：窗帘  conversation：会话

2，学习Python爬虫的Scrapy框架的使用观看视频：https://www.bilibili.com/video/av9784617  从61集看到65集

　  学习spark视频：https://www.bilibili.com/video/av62881491   

　新添内容到博客：https://i-beta.cnblogs.com/posts/edit-done;postId=12254076

　新添内容到博客：https://www.cnblogs.com/lq13035130506/p/12239342.html

　　1,如果进入了spark安装目录则使用、

　　1，一台机器启动spark：./bin/spark-shell --master <master-url>命令可进入shell界面，master-url参数可为：local[*]使用逻辑CPU多线程启动，local[n]，使用n个CPU线程启动

　　2，集群下启动spark：spark：//主机IP:7077（默认端口）

　　3，在CLASSPATH中添加jar包：./bin/spark-shell --master local[4] --jars code.jar

　　4，退出：(:quit)

　2,Yarn集群模式：

　　yarn-client：客户端电脑不能关，调试阶段

　　yarn-cluster：客户端电脑关了不影响，正常使用阶段

　3,sbt是一款Spark用来对scala编写程序进行打包的工具（使用林子雨的教程没安装成功）

　　安装教程（参考）：https://blog.csdn.net/Leader_wang/article/details/83743772

　　　　　　　https://blog.csdn.net/litianxiang_kaola/article/details/103289326
　　　　　　　　两个教程相结合即可。

　　打包教程（参考）：http://dblab.xmu.edu.cn/blog/1307-2/

　　sbt打包程序时使用：先新建~/.sbt/repositories文件

 3，使用Scrapy库爬取股票数据；

　　

 

 4，明天计划把spark-shell有关的错误依次解决，继续学习Spark