2月5日学习记录

Posted lq13035130506

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了2月5日学习记录相关的知识,希望对你有一定的参考价值。

1,背诵单词:outlook:前景,展望  operate:做手术  peach:桃子  rank:排列  oxygen:氧气  overseas:海外的  particular:特别的  paste:粘贴  patch:眼罩  pack:包裹  participate:参加  overtake:追上  modern:现代的  merchant:商人  path:小路  likewise:同样的  ministry:部门  Pacific:太平洋  minority:少数

2,学习spark视频https://www.bilibili.com/video/av62881491      第59到65集

    keys的功能:Pair  RDD指键值对RDD

      技术图片

 

    values的功能:

 

      技术图片    

 

    sortByKey()方法:常用,根据key进行排序,默认升序排序(默认参数为true)

 

    sortBy()方法:根据value进行排序

    技术图片

 文件数据读写:

  1,本地数据文件读写:输入错误语句,不会报错,只有遇到一次动作类型操作才会报错(惰性机制)

    读操作:当读取的是一个目录时,会把目录下所有文件都读进去生成一个RDD

    写操作:指定的目录中writeback文件必须是不存在的,执行写操作时才创建

    写入后会在指定目录下会生成的,当只有一个分区时,只会生成part-00000开头文件和_SUCCESS开头文件

   2,hdfs文件内容读写:与读取本地文件的操作一致

  3,JSON文件内容读写:scala中与json解析操作有关的库(scala.util.parsing.json.JSON

    技术图片

  4,读取HBASE数据:HBASE通过(表名,行键,列族,列限定符)确定一个单元格,一个数据

 

     技术图片技术图片

 

 

3,遇到的问题:对用spark读写HBASE的数据不太熟练,按照教程没有执行通过

 

4,明天计划继续学习Spark和学习爬取动态数据

 

以上是关于2月5日学习记录的主要内容,如果未能解决你的问题,请参考以下文章

视频学习记录和规划day12

2月2日学习记录

2月3日学习记录

2月6日学习记录

2月9日学习记录

2月12日学习记录