SparkStreaming 打印输出demo

Posted 2022-11-05 靖-Drei

• 1.nc -lk 9999

-l 使用监听模式，管控传入的资料。
本机开启9999端口
一个server对应一个client，多了可能出问题，也就是下次起sparkstreaming任务时，必须先关了这个端口，重开

• 2.提交sparkstreaming任务

package com.streaming


import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.SparkConf

object Socket

  def main(args:Array[String])
  
    val sc = new StreamingContext(new SparkConf().setAppName("socketstream"),Seconds(10))

//    val sc = new StreamingContext(new SparkConf().setMaster("local").setAppName("socketstream"),Seconds(10))
//    val mystreamRDD = sc.socketTextStream("bbc.co.uk",80)
     val mystreamRDD = sc.socketTextStream("172.171.51.131",7777)
    mystreamRDD.print()
    sc.start()
    sc.awaitTermination()
  

• 3.输入：在server端口随便输入数据，（此次分两次输入）
  

• 4.输出：sparkstreaming消费数据