python spark_context.py

Posted 2021-05-09

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python spark_context.py相关的知识，希望对你有一定的参考价值。

spark_context = SparkContext(appName=kinesis_app_name)
spark_streaming_context = StreamingContext(spark_context, spark_batch_interval)
sql_context = SQLContext(spark_context)

kinesis_stream = KinesisUtils.createStream(
    spark_streaming_context, kinesis_app_name, kinesis_stream, kinesis_endpoint,
    aws_region, kinesis_initial_position, kinesis_checkpoint_interval)

py_rdd = kinesis_stream.map(lambda x: json.loads(x))

以上是关于python spark_context.py的主要内容，如果未能解决你的问题，请参考以下文章

001--python全栈--基础知识--python安装

Python代写，Python作业代写，代写Python，代做Python