Arctern Spark单机可视化入门

Posted polong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Arctern Spark单机可视化入门相关的知识,希望对你有一定的参考价值。

????Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用

安装和验证

????参考单机安装arctern和在线安装单机spark

一:要注意的地方conda??info是查看当前的 Conda 环境信息,文档里写的conda env info好像是不对的

二:下载时候使用spark使用国内镜像如清华镜像(http://221.182.132.24/mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz;

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz/tmp/fishnetmap.png)

三:验证脚本地址原文中有问题,在arctern-io项目里面找一找,验证通过以后如下图.
https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/gis/spark_udf_ex.py。

技术图片

可视化

????重点是可视化的能力,在arctern-io里面找到了相关的脚本https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/render/nyc_taxi.py,使用了arctern-io的数据https://github.com/arctern-io/arctern-bootcamp/tree/master/nytaxi/file,稍微修改下名字就可以使用。修改bounding_box=[-74.060427, 40.680309, -73.924348, 40.910816],sql中范围ST_GeomFromText(‘POLYGON ((-74.060427 40.680309, -73.924348 40.680309, -73.924348 40.910816 ,-74.060427 40.910816, -74.060427 40.680309))。

技术图片
技术图片
技术图片
技术图片
技术图片
技术图片
技术图片
技术图片

参考资料:

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/quick_start/standalone_installation.html

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/hide_source/spark/installation_and_deployment/install_arctern_on_spark_cn.html






















以上是关于Arctern Spark单机可视化入门的主要内容,如果未能解决你的问题,请参考以下文章

地铁译:Spark for python developers ---Spark处理后的数据可视化

spark单机环境搭建以及快速入门

Spark新手入门(单机模式)——Scala环境准备

Spark新手入门(单机模式)——Hadoop集群(伪分布模式)安装

Weka入门——数据文件

Apache Spark 可视化