Arctern Spark单机可视化入门

Posted 2020-12-13 polong

????Arctern基于开源大数据生态，构建灵活、强大、高性能的时空数据分析平台，帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用

安装和验证

????参考单机安装arctern和在线安装单机spark

一：要注意的地方conda??info是查看当前的 Conda 环境信息，文档里写的conda env info好像是不对的

二：下载时候使用spark使用国内镜像如清华镜像(http://221.182.132.24/mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz;

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz/tmp/fishnetmap.png)

三：验证脚本地址原文中有问题，在arctern-io项目里面找一找，验证通过以后如下图.
https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/gis/spark_udf_ex.py。

可视化

????重点是可视化的能力，在arctern-io里面找到了相关的脚本https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/render/nyc_taxi.py，使用了arctern-io的数据https://github.com/arctern-io/arctern-bootcamp/tree/master/nytaxi/file，稍微修改下名字就可以使用。修改bounding_box=[-74.060427, 40.680309, -73.924348, 40.910816]，sql中范围ST_GeomFromText(‘POLYGON ((-74.060427 40.680309, -73.924348 40.680309, -73.924348 40.910816 ,-74.060427 40.910816, -74.060427 40.680309))。

参考资料：

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/quick_start/standalone_installation.html

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/hide_source/spark/installation_and_deployment/install_arctern_on_spark_cn.html