极速体验TiSpark

Posted 2021-04-27 alitrack

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了极速体验TiSpark相关的知识，希望对你有一定的参考价值。

前言

前面，并尝试，，今天体验下我最感兴趣的部分，TiSpark。

TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。它借助 Spark 平台，同时融合 TiKV 分布式集群的优势，和 TiDB 一起为用户一站式解决 HTAP (Hybrid Transactional/Analytical Processing) 的需求。TiSpark 依赖于 TiKV 集群和 Placement Driver (PD)，也需要你搭建一个 Spark 集群。

为了快速体验TiSpark，今天我使用TiUP来一键安装整个TiDB环境，在一台机器上部署伪虚拟机。

下载并安装TiUP

TiUP 是 TiDB 4.0 版本引入的集群运维工具，TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件，通过 TiUP cluster 组件就可以进行日常的运维工作，包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB 集群；管理 TiDB 集群参数。

目前 TiUP 可以支持部署 TiDB、TiFlash、TiDB Binlog、TiCDC，以及监控系统。

TiUP 安装过程十分简洁，无论是 Darwin 还是 Linux 操作系统，执行一行命令即可安装成功：

curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

极速体验TiSpark

安装 TiDB，TiKV，TiPB，TiFlash，TiSpark等

~/.tiup/bin/tiup install tidb pd tikv tiflash tispark playground grafana prometheus

极速体验TiSpark

运行playground

 ~/.tiup/bin/tiup playground

极速体验TiSpark

TiUP Playground 安装视频

安装JDK8 和Spark 2.4.3

# JDK8, Spark 2.4.3最高只支持到JDK8wget -c https://corretto.aws/downloads/latest/amazon-corretto-8-x64-linux-jdk.tar.gztar xf amazon-corretto-8-x64-linux-jdk.tar.gzmv amazon-corretto-8.* jdk8
#这里注意路径echo "export JAVA_HOME=/workspace/tidb/jdk8" >>~/.bashrc echo 'export PATH=$JAVA_HOME/bin:$PATH'>>~/.bashrc 
source ~/.bashrcexport JAVA_HOME=/workspace/tidb/jdk8export PATH=$JAVA_HOME/bin:$PATH
# 验证Java版本java -version
# Spark 2.4.3wget -c https://archive.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgztar xf spark-2.4.3-bin-hadoop2.7.tgzmv spark-2.4.3-bin-hadoop2.7 spark

配置TiSpark环境

cp ~/.tiup/components/tispark/v2.3.4/tispark-assembly-2.3.4.jar spark/jars/cp spark/conf/spark-defaults.conf.template spark/conf/spark-defaults.conf
echo "spark.tispark.pd.addresses 127.0.0.1:2379" >>spark/conf/spark-defaults.confecho "spark.sql.extensions org.apache.spark.sql.TiExtensions" >>spark/conf/spark-defaults.conf

安装mysql客户端

这里我使用macOS下大名鼎鼎的安装脚本HomeBrew

brew install mysql-client

导入测试数据

# 下载 TiSpark sample datacurl -O http://download.pingcap.org/tispark-sample-data.tar.gztar xf tispark-sample-data.tar.gz
cd tispark-sample-data# mysql -uroot -P4000 -h 127.0.0.1 -e "drop database tpch_001"mysql --local-infile=1 -h 127.0.0.1 -P 4000 -u root < dss.ddlcd ..