数据可视化之-superset

Posted 2020-12-19 wqbin

第1章 Superset安装及使用

Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。

由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。

Superset官网地址：http://superset.apache.org/

1.1 安装Python环境

Superset是由Python语言编写的Web应用，要求Python3.6的环境。

1.1.1 安装Miniconda

　　conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Miniconda包括Conda、Python。此处，我们不需要如此多的工具包，故选择MiniConda。

1）下载Miniconda（Python3版本）

下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2）安装Miniconda

（1）执行以下命令进行安装，并按照提示操作，直到安装完成。

$ bash Miniconda3-latest-Linux-x86_64.sh

（2）在安装过程中，出现以下提示时，可以指定安装路径

3）配置环境变量

修改/etc/profile.d/env.sh文件，内容如下

 

4）取消激活base环境

Miniconda安装完成后，每次打开终端都会激活其默认的base环境，我们可通过以下命令，禁止激活默认base环境。

conda config --set auto_activate_base false

 

 

1.1.2 创建Python3.6环境

1）配置conda国内镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

conda config --set show_channel_urls yes

2）创建Python3.6环境

conda create --name superset python=3.6

说明：conda环境管理常用命令

• 创建环境：conda create -n env_name
• 查看所有环境：conda info --envs
• 删除一个环境：conda remove -n env_name --all

3）激活superset环境

conda activate superset

       激活后效果如下图所示

 

备注：退出当前环境

conda deactivate

4）执行python命令查看python版本

 

1.2 Superset部署

1.2.1 安装依赖

安装Superset之前，需安装以下所需依赖

sudo yum install -y python-setuptools

sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel

2.2.2 安装Superset

1）安装（更新）setuptools和pip

pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

说明：pip是python的包管理工具，可以和centos中的yum类比

2）安装Supetset

pip install apache-superset -i https://pypi.douban.com/simple/

说明：-i的作用是指定镜像，这里选择国内镜像

3）初始化Supetset数据库

superset db upgrade

4）创建管理员用户

export FLASK_APP=superset
flask fab create-admin

说明：flask是一个python web框架，Superset使用的就是flask

5）Superset初始化

superset init

2.2.3 启动Supterset

1）安装gunicorn

pip install gunicorn -i https://pypi.douban.com/simple/

说明：gunicorn是一个Python Web Server，可以和java中的TomCat类比

2）启动Superset

第1步：确保当前conda环境为superset，及下图所示

第2步：启动

gunicorn --workers 5 --timeout 120 --bind 0.0.0.0:8787  superset:app --daemon

为了看日志我们这么写：

gunicorn --workers 5 --timeout 120 --bind 0.0.0.0:8787  superset:app --daemon --error-logfile error.log

说明：

• --workers：指定进程个数
• --timeout：worker进程超时时间，超时会自动重启
• --bind：绑定本机地址，即为Superset访问地址
• --daemon：后台运行
• --error-logfile：输出日志

3）停止superset

停掉gunicorn进程

ps -ef | awk ‘/gunicorn/ && !/awk/{print $2}‘ | xargs kill -9

为什么这么写看下面的图：

退出superset环境

conda deactivate

4）登录Superset

访问http://192.168.201.6:8787/，并使用创建的管理员账号进行登录。

 原因需要看日志：

tail -f error.log

 

 解决：

1、安装gevent

pip install gevent  -i https://pypi.douban.com/simple 

2、启动

gunicorn --workers 5 -k gevent --timeout 120 --bind 0.0.0.0:8787  "superset.app:create_app()" --daemon --error-logfile error.log