大数据开发实战：Stream SQL实时开发
Posted shaomine
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据开发实战：Stream SQL实时开发相关的知识，希望对你有一定的参考价值。
1、流计算SQL原理和架构
流计算SQL通常是一个类SQL的声明式语言，主要用于对流式数据(Streams)的持续性查询，目的是在常见流计算平台和框架（如Storm、Spark Streaming、Flink、Beam等）的底层API上，
通过使用简易通用的的SQL语言构建SQL抽象层，降低实时开发的门槛。
流计算SQL的原理其实很简单，就是在SQL和底层的流计算引擎之间架起一座桥梁---流计算SQL被用户提交，被SQL引擎层翻译为底层的API并在底层的流计算引擎上执行。比如对Storm
来说，会自动翻译成Storm的任务拓扑并在Storm集群上运行。
流计算SQL引擎是流计算SQL的核心，主要负责对用户SQL输入进行语法分析、语义分析、逻辑计划生成、逻辑计划执行、物理执行计划生成等操作。而真正执行计算的是底层的流计算平台。
不同于离线任务，实时的数据是不断流入的，所以为了使用SQL来对流处理进行抽象，流计算SQL也引入了“表”的概念，不过这里的表是动态表。
流计算SQL的架构如下：
SQL层：流计算SQL给用户的接口，它提供过滤、转换、关联、聚合、窗口、select、union、split等各种功能。
SQL引擎层：负责SQL解析/校验、逻辑计划生成优化和物理计划执行等。
流计算引擎层：具体执行SQL引擎层生成的执行计划。
2、流计算SQL：未来主要的实时开发技术
目前流计算SQL在各个计算框架的进度和支持力度不一。
Storm SQL还只是一个实验性的功能。Flink SQL是Flink大力推广的核心API。Flink是一个原生的开源流计算引擎，而且目前还没有其它开源流计算引擎能提供比Flink 更优秀的流
计算SQL框架和语法等，所以Flink SQL实际上在定义流计算SQL的标注。
阿里云Stream SQL 的底层就是Flink引擎（实际是Blink,也就是Alibaba Flink）,可以认为Blink是Flink的企业版本，
3、Stream SQL
阿里云提供了Stream SQL 开发的完整环境，包括Stream SQL语法、IDE开发工具、调试及运维等。下面具体介绍概念和语法
3.1、Stream SQL 源表
Stream SQL 通常将源头数据抽象为源表，就像一个Storm任务必须至少定义一个spout,一个Stream SQL 任务必须至少定义一个源表。
定义Stream SQL 源表的语法如下：
CREATE TABLE tablename
(columnName dataType [,columnName dataType]*)
[WITH (propertyName=propertyValue [,propertyName=propertyValue ] * )];
如下面的例子创建了一个datahub类型的源表
create table datahub_stream(
name varchar,
age BIGINT,
birthday BIGINT)
with (
type =\'datahub\',
endPoint =‘http://dh-et2.aliyun-inc.com’,
project=\'blink-datahub_test\',
topic =\'test_topic_1\',
accessId =0i70RRFJD1OBAWAs\',
accessKey =\'yF60EwURseo1UAn4NinvQPJ2zhCfHU\',
startTime=\'2018-08-20 00:00:00\'
);
其中的type表示流式数据的源头类型，可以为datahub,也可以为日志或消息中间件等，type下面的各个参数类型的不同而不同，它们共同确定了此type的某个源头类型。
此外，阿里云Stream SQL底层流计算引擎是Flink/Blink,因此其支持水位线机制。
定义水位线的语法如下：
WATERMARK [watermarkName] FOR <rowtime_field>
AS withOffset(<rowtime_field>,offset)
比如WATERMARK FOR rowtime AS withOffset(rowtime,4000)就对源头数据列rowtime定义了固定延迟4s的水位线。
3.2 、Stream SQL 结果表
有源表，就是结果表，Stream SQL定义结果表的语法如下：
CREATE TABLE tablename
(columnName dataType [,columnName dataType]*)
[WITH (propertyName=propertyValue [,propertyName=propertyValue ] * )];
Stream SQL的结果表支持各种类型，包括类似mysql的RDS、类似HBase的TableStore、类似消息队列的MessageQueue的，下面以RDS来介绍Stream SQL 结果表的具体语法：
create table rds_output(
id int,
len int,
content varchar,
primary key(id,len)
) with (
type =\'rds\',
url=\'jdbc:mysql:XXXXXX\',
tableName=\'test4\',
userName=\'test\',
password=\'xxxx\'
);
在上述代码中，结果表的type不同，相应后面的其它参数也不一样，具体可用参考阿里云帮助文档。
3.3、Stream SQL维度表
流计算SQL的维度表数据一类特殊的外部数据，相对流数据来说，他比较稳定且变化缓慢，是静态或准静态数据，作为join / left outer join的右表使用。需要特别注意的是，
维度表在流计算中不允许作为from 后面的数据存储。流计算中对于from子句后对接的数据存储一定是流式数据存储，即 select * from dim_table是不被允许的。
阿里云Stream SQL中没有专门为维度表设计的DDL语法，使用标准的create table语法即可，但是需要额外增加一行PERIOD FOR SYSTEM_TIME的声明，这行声明定义了
维度表的变化周期，即表明该表是一张会变化的表。
一个简单的维度表定义实例如下，type后面的语法类似源表定义，
CREATE TABLE white_list (
id varchar,
name varchar,
age int,
PRIMARY key(id), --用作维度表，必须有声明的主键
PERIOD FOR SYSTEM_TIME ---定义了维度表的变化周期
) with (
type = \'xxx\',
。。。
）；
3.4、Stream SQL 临时表
在实际的实时开发中，经常发现业务逻辑的复杂性使得只用一个Stream SQL来完成所有的业务逻辑基本是不可能的，而必须拆分为多个SQL共同完成，此时就需要定义中间临时表（
在阿里云Stream SQL 中也叫view，即视图）。在Stream SQL中定义临时表的语法如下：
CREATE VIEW viewName
[ (columnName[,columnName]*])]
AS queryStatement;
但需要注意的是，Stream SQL临时表仅用于辅助计算逻辑表达的内存逻辑中间状态，其物理是并不存在，也不会产生数据的物理存储。当然，临时表也不占用系统空间。一个临时表的例子
如下：
CREATE VIEW largeOrders(r, t, c, u) AS
SELECT rowtime, productId, c, units
FROM Orders;
3.5、Stream SQL DML
Stream SQL语法和SQL标准语法绝大部分都是相同的，下面仅着重介绍insert操作
insert操作的语法：
INSERT INTO tableName
[ ( columnName[,columnName]* )]
queryStatement;
流计算不支持单独SELECT操作，当前在执行SELECT查询之前必须执行INSERT操作将结果保存起来。同时，需要注意的是，一个SQL文件支持多个源表输入和多个结果表输出。
只有result表和tmp表可以执行INSERT操作，且每张表只能执行一次INSERT操作，dim 表和stream表不能执行insert操作。
普通的select操作是从几张表中读数据，但查询的对象也可以是另一个select操作，也就是子查询，但要注意子查询必须加别名，实例如下：
insert into result_table
select * from （
select t.a, sum(t.b) AS sum_b, from t1 t
group by t.a
) t1
where t1.sum_b>100;
参考资料：《离线和实时大数据开发实战》
以上是关于大数据开发实战：Stream SQL实时开发的主要内容，如果未能解决你的问题，请参考以下文章