Flink 尚硅谷学习笔记
Posted wei198621
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 尚硅谷学习笔记相关的知识,希望对你有一定的参考价值。
简介
尚硅谷Flink(Scala版)教程丨清华硕士-武晟然老师主讲
https://www.bilibili.com/video/BV1Qp4y1Y7YN
目录
P01.尚硅谷_Flink-Flink简介------------ 07:56
P02.尚硅谷_Flink-Flink应用场景---------- 19:46
P03.尚硅谷_Flink-流式处理的提出---------------- 11:05
P04.尚硅谷_Flink-流式处理的演变------------- 15:18
P05.尚硅谷_Flink-Flink的特点------------------ 16:34
P06.尚硅谷_Flink-批处理wordcount--------------- 23:59
P07.尚硅谷_Flink-流处理wordcount------------- 20:15
P08.尚硅谷_Flink-流处理wordcount扩展测试和说明------------- 19:15
P09.尚硅谷_Flink-Flink集群部署---------------- 26:47
P010.尚硅谷_Flink-提交Job--------------------- 22:35
P011.尚硅谷_Flink-命令行提交Job----------- 07:31
P012.尚硅谷_Flink-其它方式集群部署------------------ 12:51
P013.尚硅谷_Flink-运行时架构_运行时组件----------- 08:36
P014.尚硅谷_Flink-运行时架构_作业提交流程------------- 13:23
P015.尚硅谷_Flink-运行时架构_任务调度原理(一)_并行度和slot------------- 16:29
P016.尚硅谷_Flink-运行时架构_任务调度原理(二)_slot共享----------------- 17:23
P017.尚硅谷_Flink-运行时架构_任务调度原理(三)_slot共享示例----------- 06:16
P018.尚硅谷_Flink-运行时架构_任务调度原理(四)_执行图和任务链------------- 25:36
P019.尚硅谷_Flink-运行时架构_任务调度原理(五)_自定义任务调度规则--------- 12:21
P020.尚硅谷_Flink-流处理API_Source(一)_从集合和文件读取数据------------ 16:19
P021.尚硅谷_Flink-流处理API_Source(二)_从Kafka读取数据------------------- 21:33
P022.尚硅谷_Flink-流处理API_Source(三)_自定义Source-------------------- 24:50
P023.尚硅谷_Flink-流处理API_Transform(一)_简单转换算子------------------- 06:50
P024.尚硅谷_Flink-流处理API_Transform(二)_简单分组聚合------------------ 19:16
P025.尚硅谷_Flink-流处理API_Transform(三)_reduce聚合-------------------- 11:22
P026.尚硅谷_Flink-流处理API_Transform(四)_分流操作----------------------- 12:24
P027.尚硅谷_Flink-流处理API_Transform(五)_合流操作---------------------- 19:55
P028.尚硅谷_Flink-流处理API_Flink支持的数据类型---------------------------- 09:41
P029.尚硅谷_Flink-流处理API_函数类和富函数类------------------------------ 19:41
P030.尚硅谷_Flink-流处理API_Sink(一)_文件----------------------------- 18:55
P031.尚硅谷_Flink-流处理API_Sink(二)_Kafka-------------------------- 10:45
P032.尚硅谷_Flink-流处理API_Sink(三)_Redis-------------------------- 18:30
P033.尚硅谷_Flink-流处理API_Sink(四)_ElasticSearch------------------- 16:43
P034.尚硅谷_Flink-流处理API_Sink(五)_mysql---------------------------- 17:48
P035.尚硅谷_Flink-流处理API_Window API_窗口概念----------------------- 07:22
P036.尚硅谷_Flink-流处理API_Window API_窗口类型------------------------ 10:13
P037.尚硅谷_Flink-流处理API_Window API_窗口分配器--------------------------- 27:17
P038.尚硅谷_Flink-流处理API_Window API_窗口函数及其它可选API---------------- 21:00
P039.尚硅谷_Flink-流处理API_Window API_窗口计算测试------------------------- 15:07
P040.尚硅谷_Flink-时间语义------------------------------------------------ 17:57
P041.尚硅谷_Flink-时间语义的设置----------------------------------------- 04:33
P042.尚硅谷_Flink-Watermark概念-------------------------------------------- 19:06
P043.尚硅谷_Flink-Watermark原理和特点-------------------------------------- 15:58
P044.尚硅谷_Flink-Watermark传递------------------------------------------- 08:09
P045.尚硅谷_Flink-Watermark代码中引入------------------------------------ 16:33
P046.尚硅谷_Flink-自定义Watermark生成机制-------------------------------- 07:10
P047.尚硅谷_Flink-事件时间语义下的窗口测试------------------------------ 16:12
P048.尚硅谷_Flink-窗口起始点的确定------------------------------------- 09:21
P049.尚硅谷_Flink-状态管理(一)_状态的概念----------------------------- 08:08
P050.尚硅谷_Flink-状态管理(二)_算子状态和键控状态----------------------- 15:14
P051.尚硅谷_Flink-状态管理(三)_状态在代码中的定义和使用------------------ 27:25
P052.尚硅谷_Flink-状态编程示例(一)------------------------------------- 17:15
P053.尚硅谷_Flink-状态编程示例(二)------------------------------------- 17:30
P054.尚硅谷_Flink-ProcessFuntion_基本概念和使用-------------------------- 23:24
P055.尚硅谷_Flink-ProcessFuntion_定时器应用示例---------------------------- 32:50
P056.尚硅谷_Flink-ProcessFuntion_侧输出流应用示例-------------------------- 09:45
P057.尚硅谷_Flink-状态后端------------------------------------------------- 15:36
P058.尚硅谷_Flink-容错机制_检查点概念和原理------------------------------- 13:31
P059.尚硅谷_Flink-容错机制_检查点算法-------------------------------------- 25:46
P060.尚硅谷_Flink-容错机制_checkpoint配置---------------------------------- 26:29
P061.尚硅谷_Flink-容错机制_重启策略配置------------------------------------ 08:21
P062.尚硅谷_Flink-保存点------------------------------------------------- 07:32
P063.尚硅谷_Flink-状态一致性_基本概念----------------------------------- 10:46
P064.尚硅谷_Flink-状态一致性_Flink端到端状态一致性的保证---------------- 08:43
P065.尚硅谷_Flink-状态一致性_幂等写入和事务写入------------------------- 23:35
P066.尚硅谷_Flink-状态一致性_Flink与Kafka连接的状态一致性-------------------- 18:20
P067.尚硅谷_Flink-Table API和Flink SQL_基本概念和示例程序--------------------- 22:03
P068.尚硅谷_Flink-Table API和Flink SQL_基本程序结构-------------------------- 09:22
P069.尚硅谷_Flink-Table API和Flink SQL_表执行环境-------------------------- 15:43
P070.尚硅谷_Flink-Table API和Flink SQL_表的概念和从文件读取数据----------------- 19:14
P071.尚硅谷_Flink-Table API和Flink SQL_从Kafka读取数据------------------------- 09:29
P072.尚硅谷_Flink-Table API和Flink SQL_表的查询转换------------------------------ 11:04
P073.尚硅谷_Flink-Table API和Flink SQL_DataStream和表的转换------------------- 08:25
P074.尚硅谷_Flink-Table API和Flink SQL_输出到文件----------------------------- 25:14
P075.尚硅谷_Flink-Table API和Flink SQL_更新模式------------------------------ 10:51
P076.尚硅谷_Flink-Table API和Flink SQL_Kafka管道测试-------------------------- 17:41
P077.尚硅谷_Flink-Table API和Flink SQL_输出到ES------------------------------- 18:18
P078.尚硅谷_Flink-Table API和Flink SQL_输出到MySQL---------------------------- 08:09
P079.尚硅谷_Flink-Table API和Flink SQL_表转换成流------------------------------ 11:34
P080.尚硅谷_Flink-Table API和Flink SQL_流处理和SQL查询的不同------------------ 07:07
P081.尚硅谷_Flink-Table API和Flink SQL_动态表和持续查询---------------------- 12:24
P082.尚硅谷_Flink-Table API和Flink SQL_持续查询示例具体过程----------------- 12:50
P083.尚硅谷_Flink-Table API和Flink SQL_时间特性(一)_处理时间----------------- 20:16
P084.尚硅谷_Flink-Table API和Flink SQL_时间特性(二)_事件时间------------------ 14:16
P085.尚硅谷_Flink-Table API和Flink SQL_窗口(一)_分组窗口--------------------- 13:11
P086.尚硅谷_Flink-Table API和Flink SQL_窗口(二)_分组窗口测试-------------------- 18:43
P087.尚硅谷_Flink-Table API和Flink SQL_窗口(三)_Over窗口----------------------- 11:58
P088.尚硅谷_Flink-Table API和Flink SQL_窗口(四)_Over窗口测试------------------------ 13:03
P089.尚硅谷_Flink-Table API和Flink SQL_函数(一)_系统内置函数---------------------- 11:04
P090.尚硅谷_Flink-Table API和Flink SQL_函数(二)_UDF函数_标量函数----------------- 14:39
P091.尚硅谷_Flink-Table API和Flink SQL_函数(三)_UDF函数_表函数--------------------- 17:19
P092.尚硅谷_Flink-Table API和Flink SQL_函数(四)_UDF函数_聚合函数---------------- 26:58
P093.尚硅谷_Flink-Table API和Flink SQL_函数(五)_UDF函数_表聚合函数------------- 27:56
P094.尚硅谷_Flink项目-电商用户行为分析_批处理和流处理以及项目选型--------------- 08:12
P095.尚硅谷_Flink项目-电商用户行为分析_用户行为分析应用场景---------------------- 15:27
P096.尚硅谷_Flink项目-电商用户行为分析_模块设计和数据分析------------------------ 09:12
P097.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(一)-------- 21:03
P098.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(二)--------- 09:07
P099.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_其它需求------------------- 10:04
P100.尚硅谷_Flink项目-电商用户行为分析_项目框架搭建--------------------------------- 10:22
P101.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(一)_窗口聚合-------------------- 27:55
P102.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(二)_排序统计输出-------------------------- 27:14
P103.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(三)_从Kafka消费数据测试------------------ 20:51
P104.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(四)_批量消费Kafka数据测试---------------- 10:03
P105.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(五)_Table API和SQL实现------------------- 28:43
P106.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(一)_开窗聚合统计-------------------- 26:06
P107.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(二)_统计结果排序输出----------------- 09:47
P108.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(三)_乱序数据的处理------------------- 21:04
P109.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(四)_保证状态更新结果正确-------------- 21:41
P110.尚硅谷_Flink项目-电商用户行为分析_PV统计(一)_基本实现--------------------------------------- 20:39
P111.尚硅谷_Flink项目-电商用户行为分析_PV统计(二)_数据并行的优化-------------------------------- 19:22
P112.尚硅谷_Flink项目-电商用户行为分析_UV统计(一)_基本实现-------------------------------------- 15:28
P113.尚硅谷_Flink项目-电商用户行为分析_UV统计(二)_布隆过滤器去重思路和程序架构------------------- 30:48
P114.尚硅谷_Flink项目-电商用户行为分析_UV统计(三)_布隆过滤器简单实现----------------------------- 09:12
P115.尚硅谷_Flink项目-电商用户行为分析_UV统计(四)_UV去重的布隆过滤器实现------------------------- 23:32
P116.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(一)_自定义数据源------------------------- 17:03
P117.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(二)_开窗聚合统计输出--------------------- 20:44
P118.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(一)_基本需求实现----------------------- 19:19
P119.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(二)_刷单行为过滤思路和整体框架--------- 14:28
P120.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(三)_刷单行为过滤代码实现-------------- 23:20
P121.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(一)_实现思路和代码框架-------------------- 18:17
P122.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(二)_具体代码实现--------------------------- 18:21
P123.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(三)_代码改进------------------------------- 18:19
P124.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(四)_CEP代码实现--------------------------- 30:33
P125.尚硅谷_Flink项目-电商用户行为分析_CEP简介(一)_CEP介绍及Pattern API整体概念---------------- 12:24
P126.尚硅谷_Flink项目-电商用户行为分析_CEP简介(二)_个体模式----------------------------------- 12:41
P127.尚硅谷_Flink项目-电商用户行为分析_CEP简介(三)_模式序列------------------------------------- 10:24
P128.尚硅谷_Flink项目-电商用户行为分析_CEP简介(四)_模式的检测和事件处理------------------------- 09:50
P129.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(一)_实现思路和程序架构-------------------- 19:50
P130.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(二)_CEP具体代码实现----------------------- 17:29
P131.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(三)_流式输入数据测试-------------------- 06:42
P132.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(四)_ProcessFunction代码实现------------- 32:20
P133.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(一)_需求分析和整体架构-------------- 13:50
P134.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(二)_合流代码实现------------------------ 22:24
P135.尚硅谷_Flink项目-电商用户行为分析_Join API(一)_Window Join--------------------------- 12:56
P136.尚硅谷_Flink项目-电商用户行为分析_Join API(二)_Interval Join-------------------------- 09:47
P137.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(三)_Join代码实现----------------------- 09:22
详情
P01.尚硅谷_Flink-Flink简介------------ 07:56
P02.尚硅谷_Flink-Flink应用场景---------- 19:46
处理方式: 流处理,批处理
处理延时: 实时,离线
传统数据处理框架基于有限数据集
P03.尚硅谷_Flink-流式处理的提出---------------- 11:05
P04.尚硅谷_Flink-流式处理的演变------------- 15:18
第一代流处理框架: storm (低延时)
第二代流处理框架: Spark (高吞吐,正确性,微批次,秒级延时)
第三代流处理框架: Flink ()
P05.尚硅谷_Flink-Flink的特点------------------ 16:34
high: Table API ,
mid: DataStream API ,
low: ProcessFunction
P06.尚硅谷_Flink-批处理wordcount--------------- 23:59
pom.xml
注意视频中的 scala-maven-plugin 4.4.0 我使用的是 4.5.3
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.atguigu</groupId>
<artifactId>FlinkTutorial</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-scala_2.12</artifactId>
<version>1.10.1</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-scala_2.12</artifactId>
<version>1.10.1</version>
</dependency>
</dependencies>
<build>
<plugins>
<!--将scala文件编译成class文件-->
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>4.5.3</version>
<executions>
<execution>
<!--声明绑定到maven的compile阶段-->
<goals>
<goal>compile</goal>
</goals>
</execution>
</executions>
</plugin>
<!--打包成jar -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.3.0</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
如果无法新增scala文件,说明本机没有安装scala JDK ,IDEA 没有配置 scala 插件,请用40分钟转到本文https://blog.csdn.net/wei198621/article/details/119417753
学习一下 安装 scala JDK 及 IDEA 插件 ,然后继续。。。
//简单计数
package com.atguigu.wc
import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}
import org.apache.flink.api.scala._
//隐式转换
/**
* @author leowei
* @date 2021/8/5 - 15:39
*
* 批处理 wordCount
*/
object WordCount {
def main(args: Array[String]): Unit = {
// 01 创建一个批处理的 执行环境
val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
// 02 从文件中读取数据
val inputPath:String="C:\\\\workspace\\\\workspace_idea\\\\FlinkTutorial\\\\src\\\\main\\\\resources\\\\hello.txt";
val inputDataSet:DataSet[String] = env.readTextFile(inputPath);
//03 对数据进行转换处理统计,先分词,再按照word进行分组,最后进行聚合统计
val resultDataSet: DataSet[(String,Int)] =inputDataSet
.flatMap(_.split(" ")) //用空格分隔字符串
.map((_,1)) // 将字符串转换为 String,Int 类型的二元组,_表示字符串本身
//.groupBy(0) //以第一个元素作为key ,进行分组
//.sum(1) // 对所有数据的第二个元素求和
//04 打印输出
resultDataSet.print()
}
}
//分组统计
package com.atguigu.wc
import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}
import org.apache.flink.api.scala._
//隐式转换
/**
* @author leowei
* @date 2021/8/5 - 15:39
*
* 批处理 wordCount
*/
object WordCount {
def main(args: Array[String]): Unit = {
// 01 创建一个批处理的 执行环境
val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
// 02 从文件中读取数据
val inputPath:String="C:\\\\workspace\\\\workspace_idea\\\\FlinkTutorial\\\\src\\\\main\\\\resources\\\\hello.txt";
val inputDataSet:DataSet[String] = env.readTextFile(inputPath);
//03 对数据进行转换处理统计,先分词,再按照word进行分组,最后进行聚合统计
val resultDataSet: DataSet[(String,Int)] =inputDataSet
.flatMap(_.split(" ")) //用空格分隔字符串
.map((_,1)) // 将字符串转换为 String,Int 类型的二元组,_表示字符串本身
.groupBy(0) //以第一个元素作为key ,进行分组
.sum(1) // 对所有数据的第二个元素求和
//04 打印输出
resultDataSet.print()
}
}
P07.尚硅谷_Flink-流处理wordcount------------- 20:15
package com.atguigu.wc
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._
/**
* @author leowei
* @date 2021/8/5 - 18:48
*
*/
object WordCountStream {
def main(args: Array[String]): Unit = {
//01 创建流处理执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
//02 接受一个socket 文本流
val inputDataStream = env.socketTextStream("localhost", 7777)
//03 进行转化处理统计
val resultDataStream =inputDataStream
.flatMap(_.split(" ")) // .flatMap(x=>x.split(" "))
.filter(_.nonEmpty)
.map((_,1)) //map(x=>x,1)
.keyBy(0)
.sum(1)
//04 打印输出
resultDataStream.print()
//05 启动任务执行
env.execute("word count stream ....")
}
}
https://www.cnblogs.com/fander/p/10551391.html
---------20210805
P08.尚硅谷_Flink-流处理wordcount扩展测试和说明------------- 19:15
P09.尚硅谷_Flink-Flink集群部署---------------- 26:47
P010.尚硅谷_Flink-提交Job--------------------- 22:35
P011.尚硅谷_Flink-命令行提交Job----------- 07:31
P012.尚硅谷_Flink-其它方式集群部署------------------ 12:51
P013.尚硅谷_Flink-运行时架构_运行时组件----------- 08:36
P014.尚硅谷_Flink-运行时架构_作业提交流程------------- 13:23
P015.尚硅谷_Flink-运行时架构_任务调度原理(一)_并行度和slot------------- 16:29
P016.尚硅谷_Flink-运行时架构_任务调度原理(二)_slot共享----------------- 17:23
P017.尚硅谷_Flink-运行时架构_任务调度原理(三)_slot共享示例----------- 06:16
P018.尚硅谷_Flink-运行时架构_任务调度原理(四)_执行图和任务链------------- 25:36
P019.尚硅谷_Flink-运行时架构_任务调度原理(五)_自定义任务调度规则--------- 12:21
P020.尚硅谷_Flink-流处理API_Source(一)_从集合和文件读取数据------------ 16:19
P021.尚硅谷_Flink-流处理API_Source(二)_从Kafka读取数据------------------- 21:33
P022.尚硅谷_Flink-流处理API_Source(三)_自定义Source-------------------- 24:50
P023.尚硅谷_Flink-流处理API_Transform(一)_简单转换算子------------------- 06:50
P024.尚硅谷_Flink-流处理API_Transform(二)_简单分组聚合------------------ 19:16
P025.尚硅谷_Flink-流处理API_Transform(三)_reduce聚合-------------------- 11:22
P026.尚硅谷_Flink-流处理API_Transform(四)_分流操作----------------------- 12:24
P027.尚硅谷_Flink-流处理API_Transform(五)_合流操作---------------------- 19:55
P028.尚硅谷_Flink-流处理API_Flink支持的数据类型---------------------------- 09:41
P029.尚硅谷_Flink-流处理API_函数类和富函数类------------------------------ 19:41
P030.尚硅谷_Flink-流处理API_Sink(一)_文件----------------------------- 18:55
P031.尚硅谷_Flink-流处理API_Sink(二)_Kafka-------------------------- 10:45
P032.尚硅谷_Flink-流处理API_Sink(三)_Redis-------------------------- 18:30
P033.尚硅谷_Flink-流处理API_Sink(四)_ElasticSearch------------------- 16:43
P034.尚硅谷_Flink-流处理API_Sink(五)_MySQL---------------------------- 17:48
P035.尚硅谷_Flink-流处理API_Window API_窗口概念----------------------- 07:22
P036.尚硅谷_Flink-流处理API_Window API_窗口类型------------------------ 10:13
P037.尚硅谷_Flink-流处理API_Window API_窗口分配器--------------------------- 27:17
P038.尚硅谷_Flink-流处理API_Window API_窗口函数及其它可选API---------------- 21:00
P039.尚硅谷_Flink-流处理API_Window API_窗口计算测试------------------------- 15:07
P040.尚硅谷_Flink-时间语义------------------------------------------------ 17:57
P041.尚硅谷_Flink-时间语义的设置----------------------------------------- 04:33
P042.尚硅谷_Flink-Watermark概念-------------------------------------------- 19:06
P043.尚硅谷_Flink-Watermark原理和特点-------------------------------------- 15:58
P044.尚硅谷_Flink-Watermark传递------------------------------------------- 08:09
P045.尚硅谷_Flink-Watermark代码中引入------------------------------------ 16:33
P046.尚硅谷_Flink-自定义Watermark生成机制-------------------------------- 07:10
P047.尚硅谷_Flink-事件时间语义下的窗口测试------------------------------ 16:12
P048.尚硅谷_Flink-窗口起始点的确定------------------------------------- 09:21
P049.尚硅谷_Flink-状态管理(一)_状态的概念----------------------------- 08:08
P050.尚硅谷_Flink-状态管理(二)_算子状态和键控状态----------------------- 15:14
P051.尚硅谷_Flink-状态管理(三)_状态在代码中的定义和使用------------------ 27:25
P052.尚硅谷_Flink-状态编程示例(一)------------------------------------- 17:15
P053.尚硅谷_Flink-状态编程示例(二)------------------------------------- 17:30
P054.尚硅谷_Flink-ProcessFuntion_基本概念和使用-------------------------- 23:24
P055.尚硅谷_Flink-ProcessFuntion_定时器应用示例---------------------------- 32:50
P056.尚硅谷_Flink-ProcessFuntion_侧输出流应用示例-------------------------- 09:45
P057.尚硅谷_Flink-状态后端------------------------------------------------- 15:36
P058.尚硅谷_Flink-容错机制_检查点概念和原理------------------------------- 13:31
P059.尚硅谷_Flink-容错机制_检查点算法-------------------------------------- 25:46
P060.尚硅谷_Flink-容错机制_checkpoint配置---------------------------------- 26:29
P061.尚硅谷_Flink-容错机制_重启策略配置------------------------------------ 08:21
P062.尚硅谷_Flink-保存点------------------------------------------------- 07:32
P063.尚硅谷_Flink-状态一致性_基本概念----------------------------------- 10:46
P064.尚硅谷_Flink-状态一致性_Flink端到端状态一致性的保证---------------- 08:43
P065.尚硅谷_Flink-状态一致性_幂等写入和事务写入------------------------- 23:35
P066.尚硅谷_Flink-状态一致性_Flink与Kafka连接的状态一致性-------------------- 18:20
P067.尚硅谷_Flink-Table API和Flink SQL_基本概念和示例程序--------------------- 22:03
P068.尚硅谷_Flink-Table API和Flink SQL_基本程序结构-------------------------- 09:22
P069.尚硅谷_Flink-Table API和Flink SQL_表执行环境-------------------------- 15:43
P070.尚硅谷_Flink-Table API和Flink SQL_表的概念和从文件读取数据----------------- 19:14
P071.尚硅谷_Flink-Table API和Flink SQL_从Kafka读取数据------------------------- 09:29
P072.尚硅谷_Flink-Table API和Flink SQL_表的查询转换------------------------------ 11:04
P073.尚硅谷_Flink-Table API和Flink SQL_DataStream和表的转换------------------- 08:25
P074.尚硅谷_Flink-Table API和Flink SQL_输出到文件----------------------------- 25:14
P075.尚硅谷_Flink-Table API和Flink SQL_更新模式------------------------------ 10:51
P076.尚硅谷_Flink-Table API和Flink SQL_Kafka管道测试-------------------------- 17:41
P077.尚硅谷_Flink-Table API和Flink SQL_输出到ES------------------------------- 18:18
P078.尚硅谷_Flink-Table API和Flink SQL_输出到MySQL---------------------------- 08:09
P079.尚硅谷_Flink-Table API和Flink SQL_表转换成流------------------------------ 11:34
P080.尚硅谷_Flink-Table API和Flink SQL_流处理和SQL查询的不同------------------ 07:07
P081.尚硅谷_Flink-Table API和Flink SQL_动态表和持续查询---------------------- 12:24
P082.尚硅谷_Flink-Table API和Flink SQL_持续查询示例具体过程----------------- 12:50
P083.尚硅谷_Flink-Table API和Flink SQL_时间特性(一)_处理时间----------------- 20:16
P084.尚硅谷_Flink-Table API和Flink SQL_时间特性(二)_事件时间------------------ 14:16
P085.尚硅谷_Flink-Table API和Flink SQL_窗口(一)_分组窗口--------------------- 13:11
P086.尚硅谷_Flink-Table API和Flink SQL_窗口(二)_分组窗口测试-------------------- 18:43
P087.尚硅谷_Flink-Table API和Flink SQL_窗口(三)_Over窗口----------------------- 11:58
P088.尚硅谷_Flink-Table API和Flink SQL_窗口(四)_Over窗口测试------------------------ 13:03
P089.尚硅谷_Flink-Table API和Flink SQL_函数(一)_系统内置函数---------------------- 11:04
P090.尚硅谷_Flink-Table API和Flink SQL_函数(二)_UDF函数_标量函数----------------- 14:39
P091.尚硅谷_Flink-Table API和Flink SQL_函数(三)_UDF函数_表函数--------------------- 17:19
P092.尚硅谷_Flink-Table API和Flink SQL_函数(四)_UDF函数_聚合函数---------------- 26:58
P093.尚硅谷_Flink-Table API和Flink SQL_函数(五)_UDF函数_表聚合函数------------- 27:56
P094.尚硅谷_Flink项目-电商用户行为分析_批处理和流处理以及项目选型--------------- 08:12
P095.尚硅谷_Flink项目-电商用户行为分析_用户行为分析应用场景---------------------- 15:27
P096.尚硅谷_Flink项目-电商用户行为分析_模块设计和数据分析------------------------ 09:12
P097.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(一)-------- 21:03
P098.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_实时热门商品统计(二)--------- 09:07
P099.尚硅谷_Flink项目-电商用户行为分析_模块需求分析_其它需求------------------- 10:04
P100.尚硅谷_Flink项目-电商用户行为分析_项目框架搭建--------------------------------- 10:22
P101.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(一)_窗口聚合-------------------- 27:55
P102.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(二)_排序统计输出-------------------------- 27:14
P103.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(三)_从Kafka消费数据测试------------------ 20:51
P104.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(四)_批量消费Kafka数据测试---------------- 10:03
P105.尚硅谷_Flink项目-电商用户行为分析_实时热门商品统计(五)_Table API和SQL实现------------------- 28:43
P106.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(一)_开窗聚合统计-------------------- 26:06
P107.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(二)_统计结果排序输出----------------- 09:47
P108.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(三)_乱序数据的处理------------------- 21:04
P109.尚硅谷_Flink项目-电商用户行为分析_实时热门页面流量统计(四)_保证状态更新结果正确-------------- 21:41
P110.尚硅谷_Flink项目-电商用户行为分析_PV统计(一)_基本实现--------------------------------------- 20:39
P111.尚硅谷_Flink项目-电商用户行为分析_PV统计(二)_数据并行的优化-------------------------------- 19:22
P112.尚硅谷_Flink项目-电商用户行为分析_UV统计(一)_基本实现-------------------------------------- 15:28
P113.尚硅谷_Flink项目-电商用户行为分析_UV统计(二)_布隆过滤器去重思路和程序架构------------------- 30:48
P114.尚硅谷_Flink项目-电商用户行为分析_UV统计(三)_布隆过滤器简单实现----------------------------- 09:12
P115.尚硅谷_Flink项目-电商用户行为分析_UV统计(四)_UV去重的布隆过滤器实现------------------------- 23:32
P116.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(一)_自定义数据源------------------------- 17:03
P117.尚硅谷_Flink项目-电商用户行为分析_APP市场推广统计(二)_开窗聚合统计输出--------------------- 20:44
P118.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(一)_基本需求实现----------------------- 19:19
P119.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(二)_刷单行为过滤思路和整体框架--------- 14:28
P120.尚硅谷_Flink项目-电商用户行为分析_广告点击量统计分析(三)_刷单行为过滤代码实现-------------- 23:20
P121.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(一)_实现思路和代码框架-------------------- 18:17
P122.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(二)_具体代码实现--------------------------- 18:21
P123.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(三)_代码改进------------------------------- 18:19
P124.尚硅谷_Flink项目-电商用户行为分析_恶意登录检测(四)_CEP代码实现--------------------------- 30:33
P125.尚硅谷_Flink项目-电商用户行为分析_CEP简介(一)_CEP介绍及Pattern API整体概念---------------- 12:24
P126.尚硅谷_Flink项目-电商用户行为分析_CEP简介(二)_个体模式----------------------------------- 12:41
P127.尚硅谷_Flink项目-电商用户行为分析_CEP简介(三)_模式序列------------------------------------- 10:24
P128.尚硅谷_Flink项目-电商用户行为分析_CEP简介(四)_模式的检测和事件处理------------------------- 09:50
P129.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(一)_实现思路和程序架构-------------------- 19:50
P130.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(二)_CEP具体代码实现----------------------- 17:29
P131.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(三)_流式输入数据测试-------------------- 06:42
P132.尚硅谷_Flink项目-电商用户行为分析_订单超时检测(四)_ProcessFunction代码实现------------- 32:20
P133.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(一)_需求分析和整体架构-------------- 13:50
P134.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(二)_合流代码实现------------------------ 22:24
P135.尚硅谷_Flink项目-电商用户行为分析_Join API(一)_Window Join--------------------------- 12:56
P136.尚硅谷_Flink项目-电商用户行为分析_Join API(二)_Interval Join-------------------------- 09:47
P137.尚硅谷_Flink项目-电商用户行为分析_双流实时对账(三)_Join代码实现----------------------- 09:22
以上是关于Flink 尚硅谷学习笔记的主要内容,如果未能解决你的问题,请参考以下文章