Flink AI Flow 是AI Flow以Flink作为执行引擎的实现,Flink生态对AI强有力的支持使得用Flink实现AI Flow非常适合,目前Flink在AI领域生态包括:Flink ML Pipeline、Alink、Pyflink、TF/Pytorch on Flink。
1. Flink AI Flow架构图
上面是Flink AI Flow的架构图,与之前看到到AI Flow的架构图不同的是Flink AI Flow有着丰富的数据源的支持。
2. Flink ML Pipeline 与 Alink
上图是Flink ML Pipeline的介绍,主要包括Transformer和Estimator两个接口的抽象,Transformer接口抽象主要用在数据处理过程,Estimator接口抽象主要用在模型训练过程。
如上图,Flink ML Pipeline为Flink AI Flow提供了流水线的基础,Alink重写了Flink ML Pipeline大多数的机器学习的库。
3. Flink AI Flow和ML Pipeline关系
Flink AI Flow和ML Pipeline如何相互工作的?如上图所示,每个虚框都可以代表一个ML Pipeline,每个Pipeline都有一个或者多个AI Node构成,Pipeline之间存在上下游的依赖关系,Flink Job Generator会将这些Pipeline中的AI Node组合到一起,翻译成相应的Flink Job,Flink AI Flow就基于Flink ML Pipeline构成了一个DAG图。