shuffle

Flink Remote Shuffle

FlinkRemoteShuffle是一种批场景下利用外部服务完成任务间数据交换的Shuffle实现，本文后续将详细介绍FlinkRemoteShuffle研发的背景，以及FlinkRemoteShuffle的设计与使用。重要特性存储计算分离：存储计算分离使计算资源与存储资源可以独立伸缩，计算资源可以在计算完成后立即释放，Shuffle稳定性