1.6.1　Clipper

Clipper是Kubeflow的一个有趣的替代方案，这是一个由RiseLabs开发的通用型低延迟预测服务系统。为了简化部署、优化和推理，Clipper有一个分层的架构系统。通过不同的优化和模块化设计，Clipper在三种不同推理成本的TensorFlow模型上实现了低延迟和高吞吐量的预测，水平与TensorFlow Serving相当。

Clipper分为两个抽象层：模型选择层和模型抽象层。模型选择层非常复杂，因为它使用了自适应的在线模型选择策略和各种集成技术。由于模型在应用程序的整个生命周期中不断从反馈中学习，因此模型选择层可以对失败的模型进行自我校准，而不需要直接与策略层进行交互。

Clipper的模块化架构和聚焦于容器化（类似于Kubeflow），使得缓存和批处理机制可以在不同的框架间共享，同时还使得添加新模型框架具有可扩展性、并发性和灵活性。

从理论到功能性的端到端系统，Clipper在科学界获得了很大的吸引力，其架构设计的各个部分已经被纳入机器学习系统中。尽管如此，我们还不确定它是否会在行业内被大规模采用。