2.4.4 优化模型

在TensorFlow Lite中提供了优化模型大小和性能的工具，这对预测结果的准确性影响甚微。在使用优化模型时可能需要稍微复杂的训练、转换或集成。

机器学习中的优化是一个不断发展的领域，TensorFlow Lite的模型优化工具包（Model Optimization Toolkit）也在随着新技术的发展而不断发展。

（1）性能

模型优化的目标是在给定设备上达到性能、模型大小和准确率的理想平衡，帮助指导开发者完成优化过程。

（2）量化

量化通过降低模型中数值和运算符的精度，可以减小模型的大小和推断所需的时间。对很多模型而言，这样的操作只有极小的准确性损失。

TensorFlow Lite转换器让量化TensorFlow模型变得简单。例如，下面的Python代码演示了量化一个SavedModel并将其保存在硬盘中。

TensorFlow Lite支持将值的精度从全浮点数降低到半精度浮点 （float16）数或8位整数，每种设置都要在模型大小和准确度上进行权衡取舍，而且有些运算有针对这些降低了精度的类型的优化实现。

（3）模型优化工具包

模型优化工具包是一套工具和技术，旨在使开发人员可以轻松地优化它们的模型。虽然其中的许多技术可以应用于所有TensorFlow模型，并非特定于TensorFlow Lite，但在资源有限的设备上进行推断时，它们特别有价值。