6.1OpenVINO与Ipex-llm

文档摘要

6.1 OpenVINO与Ipex-llm OpenVINO与Ipex-llm都是英特尔平台特意推出的工具，因此在此统一介绍硬件层级优化 OpenVINO支持英特尔Cpu，集成显卡，Vpu，FPGA等平台，利用硬件特性进行推理加速，而Ipex-llm则利用英特尔的AVX指令和多线程技术进行推理加速。计算层级优化 OpenVINO可以通过模型优化器将模型转换为中间表示(IR)，进行图层融合与常量堆叠，且支持FP16和INT8量化，通过减少计算量从而加速模型推理。Ipex-llm则是支持自动混合精度，内存/显存与数据管理优化并行化层级优化拓展性与应用