6.1OpenVINO与Ipex-llm

6.1 OpenVINO与Ipex-llm

OpenVINO与Ipex-llm都是英特尔平台特意推出的工具，因此在此统一介绍

OpenVINO支持英特尔Cpu，集成显卡，Vpu，FPGA等平台，利用硬件特性进行推理加速，而Ipex-llm则利用英特尔的AVX指令和多线程技术进行推理加速。

OpenVINO可以通过模型优化器将模型转换为中间表示(IR)，进行图层融合与常量堆叠，且支持FP16和INT8量化，通过减少计算量从而加速模型推理。Ipex-llm则是支持自动混合精度，

作者与出处

原作者： Datawhale

来源：datawhalechina

原文： https://github.com/datawhalechina/llm-deploy

许可证：CC BY-SA 4.0

整理：灏天文库整理

由灏天文库结构化整理，提供目录导航、全文检索与在线阅读，便于系统化学习