8.5总结

8.5 总结

张量并行是一种大模型可靠的并行方法。它将模型参数矩阵分成更小的部分，减少了通信时间，使训练和推理都更加高效。虽然张量并行解决了由模型数据造成的内存瓶颈，但它的实现和优化也更具挑战性。

作者与出处

原作者： Datawhale

来源：datawhalechina

原文： https://github.com/datawhalechina/llm-deploy

许可证：CC BY-SA 4.0

整理：灏天文库整理

由灏天文库结构化整理，提供目录导航、全文检索与在线阅读，便于系统化学习