8.5总结

文档摘要

8.5 总结张量并行是一种大模型可靠的并行方法。它将模型参数矩阵分成更小的部分，减少了通信时间，使训练和推理都更加高效。虽然张量并行解决了由模型数据造成的内存瓶颈，但它的实现和优化也更具挑战性。