4.3 注意力机制与Transformer

文档摘要

4.3 注意力机制与Transformer 4.3 注意力机制与Transformer 时间序列预测是机器学习领域的一个重要分支，其目标是根据历史数据预测未来的趋势和模式。传统的统计学方法如ARIMA、指数平滑等在处理线性、平稳的时间序列时表现良好，但面对复杂的非线性、非平稳、多变量时间序列时，其局限性日益凸显。近年来，深度学习在时间序列预测领域取得了显著进展，尤其是循环神经网络（RNN）及其变体（LSTM、GRU）在捕捉时间依赖性方面展现出强大能力。然而，随着序列长度的增加，RNN模型普遍面临长距离依赖问题和并行计算效率低下等挑战。