Joey

March 5, 2025

训练大模型时使用GPU而不是CPU的主要原因在于GPU在并行计算和能效方面的优势： 1. 并行计算能力 GPU：拥有数千个核心，适合同时处理大量简单任务，如矩阵运算，这在深度学习的前向和反向传播中非常关键。 CPU：核心数量较少，适合处理复杂任务，但在并行计算上不如GPU高效。 2. 计算速度 GPU：专为高吞吐量设计，能快速完成深度学习中的大规模矩阵运算。 CPU：虽然单任务处理能力强，但在大规模并行计算上速度较慢。 3. 内存带宽 GPU：具备高内存带宽，能快速传输大量数据，适合处理深度学习中的大数据集。 CPU：内存带宽较低，数据传输速度较慢。 4. 能效 GPU：在并行任务中能效更高，适合长时间训练。 CPU：在并行计算中能效较低，长时间训练成本更高。

原来是因为并行化的问题啊