近日，DeepSeek开源周活动进入了第四天，与前几日接连不断的开源项目发布相比，这一天的发布略显姗姗来迟，让众多期待已久的观众稍感焦急。然而，这份等待最终被证明是值得的，因为DeepSeek在这一天一次性揭晓了两项重量级的开源技术。
首先亮相的是DualPipe技术，这是一项基于DeepSeek-V3技术报告提出的创新算法，被命名为“双向管道并行算法”。该算法通过实现计算通信阶段的双向重叠，即在向后计算和向前计算的同时进行数据传输，显著减少了深度学习训练过程中的空闲时间。DualPipe还引入了一种全新的流水线气泡优化调度策略，这一策略能够有效缓解传统管道并行技术中普遍存在的“气泡”问题，从而提升了硬件资源的整体使用效率。据悉，该算法在GitHub平台一经发布，便迅速收获了544个收藏。
紧接着，DeepSeek又推出了EPLB技术，即“专家并行负载均衡器”。这项技术具有三大显著特点：动态负载均衡、分层与全局平衡结合以及流量优化。在动态负载均衡方面，EPLB基于混合专家（MoE）架构，通过复制高负载专家并采用启发式算法进行任务分配，有效优化了GPU之间的负载分布。在分层与全局平衡结合上，该技术不仅能够在单个节点内进行分层的负载管理，还能实现跨节点的全局负载均衡，显著减少了GPU的闲置时间。EPLB在流量优化方面同样表现出色，它能够在保持负载均衡的同时，通过调整专家的分布来降低节点间的数据通信量，从而进一步提升了整体训练效率。
