随意的世界 - 分布式训练 的评论
type: channel
link: https://www.nasuiyile.cn/713.html
description: 分布式训练DP最早的pytorch分布训练框架叫做dp（data parallel）它的运行方式是硬盘读取数据然后给cpu分发给不同的显卡，每个gpu独立的计算出网络的梯度。然后所有的gpu都将...