分布式训练DP最早的pytorch分布训练框架叫做dp（data parallel）它的运行方式是硬盘读取数据然后给cpu分发给不同的显卡，每个gpu独立的计算出网络的梯度。然后所有的gpu都将...