问 torch.distributed.barrier()是如何工作的

EN

我已经阅读了所有关于torch.distributed.barrier()的文档，但是仍然很难理解它是如何在 这个剧本 中使用的，我很想得到一些帮助。

因此， torch.distributed.barrier官方医生 说它“同步所有processes.This集合块进程，直到整个组进入这个函数，如果async_op是假的，或者如果在wait()上调用异步工作句柄”。

它在脚本中的两个地方使用：

第一名

    if args.local_rank not in [-1, 0] and not evaluate:
        torch.distributed.barrier()  # Make sure only the first process in distributed training process the dataset, and the others will use the cache
        ... (preprocesses the data and save the preprocessed data)
    if args.local_rank == 0 and not evaluate:
        torch.distributed.barrier() 

第二名

    if args.local_rank not in [-1, 0]: