dp tp方

2024年1月3日 - DP是国际贸易中常用的一种付款方式,意思是卖方安排出货后,将全套货运单据,通过托收行寄往指定的代收行,代收行在买方付清全部货款后将全套货运单据放给...

2025年5月11日 - 由于vocab_size很大(100k),这个通信量就很夸张了,一种优化方式是先将每张卡上的结果按行sum,得到的结果是b*s,对这个求和结果做allreduce,其通信量仅为...