字节搭建超过10000卡GPU的算力集群

日前，字节发布了一篇论文，披露显示公司已搭建超过10000块GPU（12,288）的单一集群，算力利用率超过55%。

据介绍，截止2023年9月，字节建立起了超过一万张Ampere架构GPU（A100和A800）的集群，目前正在建设Hopper架构的集群（H100和H800）。

显然，字节花了接近一年时间去“搞定”基础设施，这，或许是模型研发生命周期里最重要的一步。