《基于光互连的智能算力集群建议硬件环境清单、智能算力集群加速卡技术规格、模型参数要求、测试报告模板、存档材料列表.docx》由会员分享，可在线阅读，更多相关《基于光互连的智能算力集群建议硬件环境清单、智能算力集群加速卡技术规格、模型参数要求、测试报告模板、存档材料列表.docx（17页珍藏版）》请在第壹文秘上搜索。
1、（资料性）建议硬件环境清单光直连集群机房硬件配置清单序号设备名称数量参考规格备注1GPU服务器2cpu:IntelXeonCPU*2ram：2TBssd：系统盘480G*2,数据盘3.84TB*4gpu：厂家GPU*8电口：千兆网口*1光口：GPU计算网口200Gb*2,管理网口25Gb*1电源：4个GPU计算区域GPU服务器2RoCE交换机1L3以太网交换机，支持RoCE网络，支持200G光口，配套模块和线缆GPU计算区网络设备3核心交换机1L3以太网交换机，支持25Gb光口，配套模块和线缆可选，非必须4带外管理交换机1L3以太网交换机，支持100OBASE-T电口，配套线缆可选，非必须5防
2、火墙11个配置口（CoN）4个千兆以太电口可选，非必须6光互连模组若干型号：LTPW-CBQDSOP5NCS-XXX必选光互连电交换集群机房硬件配置清单序号设备名称数量参考规格备注1GPU服务器4/8cpu:IntelXeonCPU*2ram：2TBGPU计算区域GPU服务器ssd：系统盘480G*2,数据盘3.84TB*4gpu：厂家GPU*8电口：千兆网口*1光口：GPU计算网口200Gb*2,管理网口25Gb*1电源:4个2RoCE交换机1L3以太网交换机，支持RoCE网络，支持200G光口，配套模块和线缆GPU计算区网络设备3核心交换机1L3以太网交换机，支持25Gb光口，配套模块和线
3、缆可选，非必须4带外管理交换机1L3以太网交换机，支持100oBASE-T电口，配套线缆可选，非必须5防火墙11个配置口（CoN）4个千兆以太电口可选，非必须6光互连模组若干型号：LTPW-CBQDSOP5NCS-XXX必选7电交换机若干PoRT数量：16/32PORT速率：Gen5x8xl6必选光互连光交换集群机房硬件配置清单序号设备名称数量参考规格备注1GPU服务器4/8cpu:IntelXeonCPU*2ram：2TBssd：系统盘480G*2,数据盘3.84TB*4gpu：厂家GPU*8电口：千兆网口*1光口：GPU计算网口200Gb*2,管理网口25Gb*1电源:4个GPU计算区域G
4、PU服务器2RoCE交换机1L3以太网交换机，支持RoCE网络，GPU计算区网络设备支持200G光口，配套模块和线缆3核心交换机1L3以太网交换机，支持25Gb光口，配套模块和线缆可选，非必须4带外管理交换机1L3以太网交换机，支持100OBASE-T电口，配套线缆可选，非必须5防火墙11个配置口（CON）4个千兆以太电口可选，非必须6OCS模组若干型号：TBD必选（资料性）智能算力集群加速卡技术规格参数参数值型号制程工艺晶体管数量核心频率核心数量FP32(vector)FP32(matrix)TF32FP16BF16INT32INT16INT8INT4显存容量显存类型显存位宽显存带宽视频编解
5、码图片编解码显示最大分辨率接口类型显示接口互连带宽最大热设计功耗(TDP)最大整板功耗(TBP)散热设计形态槽位数外形尺寸（资料性）建议模型及模型参数要求建议测试模型建议模型集群规模要求Llama270B至少16卡Llama3.1405B至少128卡GPTMoE567B至少128卡GPTMoE1.8T至少512卡DeepSeekRl671B至少128卡Grok-I至少128卡Stablediffusion至少16卡OpenSora至少16卡私有模型注：Llama3.1405B、GPTMoE567B、GPTMoE1.8T等千亿以上参数模型需要在512卡集群环境进行测试。Llama270B模型测试
6、参数要求序号参数项参数值说明1global_batchsize0.5x卡数强制要求2micro_batchsize厂商自行调整3hidden_size8192强制要求4ffn_hidden_size28672强制要求5num_attention_heads64强制要求6num_layers80强制要求7seq_length4096强制要求9Dataparallelsize厂商自行调整10Tensorparallelsize厂商自行调整11Pipelineparallelsize厂商自行调整12Virtualpipelineparallelsize厂商自行调整13num_gqa_attentio
7、n_group8强制要求14DropoutFALSE强制要求15vocab_size32000强制要求；必须使用11ama70b官方词表GPTMoE567B模型测试参数要求序号参数项参数值说明1global_batchsize64强制要求2micro_batchsize厂商自行调整3hidden_size8192强制要求4ffn_hidden_size32768强制要求5num_attention_heads64强制要求6num_layers64强制要求7seq_length8192强制要求8num_experts16强制要求9moe_router_topk2强制要求10Dataparalle
8、lsize厂商自行调整11Expertparallelsize参考下方说明12Tensorparallelsize参考下方说明13Pipelineparallelsize厂商自行调整14Virtualpipelineparallelsize厂商自行调整15DropoutFALSE强制要求16vocab_size32000强制要求；必须使用Ilama70b官方词表注：TP和EP参数说明TP*EP值为超节点大小（如：超节点大小为16卡时，TP*EP=16；超节点大小为32卡时，TP*EP=32；超节点大小为64卡时，TP*EP=64）GPTMoE1.8T模型测试参数要求序号参数项参数值说明1glo
9、bal_batchsize64强制要求2micro_batchsize厂商自行调整3hidden_size10752强制要求4ffn_hidden_size43008强制要求5num_attention_heads64强制要求6num_layers120强制要求7seq_length8192强制要求8num_experts16强制要求9moe_router_topk2强制要求10Dataparallelsize厂商自行调整11Expertparallelsize参考下方说明12Tensorparallelsize参考下方说明13Pipelineparallelsize厂商自行调整14Virtu
10、alpipelineparallelsize厂商自行调整15DropoutFALSE强制要求16vocab_size32000强制要求；必须使用Ilama70b官方词表注：TP和EP参数说明TP*EP值为超节点大小（如：超节点大小为16卡时，TP*EP=16;超节点大小为32卡时，TP*EP=32；超节点大小为64卡时，TP*EP=64）错误!文档中没有指定样式的文字。Llama3405B模型测试参数要求序号参数项参数值说明1global_batchsize2048强制要求2micro_batchsize厂商自行调整3hidden_size16384强制要求4ffn_hidden_size53
11、284强制要求5num_attention_heads128强制要求6num_layers126强制要求7seq_length8192强制要求9Dataparallelsize厂商自行调整10Tensorparallelsize厂商自行调整11Pipelineparallelsize厂商自行调整12Virtualpipelineparallelsize厂商自行调整13num_gqa_attention_group8强制要求14DropoutFALSE强制要求15vocab_size128256强制要求；必须使用11ama3官方词表注：Globalbatchsize说明Metareport中预训
12、练使用时间最长的配置：16384HlO0；globalbatchsize2048,sequencelength8192DeepSeekR1671B模型测试参数要求序号参数项参数值说明1hidden_size7168强制要求2intermediate_size18432强制要求3num_attentionheads128强制要求4n_group8强制要求5n_routed_experts256强制要求6n_shared_experts1强制要求7Dataparallelsize厂商自行调整8Expertparallelsize参考下方说明9Tensorparallelsize参考下方说明10Pipelineparallelsize厂商自行调整11Virtualpipelineparallelsize厂商自行调整12num_experts_per_tok8强制要求13num_hidden_layers61强制要求14num_key_value_heads128强制要求15num_nextn_predict_layers1强制要求注：TP和EP参数说明TP*EP值为超节点大小（如：超节点大小为16卡时，TP*EP=16；超节点大
