推理算力告别浪费
近两年来,大模型商业化落地迈入普惠普及周期:头部厂商搭建 DGX 集群打磨基座大模型,海量中小企业、政企园区、
互联网平台则产生大规模推理算力需求,用以承载智能客服、知识库问答、文生创作、API 调用等业务场景。推理业务普遍存在任务碎片化、
并发流量庞大、无严苛串行时延要求的特点,倘若依旧采用 6776P、6767P 这类偏向高频单核性能的 CPU 搭建推理集群,
极易出现核心算力长期空置的问题,整机算力利用率普遍低于 55%,高额电费与硬件购置成本形成双重资源浪费。
互联网平台则产生大规模推理算力需求,用以承载智能客服、知识库问答、文生创作、API 调用等业务场景。推理业务普遍存在任务碎片化、
并发流量庞大、无严苛串行时延要求的特点,倘若依旧采用 6776P、6767P 这类偏向高频单核性能的 CPU 搭建推理集群,
极易出现核心算力长期空置的问题,整机算力利用率普遍低于 55%,高额电费与硬件购置成本形成双重资源浪费。
与此同时,国内各地相继落地绿色数据中心管控准则,明确划定机房功耗上限。老旧服务器机架算力密度偏低,企业若要扩充推理算力,
只能选择新建机房,不仅基建周期漫长,整体投入成本也居高不下。传统多路 CPU 产品存在明显短板:主打高主频的型号功耗难以管控,
侧重多核的版本又不足以支撑上万级推理并发场景。长期以来,市场始终缺少一款面向横向扩容推理、微服务场景定制开发的高能效服务器处理器。
只能选择新建机房,不仅基建周期漫长,整体投入成本也居高不下。传统多路 CPU 产品存在明显短板:主打高主频的型号功耗难以管控,
侧重多核的版本又不足以支撑上万级推理并发场景。长期以来,市场始终缺少一款面向横向扩容推理、微服务场景定制开发的高能效服务器处理器。
立足这一行业痛点,英特尔推出至强 6746E 处理器,主打纯能效、高密度算力定位。该芯片摒弃高频单核的设计思路,
把晶体管资源全部投向运算核心布局,在 250W 功耗规格内集成 112 颗独立运算核心。实测数据显示,在相同机柜功耗限制下,
搭载至强 6746E 的服务器机架算力密度,相较第五代至强提升 2.7 倍。以往需要 3 组老旧机架才能承载的推理业务,
如今仅单机架便可完成部署,既能节约机柜机房资源,又可削减整体能耗开支,高度适配低碳数据中心的建设标准。
把晶体管资源全部投向运算核心布局,在 250W 功耗规格内集成 112 颗独立运算核心。实测数据显示,在相同机柜功耗限制下,
搭载至强 6746E 的服务器机架算力密度,相较第五代至强提升 2.7 倍。以往需要 3 组老旧机架才能承载的推理业务,
如今仅单机架便可完成部署,既能节约机柜机房资源,又可削减整体能耗开支,高度适配低碳数据中心的建设标准。
