导语：CPU怎样玩转AI？

假如说2023年是人工智能年夜模子元年，那末2024年也许就是各形态AI运用年夜范围落地元年。

据IDC猜测，2024 年全世界将涌现出跨越5亿个新运用，相称在已往40年间呈现的运用数总及。

而作为AI成长基础之一的算力，面对着愈来愈多的挑战。

怎样打造新一代算力日趋成为云厂商于思索的工作。

1月11日，阿里云公布第八代企业级通用计较实例ECS g8i算力再进级，海内首发代号Emerald Rapids的第五代英特尔至强可扩大处置惩罚器，依托阿里云自研的“飞天+CIPU”架构系统，ECS g8i实例的整机机能最高晋升85%，AI推理机能最高晋升7倍，可支撑高达72B参数的年夜语言模子，帮忙中小范围模子起建成本降低50%。

同时，新实例还有提供了端到端安全防护，为企业构建可托AI运用提供强有力的隐私加强算力支撑。

阿里云弹性计较产物线总司理张献涛暗示，“阿里云ECSg8i实例的强劲体现，证实了以CPU为中央的计较系统一样具有加快AI推理的巨年夜潜力，大众云不仅可胜任超年夜范围的AI模子，也为AI运用加快落地斥地了新路径。”

英特尔中国数据中央及人工智能集团至强客户解决方案事业部总司理李亚东暗示：“最新上市的第五代英特尔至强®可扩大处置惩罚器每一个内核均内置AI加快功效，彻底有能力处置惩罚要求严苛的AI事情负载。与上代比拟，其AI练习机能晋升多达29%，AI推理能力晋升高达42%。咱们但愿借由阿里云第八代企业级实例（ECS g8i）配合助力开发者实现技能普惠，让AI技能无处不于。”

通用算力再晋升，整机机能晋升85%

作为企业级通用计较实例，ECSg8i实例于计较、存储、收集及安全等能力获得了全方位晋升。

据雷峰网(公家号：雷峰网)相识，从要害参数上看，ECSg8i实例的L3缓存容量晋升到320MB，内存速度高达5600MT/s，整机机能晋升85%，单核机能晋升25%；存储方面，ESSD云盘提供100万IOPS，周全搭载NVMe，存储延迟低至百微秒；收集方面，PPS高达3000万，标配阿里云自研eRDMA年夜范围加快能力，时延低至8微秒；安全方面，ECS g8i实例撑持可托计较与加密计较等特征，全世界率先撑持秘要虚拟机TDX技能，构建了周全的安全防护。

于E2E场景下，ECSg8i实例可将MySQL机能晋升最高达60%，Redis及Nginx的机能别离晋升40%及24%，面向游戏、视频直播、电商、金融、医疗、企业办事等行业提供强劲的算力撑持，满意其于数据库、年夜数据、AI推理等运用场景下对于机能的严苛要求。

此外，ECS g8i实例还有提供了多种硬件原生加快能力，包括QAT及IAA等加快器。阿里云经由过程自研技能，将硬件加快能力更细颗粒度透传至实例虚拟机，小规格的ECS g8i实例也一样具有加快能力。此中，依托在QAT原生加解密加快器，ECSg8i实例于压缩/解压缩场景下机能最年夜可晋升70倍，加解密机能晋升4倍以上。

为AI提速，可支撑72B参数的年夜语言模子

天生式AI掀起的技能革命，正于鞭策计较范式发生底子性的变化。当前，AI年夜模子推理于算力上依然面对诸多挑战，例如首包延迟受限在并行处置惩罚能力与浮点运算能力，吞吐机能则受限在内存带宽及收集延迟。

阿里云ECS g8i实例针对于这些难题都举行了相称水平的优化，包括内置指令集从AVX512进级到了IntelAMX高级矩阵扩大加快技能，可以让天生式AI更快地运行。

据雷峰网相识，相对于在AVX512指令集，启用AMX AI加快后，ECS g8i实例于int 8矩阵计较的机能最高晋升7倍。

基在AMX AI加快能力，g8i可更迅速地相应中小范围参数模子，运行常识检索、问答体系和择要天生等AI事情负载时，起建成真相比A10 GPU云办事器降落50%。此外，共同阿里云平台的Spot抢占式实例，成本上风将进一步凸显，进一步降低AI推理成本。

与此同时，基在自研eRDMA超低延时弹性收集，阿里云g8i实例集群拥有超低延时收集及高弹性上风，可轻松支撑72B参数级另外年夜语言模子漫衍式推理，推理机能随集群范围靠近线性加快，并可撑持跨越32batchsize的超年夜参数范围的AI模子负载，运行文生图、AI天生代码、虚拟助手以和创意辅助东西等AI事情负载。

以阿里云通义千问开源的Qwen-72B年夜模子为例，可于g8i实例eRDMA收集构建的集群实现高效运行，于输入小在500字环境下，首包延时小在3秒，每一秒可天生7个Token。

为安全加码，助力企业构建可托AI运用

安全方面，阿里云于全产物线构建了端到真个安全防护，可保障数据存储、数据传输、数据计较的全流程安全。

于最底层，基在CIPU的安全架构搭载安全芯片TPM作为硬件可托根，实现办事器的可托启动，确保零窜改；虚拟化层面，撑持虚拟可托能力vTPM，提供实例启动历程焦点组件的校验能力；于实例可托的基础上撑持差别平台的秘要计较能力，实现了运行态的内存数据断绝及加密的掩护。

值患上一提的是，这次进级的ECS g8i实例全量撑持Trust Domain Extension TDX技能能力，营业运用无需更改，便可部署到TEE之中，极年夜降低了技能门坎，并以极低的机能损耗为年夜模子等AI运用提供隐私加强算力，护航年夜模子的云上数据安全。

以Qwen-Chat-7B模子为例，启用TDX后，既确保了模子推理的安全可托，也掩护了数据的秘要性及完备性。

“阿里云将不停深耕技能、连续产物立异，为企业提供越发不变、强盛、安全、弹性的计较办事，鞭策各行业的AI运用进入全量发作时代。”张献涛暗示。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。