AMD指出,这些OCI的裸机执行个体(bare metal instance)设计旨在执行各种要求严苛的AI工作负载,包括需要高吞吐量的大型语言模型(LLM)推论与训练,且具备领先业界的记忆体容量与频宽,现已被Fireworks AI等企业所采用。

AMD全球副总裁暨资料中心GPU事业群总经理Andrew Dieckmann表示,AMD Instinct MI300X 与ROCm开放软体的发展动能持续成长,成为深受客户信赖的解决方案,以执行最关键的OCI AI工作负载。随著这些解决方案进一步扩展至持续成长的AI密集型市场中,此组合将为OCI客户带来高效能、高效率以及绝佳的系统设计弹性。

Oracle Cloud Infrastructure软体开发资深副总裁Donald Lu表示,AMD Instinct MI300X加速器的推论能力增加了OCI广泛的高效能裸机执行个体选择,以消除AI基础架构常用的虚拟化运算所带来的开销。我们很高兴为客户提供更多选择,以具有竞争力的价格加速AI工作负载。

AMD Instinct MI300X通过OCI认证的严密测试,凸显其满足延迟最佳化(latency-optimal)使用案例的AI推论与训练能力,在较大批量(batch size)下,可在单一节点上容纳最大的LLM模型。Instinct MI300X具备的这些效能优势引起了AI模型开发者的关注。

Fireworks AI提供一个高速的平台,以建构与部署生成式AI。拥有超过100个模型的Fireworks AI正在发挥OCI中AMD Instinct MI300X所带来的效能优势。

Fireworks AI执行长Lin Qiao表示,Fireworks AI协助企业在广泛的产业和使用案例中建构与部署复合式AI系统。AMD Instinct MI300X与ROCm开放软体提供的记忆体容量,让我们能为客户扩展服务以因应持续成长的模型。


點擊閱讀下一則新聞 點擊閱讀下一則新聞
投资人关注俄乌战争局势 美国股市近乎平盘开出