创鑫智慧执行长刘景慈 (Ken Lau) 表示:「在德国 2025 年嵌入式世界展览会 (Embedded World) 的超恩展位 (Hall 3, #3-449),将可看到 Viper AI 加速卡的独特功能,包括在平均仅 45W 功耗下支持 120 亿参数模型。在高登智慧 ShareGuru SLM 解决方案基础下,辅以创鑫智慧与超恩工业边缘 AI 计算系统的协助,将可提供安全且高效的 AI 处理,以满足现代工业环境资安相关要求。此一完整解决方案能为企业主管提供即时的业务洞察,协助他们以更低的营运成本做出更快速的决策。」
专注于大语言模型 (LLM) 和生成式 AI 晶片设计的创鑫智慧,与超恩所合作开发的高能效解决方案,将分别整合双方 Viper 系列 LLM 加速卡与边缘 AI 运算系统,其中创鑫智慧提供的是企业级离线 AI 解决方案,搭载 Raptor N3000 LLM 加速晶片。这一战略合作可望带给企业高精准度且可信赖的解决方案,加速生成式 AI 发展与企业部署。
超恩 ECX-3100 RAG 超强固工作站采用 Intel Core™ i9/i7/i5/i3 处理器搭载工作站等级 Intel R680E PCH,内建 96GB DDR5 高速记忆体,是一款精巧整合式生成式 AI 推论平台,具备 10G USB、2.5G 网路以及 5G/WiFi/BT/4G/LTE/GPRS/UMTS 无线传输等多种高速资料传输介面,并支援 DC 12V 至 50V 宽范围电源输入、车用电源控制功能及超坚固设计,可满足边缘端生成式 AI 应用的多样化需求。
超恩执行副总黄圣凯表示:「随著生成式 AI (Generative AI; GenAI) 应用的发展,市场对 GenAI 的需求正快速增长。超恩与创鑫智慧合作开发以 RAG (Retrieval-Augmented Generation) 为主的先进 Gen AI 专用软硬体整合解决方案,让企业用户无需额外训练即可利用自然语言提取企业资料库与商业智慧 (BI) 的最新分析,从而提供更关键、高品质的图表化结果,加快企业决策流程。相较于传统以云端为基础的 GPU 解决方案,GenAI 工作站提供更具成本效益、稳定的推论效能及低功耗优势。」
刘景慈指出,Viper AI LLM 加速卡展现创鑫智慧在生成式 AI 市场上的敏捷应变能力,为高登智慧 ShareGuru QA 2.0 自然语言转换资料库查询 (Natural Language to SQL) 方案提供动力。在极为节能与高容量记忆体配置下,提供企业级语言模型能力,透过此一战略整合,ShareGuru QA 2.0 是一个与 SLM 配合运作的 SQL Agent,并充分利用 Mistral-Nemo (120 亿参数模型) 的能力,仅在单张 Viper 卡上高效运行,功耗仅 45W,实现安全的本地 AI 处理,无需传统基础设施的复杂性与高成本。
高登智慧技术长林志哲博士表示,高登智慧先进的自然语言处理解决方案,与 Viper 原生 BF16 结构化语言模型支持的协同,使用原生模型,无需额外压缩处理,即可提供高精度的资料库转换生成结果。这不仅为寻求 AI 驱动数据库分析的组织提供强大解决方案,同时也能确保数据安全并降低运营成本。这种软硬体整合展示了功率效率、处理能力和安全性的完美平衡,特别适合需要本地处理与能源效率的工业与企业应用。
