NVIDIA NeMo微服务为开发人员提供一个端对端平台，能建立最先进的代理型AI系统，并结合商业资料推论、使用者偏好持续优化模型，使 AI 代理从互动中不断学习与精进，进而成为企业内部数位团队的一员。作为建立 AI 代理的建构模组，NeMo 微服务帮助企业利用商业智慧与包括 NVIDIA Llama Nemotron 在内的世界级推理模型完成更多工作。
企业若缺乏来自资料库、使用者互动或现实讯号等高品质输入，将影响AI代理的理解与应对品质。NeMo 微服务著眼于此，协助开发人员搜集并运用三大类资料：推论资料、最新业务资料、与使用者回馈资料，以实现资料驱动的持续学习。
NeMo 提供包括 NeMo Customizer、Evaluator、Guardrails 等模组，搭配 Retriever 与 Curator 进行客制化资料飞轮建构，快速打造企业专属AI代理系统。应用场景如下：
NeMo Customizer：支援监督式微调与LoRA后训练技术，训练输送量提升1.8倍。
NeMo Evaluator：简化模型评估流程，仅需5次API请求。
NeMo Guardrails：于延迟仅半秒的情况下，合规性提升1.4倍。
这些模组均可部署于 NVIDIA AI Enterprise 软体平台，支援在本地或云端的加速运算架构上运行，并具备企业级安全性、稳定性与技术支援。
NeMo 微服务的开放正值多代理AI系统快速兴起之际，未来企业将部署数百个具有明确任务与目标的AI代理，成为与人类员工协作的数位队友，广泛应用于诈欺侦测、购物助理、预测性维护与文件审查等场景，催生上兆美元的市场潜力。
多家产业巨头已导入NeMo 微服务，建立反应迅速的AI代理平台，提升内部营运与服务品质。
AT&T与 Arize、Quantiphi 合作，利用NeMo微服务建构可扩展的AI代理系统，处理包含上万份文件的知识库，并透过微调Mistral 7B模型，将准确率提升40%。贝莱德在 Aladdin 技术平台上导入NeMo 微服务，结合通用资料语言整合投资流程。思科 Outshift 团队与 Galileo 合作建置AI编码助理，错误率降幅达40%，回应速度提升10倍。纳斯达克运用 NeMo Retriever 与 NIM 微服务强化其 Gen AI 平台，提升搜寻准确率与反应速度30%。
NeMo 微服务支援包括 Llama、Phi、Gemma、Mistral 与 Llama Nemotron Ultra 等热门开源模型，并与 Meta 的 Llamastack 整合，提供完整API以实现客制化开发。
Meta GenAI 工程师 Raghotham Murthy 表示：「透过 NeMo 微服务支援的资料飞轮，工程师能持续提升模型效能，降低总持有成本。」
此外，Cloudera、Datadog、Dataiku、Weights & Biases 等多家平台已与 NeMo 整合，开发人员亦可于 LangChain、CrewAI、LlamaIndex 等框架中运用 NeMo 微服务。
NVIDIA 同时与储存设备伙伴合作，提供 NVIDIA AI Data Platform 建构资料飞轮，包括 DDN、戴尔、IBM、Pure Storage 等供应商均为认证合作伙伴。
如Amdocs、Cadence、SAP、ServiceNow 与 Synopsys 等平台，也皆已于其AI代理系统导入 NeMo 微服务。顾问业者如埃森哲、德勤与安永也将其作为企业AI策略规划工具。
开发人员可自 NVIDIA NGC 平台免费下载 NeMo 微服务，作为 NVIDIA AI Enterprise 部署的一部分，享有长期支援、API稳定性与安全修补，协助企业构建下一代AI代理系统。
點擊閱讀下一則新聞
