相较于租用第三方AI基础架构的高昂费用，高通的新方案使企业能在本地运行AI应用，有效节省营运成本与总体拥有成本（TCO）。企业可利用专有资料与微调模型，将生成式AI应用于多种自动化工作流程，适用场景包括零售、餐饮、医疗、制造等。这项技术不仅降低了AI部署门槛，还确保资料隐私与安全。
高通AI本地装置解决方案由高通云端AI加速器系列驱动，结合资料中心级效能与本地装置的功耗优势，支援多种AI功能。其灵活扩充性涵盖从单一桌上型装置到壁挂式丛集，能提供语音助理、小型语言模型（SLM）、大型语言模型（LLM）与多模态模型（LMM）的生成式AI服务。此外，该方案支援自然语言处理、电脑视觉与生成式AI功能，如智慧搜寻、AI助理、程式码生成、影像与影片处理等。
高通AI推论套组为企业与开发者提供丰富的API与工具，支援生成式AI应用的开发与部署。该套组与流行框架和Kubernetes整合，确保灵活性与相容性，并具备完整的应用程式介面（API），包括使用者管理、图像生成、音讯与影片生成功能，以及OpenAI API相容性。这使企业能够快速将生成式AI应用整合至现有基础架构中。
Aetina基于高通AI本地解决方案推出轻量AI装置，运用微调后的生成式AI模型，实现即时回应、智慧搜寻与内容创作，并以功耗优化架构降低总体拥有成本。汉威联合则与高通合作，运用AI自动化技术优化工业与商业场景的生产力与效率，涵盖店内助理、现场资讯与服务支援等应用场景。
IBM正与高通合作，将其watsonx data平台与Granite系列AI模型部署至高通AI本地装置，应用于汽车、制造与零售等领域。透过此合作，IBM的AI技术不仅实现更高效的本地运行，还能满足企业对资料隐私与个性化的需求，进一步推动生成式AI在多元场景的应用落地。
點擊閱讀下一則新聞
