创鑫智慧致力研发高能效AI ASIC(Application Specific Integrated Circuit，特定应用积体电路)，本周推出的整合RAG与LLM的端到端解决方案，可搭配企业内部既有硬体系统即可部署本地端GPT节能加速方案，可显著降低企业导入LLM的时间与总拥有成本，该解决方案支援多种开源的中文、英文大型语言模型，包含台湾可信任生成式AI模型TAIDE，让政府等机敏单位能拥有AI赋能优势。
刘景慈表示，创鑫智慧采用自行研发、台积电7奈米制程制造的ASIC－Raptor生成式AI晶片(原称N3000)，制作成能够安装至小型电脑或工作站的Viper生成式AI卡及整合式的LLM解决方案，也就是说，无须额外投入人力、电力、空间等成本，即可结合软硬体合作伙伴打造企业专属应用。
企业已认知到将AI导入工作流程对于提升生产力的重要性，但其复杂部署方式与大量先期投入成本，让企业裹足不前，Viper生成式AI卡使用PCIe介面和电脑连结，拥有半高半宽外型规格体积小巧的优势，功耗最低仅需35瓦，可直接安装至既有电脑，或是企业内部负责储存资料的NAS(Network-Attached Storage，网路附加储存装置)，进一步强化资料检索的便利性，更有利于生成式AI发展。
Viper生成式AI卡甚至可支援最多48GB的记忆体空间，可提供企业本地端作为向量资料库(Vector Database)使用，於单一张生成式AI卡上有效率地完成索取资料、检索、增强及生成等任务，端对端的运作效率是CPU的10倍以上，加上不须额外连网可离线使用的特色，无须担心企业敏感资料外泄或是成为资安隐忧。
刘景慈表示，Viper生成式AI卡内建Raptor生成式AI处理器，能够大幅度卸载生成式AI工作负载对于CPU的负担，其中嵌入引擎(Embedding Engine)可强化流程中，向量相似度检索(Vector Similarity Search)的效率及精准度，一体达成检索增强与生成等工作，强化流程应用与系统效能最佳化，RAG能够在不重新训练LLM的前提下，从外部撷取新资讯并整合，节省大量重新训练AI模型的时间与成本，同时提升推论准确性，并根据企业应用需求进行微调。
點擊閱讀下一則新聞
