Inference Engine 推理引擎通过 AppCenter 交付,可一键完成云端部署,并提供应用全生命周期管理能力(创建、扩容、监控、健康监测等),开发者仅需上传模型即可快速拥有生产环境可用的 AI 推理引擎。
Inference Engine 推理引擎通过 AppCenter 交付,可一键完成云端部署,并提供应用全生命周期管理能力(创建、扩容、监控、健康监测等),开发者仅需上传模型即可快速拥有生产环境可用的 AI 推理引擎。
集成针对 Intel CPU 优化的 CPU版 Tensorflow Serving ,未来还将陆续支持 ONNX Runtime / OpenVINO 等主流推理框架,助力用户快速部署机器/深度学习推理环境。
支持使用 GPU 或仅使用 CPU 进行机器/深度学习推理,同时可根据自身需求选择单节点或分布式部署模式。
Inference Engine 推理引擎 CPU 版基于第二代 Intel 至强可扩展处理器 ( 代号CascadeLake ) ,其采用了 Intel DeepLearning Boost VNNI 技术,AI 推理性能与上一代型号 CPU 相⽐提升高达 100% 。不同于训练阶段,配合针对 CPU 优化的推理框架,CPU 可以在推理环节发挥更重要作用,与 GPU 相比可以为用户提供更低成本选择。
支持本地磁盘存储、对象存储以及兼容 S3 协议的 MinIO 私有对象存储等多种存储方式存储模型。集成对象存储命令行工具,通过配置对象存储相关参数,可便捷地从对象存储中获取模型,完成推理。
支持单模型服务节点+本地模型存储、多模型服务节点+私有对象存储模型库 ( MinIO 对象存储 )、多模型服务节点+公有云对象存储模型库 ( QingCloud 对象存储或其他兼容 S3 协议的公有云对象存储) 等多种部署方式。
支持按需付费、包月、包年计费模式,为用户提供更加全面和灵活的成本管理支持。
Inference Engine 支持按需付费、包月、包年计费模式,为用户提供更加全面和灵活的成本管理支持。
请选择区域