Xinference Image Usage#

This document describes how to use various Xinference image versions, including NVIDIA, MindIE, and Hygon series.This document describes how to use various Xinference image versions, including NVIDIA, MindIE, and Hygon series.

Overview #

Xinference provides optimized image versions for different hardware platforms:Xinference provides optimized image versions for different hardware platforms:

Nvidia系列：适用于CUDA环境的GPU加速推理
MindIE系列：适用于华为昇腾NPU环境
海光系列：适用于海光DCU环境

每个系列都提供了完整的部署和使用指南。

快速导航 #

Hardware Platforms#

Management and Configuration#

Selection Guide #

Choose the appropriate image based on your hardware environment:

Hardware Platforms	推荐镜像	适用场景
NVIDIA GPU	NVIDIA Series	CUDA环境，高性能GPU推理
华为昇腾NPU	MindIE Series	昇腾310/910系列 NPU推理
海光DCU	Hygon Series	海光DCU环境

Common Tasks #

首次部署：选择对应硬件平台的镜像文档，按照步骤进行部署
证书管理：参考 Xinf证书更新进行证书更新
性能测试：使用 Performance Testing 中的工具进行性能评估
多机部署：参考 Xinference Multi-Machine Deployment 进行集群部署
链路监控：参考 Enterprise Chain Logging Usage 配置调用链路追踪
生产部署：参考 Deploy on K8s 进行K8s环境部署
故障排除：参考 Troubleshooting 解决常见问题

Support and Help #

如果在使用过程中遇到问题，请：

首先查看对应硬件平台的文档
参考 Troubleshooting 查找解决方案
检查证书是否正确配置
运行性能测试验证环境配置
联系技术支持获取帮助