Xinference 镜像使用

本文档介绍了如何使用Xinference的各种镜像版本，包括Nvidia系列、MindIE系列和海光系列。

概述

Xinference提供了针对不同硬件平台优化的镜像版本：

• Nvidia系列：适用于CUDA环境的GPU加速推理

• MindIE系列：适用于华为昇腾NPU环境

• 海光系列：适用于海光DCU环境

每个系列都提供了完整的部署和使用指南。

快速导航

硬件平台

• Nvidia系列
  • 系统要求
  • 使用说明
  • 验证部署
  • 相关文档
• MindIE系列
  • 版本信息
  • 使用说明
  • 支持模型
  • 相关文档
• 海光系列
  • 使用说明
  • 相关文档

管理和配置

• Xinf证书更新
  • 前置要求
  • 概述
  • 获取设备信息
  • 申请证书
  • 更新证书
  • 验证证书生效
  • 默认凭据
  • 常见问题
  • 相关文档
• 性能测试
  • 测试工具概述
  • 测试数据集
  • 运行测试集
  • 结果说明
  • 相关文档
• Xinference 多机部署
  • 前置要求
  • 概述
  • 启动Supervisor
  • 启动Worker
  • 部署验证
  • 部署架构示例
  • 部署流程总结
  • 相关文档
• 在 K8s 上部署
  • 前置准备
  • 配置文件
  • 部署步骤
  • 验证部署
  • 访问服务
  • 相关文档
• 企业版链路日志使用
  • 前置要求
  • 概览
  • 服务启动
  • 设置Langfuse
  • 模型调用监控
  • 链路状态
  • 链路详情
  • 使用场景
  • 故障排除
  • 相关文档
• 故障排除
  • 多机部署问题
  • 单机部署问题
  • 性能问题
  • 日志和调试
  • 获取帮助
  • 相关文档

选择指南

根据你的硬件环境选择合适的镜像：

硬件平台	推荐镜像	适用场景
NVIDIA GPU	Nvidia系列	CUDA环境， 高性能GPU推理
华为昇腾NPU	MindIE系列	昇腾310/910系列 NPU推理
海光DCU	海光系列	海光DCU环境

常见任务

• 首次部署：选择对应硬件平台的镜像文档，按照步骤进行部署

• 证书管理：参考 Xinf证书更新 进行证书更新

• 性能测试：使用 性能测试 中的工具进行性能评估

• 多机部署：参考 Xinference 多机部署 进行集群部署

• 链路监控：参考 企业版链路日志使用 配置调用链路追踪

• 生产部署：参考 在 K8s 上部署 进行K8s环境部署

• 故障排除：参考 故障排除 解决常见问题

支持与帮助

如果在使用过程中遇到问题，请：

1. 首先查看对应硬件平台的文档

2. 参考 故障排除 查找解决方案

3. 检查证书是否正确配置

4. 运行性能测试验证环境配置

5. 联系技术支持获取帮助