大模型国产化适配基于昇腾910b-（1）

随着大模型技术的迅猛进步，AI大模型时代已经来临。要想深入研发大模型，必须确保三大核心要素：人力资源、计算能力以及数据资源。由于中美贸易摩擦以及美国对华为在AI芯片领域的制裁，国产AI算力适配工作变得尤为关键。

1. Mindspore与MindFormers简介

华为推出的新一代开源AI计算框架Mindspore，其衍生的MindFormers工具套件，致力于为用户提供从模型训练到微调，再到部署的全流程支持。

2. Mindspore Lite概述

为了优化已微调大模型的部署性能，Mindspore提供了推理引擎Mindspore Lite，它提供了即用型的推理部署方案。

3. 环境部署指南

部署环境要求如下：操作系统版本为Ubuntu 22.04.3 LTS，架构为aarch64；NPU配置为8卡910B3 64G (A800 9000 A2)；Python版本为3.9；NPU驱动版本为23.0.rc3。同时需要下载相应版本的NPU固件、CANN工具包、MindSpore和MindFormers。

4. chatglm3-6b推理流程

ChatGLM3是智谱AI与清华大学KEG实验室联合研发的新一代对话预训练模型。ChatGLM3-6B在继承前两代模型优秀特性的基础上，进一步增强了基础模型能力，扩展了功能支持，并提供了更全面的开源序列。GitHub地址：ChatGLM3

4.1 模型权重合并步骤

将HF模型权重格式转换为MindSpore模型权重格式，确保模型在MindSpore框架中能够正确加载和使用。

合并多个模型权重文件的操作过程如下：

4.2 模型权重转换操作

将HF模型权重格式转换为MindSpore模型权重格式的具体操作步骤如下：

4.3 MindSpore推理过程

使用MindSpore进行推理时，需要准备分词模型、权重文件以及相应的配置文件。

模型实例化的方式如下，这将为后续的推理操作奠定基础：

4.4 MindSpore推理结果展示

以上就是在盛腾910b服务器上，对chatglm3-6b大模型进行适配并执行推理操作的完整流程描述。