AI基础软件：如何自主构建大+小模型？ _AI

文章插图
一、公司介绍

文章插图
九章云极DataCanvas以创造智能探索平台为使命，怀揣着助力全球企业智能升级的愿景，是中国人工智能基础软件领域的佼佼者。公司专注于自主研发的人工智能基础软件产品系列和解决方案，为用户提供全面的人工智能基础服务，旨在帮助用户在数智化转型过程中轻松实现模型和数据的双向赋能，以低成本高效率的方式提升企业决策能力，从而实现企业级 AI 的规模化应用。
二、AIFS（AI Foundation Software）

文章插图
在大模型时代，我们需要更高效的算力基础设施，并对其他基础设施和资源进行管理。为了应对这些挑战，九章云极DataCanvas搭建了一个完整的软件体系AIFS（AI Foundation Software），包括模型工具、大模型能力、人工智能基础平台、算力管理四层。
第一层是算力层。当前国产 GPU 也正在迅速崛起，华为等厂商在大模型领域，以及 GPU 领域取得巨大进展。在算力基础设施之上，我们构建 GPU Cloud，可以统一管理异构的 GPU 资源，包括英伟达和国产 GPU 。通过这种方式降低工程化成本，并提高资源利用率。
第二层以公司自研的DingoDB多模向量数据库和人工智能开发工具为主。DingoDB是大模型时代的必备软件，作为一个分布式向量数据库，存储多模态的任意大小的数据，具备高并发、低延迟的实时分析能力，处理多模数据，通过 SQL 实现结构化和非结构化数据的 ETL 。在DingoDB之上，产品提供了APS Fast Label、APS LMB、 APS Lab、APS Inference人工智能开发工具。
通过这个完整的人工智能技术平台，用户可以高效地应对大模型时代的挑战，快速实现 AI 应用的落地。
第三层包括九章云极DataCanvas发布的DataCanvas Alaya九章元识大模型，其支持视频、图片、文本等多种数据格式。此外，还具备构建小模型的能力，提供包括算法库、场景库、特征库和指标库的“四库全书” 。
最后，构建大模型，我们提供了一整套模型构建工具——LMOPS，包括 Prompt Manager（提示管理器）、Large Model Training（大模型训练）和 Large Model Serving（大模型服务）。

文章插图
AIFS是一款行业领先的人工智能应用构建基础设施平台，可以支持大模型和小模型的构建。AIFS 涵盖了大模型的训练、精调、压缩、部署、推理和监控，以及小模型的全生命周期过程。它支持多种模式的建模，可以满足数据科学家、开发人员以及业务专家不同的建模需求。例如，数据科学家可以按照自己的建模习惯进行建模，开发人员可以从工程的角度去构建大模型，而业务专家则可以从业务的角度出发，在平台上构建自己的大模型和小模型。
此外， AIFS 平台上的不同角色人员可以相互协作，轻松处理数据，并使用这些数据来开发、训练和部署任何规模的模型。这意味着，无论是数据科学家、应用程序开发人员还是业务专家，都可以在 AIFS 平台上找到适合自己的建模方式，并与其他角色人员协作，共同构建人工智能应用。
三、模型构建工具链

文章插图
在 AIFS 中，有一套完整的工具链，旨在赋能大模型和小模型的构建。首先，从数据准备的角度来看，数据可能包括通用数据、行业数据、私域数据以及指令数据等。在数据接入后，需要进行数据处理，如数据清洗、数据变换和数据增强，针对不同类型的数据采取不同类型的处理方式。数据处理完成后，可以进行数据标注，包括人工标注和智能标注。
数据准备完成后，进入模型开发阶段。在模型开发中，首先需要进行模型选型，如常见的 LLAMA 模型，最近开源的 LLAMA2，以及 Falcon 和 Bloom 等。选定模型后，可以使用前期准备的数据进行训练，以及使用预训练权重进行继续训练等。
训练完成后，可以进行模型微调，如对齐操作。对于中小企业，可能会面临 CPU 资源有限的问题，此时可以利用开源的 PEFT 工具进行高效微调。模型微调对齐完成后，需要对模型进行评估，可以使用如LMS评估工具进行评估。常见的评估指标包括 Ceval 和 MMLU 等。