什么是 Granite 模型？

Granite 是 IBM 为企业应用创建的一系列大语言模型（LLM）。Granite 基础模型可以支持涉及语言和代码的生成式人工智能（Gen AI）用例。

Granite 系列模型采用 Apache 2.0 许可证，保证开源，这意味着开发人员可以免费对 Granite 模型进行实验、修改和分发。如果企业组织需要处理敏感数据，又希望运行自己的 LLM 而不是依赖外部服务，那 Granite 模型就是理想之选。

了解 Granite 如何与红帽产品协同运作

基础模型经过训练，能够大致理解语言的模式、结构和表示。这种“基础”训练可以让模型学会如何进行通信以及识别这些模式。这称为 AI 推理。AI 推理是 AI 的运行阶段，在这一阶段，模型能够将其在训练过程中所学到的内容应用于现实场景中。

为什么要关注 AI 推理 

IBM Granite AI 模型就拥有这样的广泛、基础的知识体系，可以进一步微调，以执行几乎所有行业的特定任务。Granite 系列模型根据精选数据进行训练，并可让用户清楚了解用于训练的数据。

LLM 使用生成式 AI，根据用户输入的提示生成新内容。如今，人们经常使用生成式 AI 来生成文本、图片、视频和代码。企业可以使用 LLM 基础模型实现运营各个方面的自动化，例如客户支持聊天机器人或测试软件代码。

其他使用生成式 AI 的 LLM 基础模型包括 Meta 的 LLaMa（包括 LLaMa 2 和 LLaMa 3）、Google 的 Gemini、Anthropic 的 Claude、OpenAI 的 GPT（因其 ChatGPT 聊天机器人而广为人知）以及 Mistral。然而，Granite AI 模型的独特之处在于公开了训练数据，这有助于赢得用户信任，而且更适合企业环境。

开源，Granite AI 模型系列中的部分模型采用开源许可证，这意味着开发人员可以轻松使用该模型并基于该模型在本地进行构建。开发人员可以根据自己的特定目标微调模型。用户甚至可以访问用于训练模型的大部分数据（查看技术报告 PDF），以便了解模型的构建方式和运作方式。

就 Granite 模型而言，开源意味着开发人员可以使用自己的数据自定义模型，以生成特定于用户的输出。这并不意味着每个人的私有数据都可供整个开源社区使用。与公共 Web 服务 AI 不同，Granite 模型不会持续进行训练。因此，在 Granite 系列模型中输入的任何数据永远不会与红帽、IBM 或任何其他 Granite 用户共享。

从医疗保健到建筑工程，许多行业的企业都可以通过多种方式借助 Granite 大规模实现运营自动化。企业可以训练 Granite 模型来执行商业领域的特定任务，比如摘要生成、问答和分类。下面是一些示例：

• 代码生成：Granite 代码模型可以帮助构建或改进开发人员所做的工作，从而提高流程效率。例如，开发人员可以利用自动补全功能：与智能手机上的自动补全功能类似，开发人员输入代码时，模型可以补全剩余的内容。
• 洞察提取：在您需要简化、总结或解释大型数据集时，Granite 可以快速识别准确的模式和洞察。这样一来，就无需费心梳理大量数据。 

• 灵活的架构：Granite 可以与现有系统集成，并且可以部署在本地或云端。该模型的接口可以简化部署。Granite 系列包括各种规模的模型，因此您可以根据自己的需求选择最合适的模型，同时管理计算成本。
• 自定义解决方案：虽然 Granite 是作为基础模型出售的，但它是针对特定于业务的知识进行训练的。用户可以灵活扩展和微调模型，使其契合自己的业务需求。例如，如果您的主营业务是医疗设备，您可以训练模型学习医疗保健行业的一些术语。
• 低延迟：在您自己的基础架构上运行 Granite 模型意味着，您可以进行优化以实现快速响应。该模型可以提供实时数据，以便应用于关键的运营领域。继续以医疗保健行业为例，能够获取实时数据对于远程医患协作和时效性高的治疗护理至关重要。对 Granite 模型进行压缩，将能够以更少的资源实现强劲性能。
• 准确度高：开发人员可以针对特定行业的任务微调 Granite 系列，让模型成为精通任一主题的专家。此外，还可以使用多种语言对它进行训练，从而在全球范围内保持准确性和可访问性。
• 透明模型：由于 Granite 采用开源许可证，开发人员可以查看 AI 模型的构建方式和训练方式，并与开源社区协作。

是的，Granite 模型确实支持分布式推理功能。 

分布式推理通过将推理任务分配给一组互联设备，使 AI 模型能够更高效地处理工作负载。分布式推理所支持的系统架构，能够将请求分配到由物理服务器和云服务器组成的计算硬件资源池中执行。 

随后，每台推理服务器并行处理其分配到的部分任务，以生成输出结果。这最终可形成一个具备高弹性且可观测的系统，能够持续稳定地交付可扩展的 AI 驱动型服务。llm-d 等框架支持大规模分布式推理，可加速生成式 AI 应用在企业中的全面部署。

了解分布式推理还能为您提供哪些帮助 

简而言之，没有推理就没有 AI。 

然而，随着模型规模不断扩大，推理环节面临着巨大压力。模型越复杂，推理速度往往越慢。

为了成功进行推理，AI 模型需要在短时间内完成大量数学运算。因此，模型规模、高用户量和延迟等因素都可能会限制性能表现。当模型需要更多数据和内存时，硬件和加速器便难以满足需求。

这就是为什么支持推理功能的硬件和软件，关系到 AI 战略的成败，也正是 Granite 专为打造下一代推理能力而设计的原因。

为什么要关注 AI 推理 

为了满足日益复杂的企业应用的需求，IBM 发布了多个 Granite 模型系列。Granite 系列中的模型系列采用不同的类别和命名约定。

各个系列的用途各不相同：

• Granite 语言模型：这些模型以多种语言提供准确的自然语言处理（NLP），同时保持低延迟。 

  探索生成式 AI 用例

• Granite 代码模型：这些模型使用 100 多种不同的编程语言进行训练，可以支持企业级软件任务。
• Granite 时序模型：这些模型针对时序预测进行了微调，时序预测是一种使用过往数据预测未来数据的方法。

• Granite 地理空间模型：IBM 和 NASA 携手创建了这一基础模型，它可以通过大规模收集卫星数据来观测地球，帮助跟踪和应对环境变化。

  探索预测性 AI 用例

在上述每个系列中，Granite 都提供了规模和专业各异的模型。例如，Granite 语言模型包括：

• Granite-7b-base，这是一个用于对话和聊天的通用语言模型。
• Granite-7b-instruct，该模型专门执行任务指令。

在 Hugging Face 上探索 Granite 模型

红帽® AI 是一个包含各种产品与服务的平台，能够在您企业 AI 旅程的任何阶段提供帮助，无论您是刚刚起步，还是准备进行扩展。针对您企业独特的用例，它既能支持生成式 AI，也能支持预测性 AI 相关工作。

借助红帽 AI，您就可以访问红帽® AI 推理服务器，在混合云上优化模型推理，从而实现更快、更具成本效益的部署。推理服务器由 vLLM 提供支持，可最大限度提高 GPU 利用率，加快响应速度。

了解有关红帽 AI 推理服务器的更多信息

红帽 AI 推理服务器还包含红帽 AI 存储库，这是一个经过第三方验证和优化的模型集合，既能保证模型选择的灵活性，又能促进跨团队的一致性。通过接入第三方模型存储库，企业能够显著缩短推向市场所需的时间，并降低 AI 成功落地的成本门槛。 

了解有关经红帽 AI 验证的模型的更多信息