借助 Cloudera 数据平台和红帽 OpenShift 释放生成式 AI 的力量

在许多科幻电影中，剧组人员要求计算机解决问题。电脑开机时会用平静的声音介绍可能的解决方案。工作人员仔细聆听，然后像与同事交谈一样继续对话。不久前，这还只是一个科学幻想。许多孩子都梦想着能够在计算机的帮助下驾驶宇宙飞船，探索未知的领域。快进到 2023 年，这不再是科幻小说的想象，而是现实。是的，我们正在谈论的是生成式人工智能（GenAI）的引入和广泛采用。

这项技术开创了一个新领域。GenAI 不仅可以帮助回答问题和提出解决方案，还可以发表诗歌、创作绘画，甚至作曲！

GenAI 的核心是机器学习（ML），涉及多个大型数据集以自主编写内容。它与大型语言模型（LLM）相结合，使用深度学习来执行各种自然语言处理（NLP）任务。它使用具有巨大数据集的 Transformer 模型，因此称为“大型”。

在科幻场景中，GenAI 被用于日常运维。如果我们将这个示例应用到业务场景中，让组织成员可以使用该模型来帮助他们做出与业务相关的决策，结果会怎样？例如，预测从工厂生产产品的供应链可用性，或向特定零售店指示库存需求，以确保对客户的可用性。无限可能。

本文讨论了企业在部署 GenAI 工作负载时面临的一些主要挑战，以及 Cloudera 和红帽如何合作帮助企业释放 GenAI 的力量，通过治理和改进的安全态势更好地利用其数据。

了解挑战以及私有生成式 AI 的重要性

不可否认，GenAI 和 LLM 有能力改变企业的运营和与客户互动的方式，但它们肯定不是灵丹妙药。采用这些技术的公司必须实施相应的实践，以减轻固有的风险和挑战，并探索解决这些问题的方法，以创建更负责任、更可靠的 AI 驱动型解决方案。

与企业采用 GenAI 相关的第一个挑战是数据隐私。这是每个企业的首要关注点，但 GenAI 增加了一层复杂性，原因如下：

1. 模型训练所需的大量数据集。

2. 新数据 LLM 将生成作为其输出。

此外，提示可能会无意中将敏感或机密数据注入到 LLM 中，从而导致潜在的数据泄露和风险暴露。此外，托管在公共云上的 GenAI 服务可能会给存储和处理机密和敏感数据的组织带来风险，这些数据可能会在安全漏洞或未经授权的访问期间暴露。

为了解决这些数据隐私风险，企业正在将 GenAI 引入私有云，以避免将关键和敏感数据转移到公共托管的 GenAI 服务。这样，企业可以在其私有云中重复利用基础模型，从而更好地保护和管理机密数据。

另一个固有的挑战是 LLM的上下文限制。虽然公开提供的 AI 服务对公司很有吸引力，但他们需要在适当的环境中利用其专有数据来构建这些交互式体验，而不与外部服务共享数据。功能强大的 LLM 可以涵盖各种主题，从提供生活方式建议到为 Transformer 架构设计提供信息。然而，企业有更具体的需求——他们需要针对自己企业环境的答案。

实施新的 GenAI 项目可能需要一套新的工具和技能。但是，使用在功能强大的开发平台上运行的数据分析平台可以让企业轻松实施 GenAI 战略和项目。通过利用这些强大的平台，企业可以利用现有的技能和知识，同时加快产品上市时间。

红帽 OpenShift 上的 Cloudera 数据平台

Cloudera 数据平台（CDP）私有云在由 Kubernetes 提供支持的混合数据平台中提供强大的分析、事务和机器学习工作负载。当然，CDP 私有云数据服务在红帽 OpenShift 上运行，并利用 OpenShift 提供的许多附加功能。

在 OpenShift 上部署 CDP 私有云可为整体部署带来许多优势，包括：

• 改进安全态势：随着应用的部署或更新，提供动态安全控制以帮助确保业务尽可能安全至关重要。OpenShift 可以将安全控制应用于软件供应链，从而在不降低开发人员生产力的前提下提高应用的安全防护能力。红帽 OpenShift 使企业能够在整个生命周期中控制、保护和扩展其应用平台。
• 治理与合规性：红帽 Kubernetes 高级集群管理包含在红帽 OpenShift 平台 Plus 中，可以帮助企业更快速地部署应用、管理多个集群，并大规模跨集群实施策略。OpenShift 通过内置扫描程序提供访问控制、网络和企业注册表等核心安全功能。面向 Kubernetes 的红帽高级集群安全防护 通过额外的安全功能增强了这一能力，包括运行时威胁检测、全生命周期漏洞管理和风险分析。
• 可管理性和灵活性：OpenShift 简化了混合基础架构的部署和管理，使您能够灵活地在本地或云和混合环境中运行自助管理或完全托管的服务。您的企业还可以使用其 AWS 或微软 Azure 承诺支出来购买红帽解决方案和服务。红帽高级集群管理通过内置安全策略从单个控制台控制集群和应用。
• 可扩展性：在 OpenShift 上运行的应用可以在几秒钟内扩展到数百个节点上的数千个实例。包括简化和自动化的容器和应用构建、部署、扩展、健康管理等。

红帽和 Cloudera 提供 针对 AI 工作负载优化的解决方案，帮助企业管理完整的数据生命周期，提供更强大的安全防护功能，使数据更快投入使用，并缩短价值实现时间。红帽 OpenShift 上的 CDP 私有云为数据工程、数据仓库 和机器学习提供容器化数据服务，让企业能够在专为安全优先操作优化的混合云环境中，从数据中获取更具可操作性的洞察。

CDP 私有云下一代混合平台与 OpenShift 的企业级管理工具相结合，可以更一致地置备和扩展分析工作负载，并分配刚好满足需求的资源，使企业能够：

• 通过直观的单一界面，让每位员工都能从数据中挖掘价值。
• 创建企业级自定义环境并保持对整个数据生命周期的控制，同时发挥本地私有云环境的成本优势。
• 部署可扩展的数据服务，灵活地将数据移动到任何平台（包括混合环境），实现零供应商锁定。
• 通过现代环境为数据从业者和开发人员提供更加一致的体验。

借助 Cloudera 和红帽，企业可以构建自己的 AI 应用，这些应用由自己选择的开源 LLM 及其数据托管，所有这些应用都托管在企业内部。这使开发人员和业务部门（而不仅仅是数据科学家和 ML 团队）能够真正实现 AI 大众化，同时在一个平台上保持改进的安全态势、治理、合规性和可管理性。我们诚邀您通过探索这个客户案例，进一步了解 Cloudera 和红帽可以提供的服务。此外，还可点击这里进一步了解红帽 OpenShift 上的 Cloudera Data Platform。