企业组织中的生成式AI运营模型与Amazon Bedrock

作者：Martin Tunstall 和 Yashar Araghi，发表于2025年1月29日于 ，，。

关键要点

• 生成式AI能够极大地改变企业，通过创造创新应用程序来提升客户和员工体验。
• 随着生成式AI的日益普及，组织需明确运营模型以优化设计、核心流程、技术、角色及职责。
• 运营模型可分为去中心化、中心化和联邦式三种模式，企业需根据自身需求选择合适的模型。

生成式AI可以通过创造创新应用程序来彻底改变组织，从而提供增强的客户和员工体验。当前，许多组织已在实际应用中推出了生成式AI技术，涵盖了智能文档处理、翻译和摘要、客户支持代理的灵活响应、个性化营销内容，以及图像和代码生成等用例。

大型组织通常拥有多个业务单元与多个业务线，并设有中央治理实体，通常使用以及Amazon Web Services (AWS)的多账户策略。他们实施，以自动化安全帐户的创建并简化跨帐户的管理，包括日志记录、监控和审计。尽管各业务线独立运作自己的账户和工作负载，中央团队，如[云卓越中心 (CCoE)](https://docs.aws.amazon.com/prescriptive-guidance/latest/cloud-center- of-excellence/introduction.html)，仍负责管理身份、指引和访问策略。

随着生成式AI采用的增长，各组织应建立一个生成式AI运营模型。运营模型定义了推动企业运营的组织设计、核心流程、技术、角色与职责、治理架构及财务模型。

在本文中，我们将评估不同的生成式AI运营模型架构。

运营模型模式

组织可以根据其在敏捷性、治理和集中控制方面的优先事项采用不同的生成式AI运营模型。在生成式AI的上下文中，治理是指规范、政策和流程，这些框架帮助简化这些技术的负责任开发、部署与使用。它包括旨在降低风险、促进问责制的多种措施，并确保生成式AI系统符合伦理原则和组织目标。以下是三种常见的运营模型模式：去中心化、中心化和联邦式。

删除)

去中心化模型

在去中心化模型中，生成式AI的开发与部署由各个业务线自主发起和管理。各业务线可以独立管理其AI工作流程、模型和数据，增强了迅速进入市场的能力。不过，即使在这种去中心化模型下，各业务线仍需遵循中央治理控制，并从CCoE团队获取生产部署的批准，以符合全球企业标准，如访问政策、模型风险管理、数据隐私和合规态度，这可能会引入治理复杂性。

中心化模型

在中心化运营模型中，所有生成式AI活动都由一个中央的生成式[人工智能与机器学习(AI/ML)](https://aws.amazon.com/training/learn- about/machine- learning/)团队来管理，这个团队负责全企业的AI工作流程、模型和数据的配置与管理。业务线与中央团队互相协作以满足其AI需求，在灵活性和潜在的市场时间上取得平衡，以获取更强的自上而下治理。中心化模型可能会引入瓶颈，延缓时间到市场，因此组织需要为团队提供充足的资源与自动化流程，以高效满足不同业务线的需求。

联邦模型

联邦模型则在去中心化和中心化之间找到平衡，生成式AI流程的关键活动由一个中央的生成式AI/ML平台团队管理。虽然各业务线驱动自己的AI用例，但中央团队治理指南、模型风险管理、数据隐私和合规结构。这种模型促进了各业务线的创新，同时在治理领域提供了集中监管。

生成式AI架构组件

在深入讨论常见的运营模型模式之前，本节简要介绍所涉及的一些组件和AWS服务。

大型语言模型

[大型语言模型(LLMs)](https://aws.amazon.com/what-is/large-language- model/)是包含数十亿参数的大规模机器学习模型，经过大量数据的预训练。LLMs可能会产生“幻觉”，即模型可能提供自信但事实错误的响应，并且所使用的数据可能已经过时，导致不准确的回答。通过使用一种称为[检索增强生成(RAG)](https://aws.amazon.com/what- is/retrieval-augmented- generation/)的技术，能有效缓解此问题。RAG是结合知识检索与生成文本模型的先进自然语言处理技术，能生成更为准确和信息丰富的回答。

是一项完全托管的服务，提供来自领先AI公司的高性能[基础模型(FMs)](https://aws.amazon.com/what- is/foundation-models/)，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、StabilityAI和Amazon，用户只需通过一个API进行访问，同时提供构建生成式AI应用所需的广泛功能。

可提供多家第三方提供商如AI21Labs、Cohere和LightOn的专有FMs。此外，Amazon SageMaker JumpStart还会引入并维护来自第三方源如HuggingFace的开源FMs。

数据源、嵌入和向量存储

组织的特定领域数据通常存储在内部数据库、数据湖、非结构化数据存储或文档存储中，这些统称为组织数据源或专有数据存储。

向量存储是一种用于大规模存储和查询向量的系统，利用高效的最近邻查询算法和适当的索引来提高数据检索效率。它不仅包含组织数据的嵌入（即数据的数学表示，形式为向量），还包括原始文本数据。这些向量由特定的嵌入LLMs生成，处理组织的文本块以创建数值表示（向量），并与文本块一起存储在向量存储中。

通过，你可以安全地将FMs连接到公司数据以进行RAG。AmazonBedrock知识库能够从多个支持的数据源获取数据，管理数据分块、解析和嵌入，并将嵌入填充到向量存储中。

监管措施

内容过滤机制作为 safeguards实施，以控制用户与AI的交互，确保与应用要求和负责任的AI政策相符，降低不良和有害内容的出现。监管措施可对用户输入和FM输出进行检查，过滤或拒绝不安全的主题，隐去个人可识别信息(PII)，并提高生成式AI应用中的内容安全和隐私。

是您可以用来实施监管措施的一项功能，您可以根据公司政策来确定合格的标准。此保障措施与FM无关，可以创建多个具有不同配置的监管措施，而这些配置是特定于用例的。

运营模型架构

本节概述三种运营模型的架构。

去中心化运营模型

在去中心化运营模型中，业务线团队保持对其AWS账户的控制权和所有权。每个业务线在其各自的AWS账户中配置和协调生成式AI组件、共通功能、应用程序和AmazonBedrock配置。此模型赋予业务线根据自身特定需求定制生成式AI解决方案的权利。

各业务线负责使用日志和监控和审计其配置的AmazonBedrock服务。通过采用这种去中心化模型，业务线在保持对生成式AI解决方案的控制的同时，也受益于Amazon Bedrock的可扩展性、可靠性和安全性。

以下是去中心化运营模型的架构图。

中心化运营模型

在中心化AWS账户中，生成式AI核心功能的配置和管理是首要的，包括可重用代理、提示流和共享库。业务线团队会向中心化团队提供其特定的商业需求和用例，而后中央团队将集成并协调适当的生成式AI组件。

虽然生成式AI解决方案的协调和配置位于中心化帐户中，但通常需要与各业务线的具体资源和服务进行交互。为此，中心化账户可使用API网关或其他由业务线AWS帐户提供的集成点，从而促进安全和受控的交流。

以下是中心化运营模型的架构图。

联邦运营模型

在联邦模型中，AmazonBedrock促成了一种协同合作的方法，业务线团队可以在各自的AWS账户中开发和贡献共同的生成式AI功能。这些共通功能可以被迁移到由专门团队或CCoE管理的中心AWS账户。

中心化AWS账户充当集成和协调这些共通生成式AI组件的平台，提供统一的动作组和提示流。尽管生成式AI解决方案的协调和配置仍保留在业务线的AWS账户中，但它们可以使用在中心账户定义的中心化AmazonBedrock代理、提示流和其他共享组件。

下图展示了联邦模型的架构。

成本管理

组织可能希望分析AmazonBedrock在各业务线的使用情况和成本。为追踪各业务线AWS账户中FMs的成本和使用情况，可以实施记录各业务线模型调用的解决方案。

现在，Amazon Bedrock支持使用推理配置文件的模型调用资源，可以定义推理配置文件，以跟踪AmazonBedrock使用指标，监控模型调用请求，或将模型调用请求路由到多个以增加吞吐量。

有两种类型的推理配置文件：预设于AmazonBedrock的跨区域推理配置文件，包含多个AWS区域；用户创建的应用推理配置文件则用于跟踪申请即时模型调用请求时的成本和使用情况。

结论

尽管企业通常开始时采用中心化运营模型，但生成式AI技术快速发展的步伐、对敏捷性的需求以及快速捕获价值的渴望，常常使组织最终选择联邦运营模型。

在联邦运营模型中，各业务线拥有创新和实验生成式AI解决方案的自由，可以利用其领域专业知识和接近商业问题的优势。AI工作流的关键方面，如数据访问政策、模型风险管理和合规监控，均由中央云治理团队管理。

通过实施此操作模型，企业可以加速合规的、高质量的生成式AI能力，以符合创新目标、风险容忍度和快速交付的需求。

尝试使用Amazon Bedrock并与我们分享您对如何实施适合您组织的运营模型的反馈。

关于作者

Martin Tunstall 是AWS的首席解决方案架构师，拥有超过三十年的金融行业经验，帮助全球金融和保险客户释放Amazon WebServices (AWS) 的全部潜力。

Yashar Araghi 是AWS的高级解决方案架构师，拥有超过20年的基础设施和应用安全解决方案设计与构建经验。他曾为政府、教育、金融、能源和公用事业等多个行业的客户提供咨询服务。在AWS的六年中，Yashar帮助客户设计、构建并运营其AWS云解决方案，以确保其安全、可靠、高效和成本优化。

评论加载中……