OceanBase×Dify×Red Hat:打通 Agent 从 Demo 到生产全栈落地路径17认证网

正规官方授权
更专业・更权威

OceanBase×Dify×Red Hat:打通 Agent 从 Demo 到生产全栈落地路径

7 月 31 日,OceanBase、Dify、Red Hat 三方联合线下技术沙龙《Agent 从 Demo 到生产,差的不是智商,而是没有记忆》在苏州圆满收官。

本次活动围绕【推理→Agent 运行时→上下文工程完整技术主线展开,4 位行业重磅专家同台分享,50+ 位 AI 架构师、智能体开发者、企业技术负责人到场,围绕企业级智能体工程化、安全治理、底层算力、长效记忆四大核心痛点完成理论拆解、案例拆解与现场共创,形成一套全栈可复用的 Agent 落地方案。

OceanBase 开源负责人封仲淹率先分享。

他结合 Gartner 行业数据预判:2028 年 40% 企业会在业务流程嵌入 Agent,超三成企业软件原生内置智能体能力,全球 AI 基础设施投入将达 1.26 万亿美元。

但目前,行业普遍存在 “Demo 易、量产难” 的困境,根源并非大模型推理能力不足,而是行业长期依赖文件、零散向量库拼凑记忆层导致。

基于此,催生两大核心问题:

  • 长期交互出现信息遗忘的 “金鱼记忆”;
  • 上下文腐化, 长对话上下文无限膨胀造成注意力偏移、性能下降、无分层记忆导致 Token 成本激增。

对标大数据精细化治理演进路径,他提出核心判断:上下文管理终将与数据库深度融合,一体化 AI 数据底座是 Agent 规模化落地刚需,并分享 OceanBase Agentic AI 一体化解决方案:

  • 上层 Agent 框架层:对接 Dify、LangGraph、DeepAgent,打通钉钉、飞书等 IM 网关,存量应用低成本接入;
  • 中间 Context 管理层(核心):OceanBase PowerMem 智能记忆引擎 + PowerRAG 检索增强,统一管理分层记忆、用户画像、多模态知识库;
  • 底层 OceanBase seekdb 存储底座:单引擎融合关系、向量、全文、图谱四类数据,支持混合检索与多租户弹性分布式扩展,告别多套存储运维负担。

整套架构彻底解决多存储系统运维复杂、数据割裂问题,企业无需同时维护多套数据库、向量库、文件系统。

OceanBase PowerMem 长效记忆核心能力

作为区分 Demo 与生产项目的核心组件,OceanBase PowerMem 搭建三级记忆体系(工作记忆 短期记忆 长期记忆),依据交互新鲜度、使用频次动态调整记忆权重,自动清理冗余上下文。

同时具备四大企业级硬核能力:

  • 统一多模态语义层:自动解析 PDF、音视频、图片并生成向量摘要,多路混合检索;
  • 全链路合规溯源:完整留存交互、检索、迭代全证据链,满足金融、政企审计要求;
  • 事实自动合并:自主抽取对话业务事实,智能处理信息冲突,支持自定义过滤规则;
  • 记忆双自进化:Skill 技能蒸馏固化标准化流程、Experience 经验蒸馏沉淀踩坑方案,实现 “一人沉淀、全员复用” 企业经验池。

实测数据显示,整套方案可将问答准确率提升 65.9%,P95 检索时延下降 91.6%,Token 消耗缩减 81.5%。

标杆落地场景

方案已落地元宇宙交互、百万级客服、车企全员 AI、金融多模态办公四大场景:梦宝 AI 依托分层记忆实现千人千面 NPC 交互;货拉拉多 Agent 协同、1688 通过数据无限扩展;支付宝 HomiClaw 支持统一语义, 可追溯证据链, 分层存储,自我进化,著名汽车 OpenClaw 采用本地 + 远端异步双写高可用架构,支撑上万 Agent 并发。

分享尾声,封仲淹给出企业落地 Agent 的核心建议

  • 摒弃多存储拼接的简易 Demo 架构,必须搭载智能记忆引擎;
  • 落地方案需具备场景优化、分层记忆、自进化、权限隔离、全链路溯源四大企业能力。
OceanBase PowerMem、OceanBase seekdb 全栈开源,同时覆盖轻量化端侧、大型分布式集群两种部署模式,适配中小开发团队与大型政企客户。整套技术栈原生兼容 Dify、vLLM、LangChain 主流开源框架,无需重构现有业务。

他同步透露,OceanBase 后续将持续联合 Dify、RedHat 等生态伙伴,在全国多城市开展线下实操 Workshop,开放动手搭建长效记忆 Agent 的实操机会。

Dify DevRel & 开源生态负责人郑立聚焦低代码 Agent 平台供应链安全与多人协作痛点,针对平台 900 + 插件、数百套流程模板存在密钥泄露、依赖投毒、高危操作无管控、审计缺失四大风险,推出分级门禁 + CI 自动化 + 人工复核闭环治理体系。

四级分级审核 + CI 自动化门禁
  • L1-L4 风险分级机制
    L1 低风险 API 请求:自动化放行;
    L2 文件读取:机器 + 轻量人工;
    L3 数据库操作:全人工复核;
    L4 SQL/SSH 高危操作:需安全承诺书多层审核,风险由作者自评 + 系统扫描综合判定,全程数据流向透明。
  • 标准化 CI 检测流水线
    基于 GitHub Actions 自动完成解包清理、密钥拦截、依赖漏洞扫描、兼容性校验,密钥、二进制文件禁止入库,所有检测报告、SBOM 依赖记录存档,形成完整证据链。
  • 全生命周期闭环管控
    从作者提交、平台上架、运行监控到风险下架、申诉复核建立完整流程:安装前弹窗风险提示,异常插件批量通知升级,配套标准化申诉通道;同步提供存量插件批量迁移工具,降低开发者维护成本。
三大版本迭代,搭建生产级 Agent 平台
  • 1.15.0 版本重构 DP Control,新增人机审批表单,工作流支持打包共享,打通资产复用底座;
  • 1.16.0 版本重磅上线 Agent Builder 可视化搭建工具,支持自然语言对话生成工作流;升级 3A Box 外置文件存储,可对话动态修改密钥、端口等环境变量,自动蒸馏业务技能;
  • 1.16.1 版本MCP 服务全面升级,支持动态请求头、全链路日志持久化;新增 Local 轻量化部署隔离故障;优化多人协作断网缓存、冲突自动合并功能。
企业协作与 OceanBase 协同落地
  • 标准化 Agent 资产统一管理
    新版本将 Builder、Web 应用、工作流、MCP 服务全部纳入同一套管理体系,一套运行包完整承载 Prompt、Sandbox、Skills、文件存储、花名册 Roster 五大模块。Roster 负责企业内 Agent 权限与命令管控,3A Sandbox 隔离代码执行环境,文件统一外置持久化存储,实现企业智能体资产标准化、可管控、可复用。
  • MCP:打通内外系统标准化组织接口
    MCP 作为平台对外统一交互标准,支持企业各类非标 API、自定义请求头接入,兼顾灵活性与安全性;服务拆分模块化设计,局部故障不会波及全局,SAS、企业版提供独立隔离运行环境,适配大型集团多租户架构。
 
  • 文档处理协同 OceanBase 完成存储优化
    针对企业 PDF、图片、音视频多模态文档 OCR 解析、向量检索场景,Dify 深度适配 OceanBase 数据库。利用 OceanBase 混合检索、向量存储能力承载海量文档 Embedding 数据,简化企业向量库部署、运维成本,同时配套完整索引管线、节点成本追踪能力,方便企业定位资源消耗与故障节点。

郑立表示, Dify 将持续联合 OceanBase、RedHat 等生态伙伴打通 AI 全栈链路,同步开放插件共建、联合线下实操活动通道,欢迎现场开发者沟通企业 Agent 平台安全落地、插件治理、向量存储 POC 相关需求。

红帽大中华区首席技术官张家驹指出,传统 K8s 调度无法适配 LLM 长短混合请求、KV 缓存复用的特殊负载,导致显存浪费、推理时延飙升。红帽收购 Magic 团队深度共建 vLLM,将其定位为推理领域通用底层(类比 Linux 操作系统),同时推出开源调度项目 llm-d,构建企业级 AI 云原生推理全栈。

vLLM 核心技术与生态

张家驹点明将 vLLM 定为 Red Hat AI 产品核心底座,类比 Linux 在操作系统的定位,vLLM 是适配全硬件、全模型的通用推理引擎。

vLLM 现有 8.5 万 + Star、2900 余家企业贡献者,兼容 140 + 模型架构,原生适配 NVIDIA、AMD 及国产 GPU/NPU,拥有两大核心加速技术:

  • DSpark 投机解码:多 Token 并行校验,吞吐优于传统 MTP、Flash Attention;
  • 分页 KV Cache:借鉴操作系统内存管理,搭配 PV Cache 分层卸载至内存 NVMe 分布式存储,缓解显存瓶颈。
llm-d:面向大模型的云原生智能调度项目

针对 K8s 原生调度无法识别 LLM 专属缓存、负载特征的短板,张家驹详细介绍红帽联合谷歌、IBM 共建的开源项目 llm-d(MD),专为大模型推理设计智能网关与调度体系:

  • 缓存感知路由(EPP):同源多轮请求定向至存有 KV 缓存的 Pod,提升缓存命中率;
  • PD 分离部署:Prefill 预填充、Decode 解码拆分至独立节点,资源独立扩缩;
  • 分级请求调度:区分高优在线任务与离线批量推理,负载饱和优先保障核心业务;
  • KV 缓存分布式卸载,兼容 Ceph 等存储。

整套 llm-d 完全基于 K8s 原生能力构建,无厂商绑定,兼容各类云、本地集群,国产硬件场景落地优势突出。

Red Hat 企业级 AI 商业化完整栈
  • Red Hat AI Inference Server
    vLL 官方商业发行版,容器化安全加固,提供长期技术支持、硬件厂商联合认证,简化企业部署运维;
 
  • Red Hat OpenShift AI 3
    一站式生成式 AI 平台,覆盖模型训练、微调、推理、Agent 应用全生命周期,提供 GPU 即服务、知识库、MCP 协议对接等标准化能力;
 
  • Red Hat AI Enterprise
    端到端全栈产品,统一解决四大企业核心痛点:高性能推理调度、多模态数据与记忆底座打通、标准化 AI 平台搭建、底层软硬件稳定支撑。
三方生态协同落地路径

张家驹重点阐述 Red Hat 与 OceanBase、Dify 的技术互补价值,打通 Agent 完整生产链路:

底层 vLLM+llm-d 提供高吞吐、低时延推理算力底座;中层 Dify 负责低代码 Agent 编排、插件安全治理、多智能体协作;底层存储 OceanBase seekdb+OceanBase PowerMem 承载多模态向量、长期对话上下文记忆,解决 Agent “金鱼记忆” 痛点。三者组合覆盖算力、应用、记忆全环节,形成可直接交付给企业的标准化 Agent 落地方案,适配智能制造、政企客服、金融办公等各类场景。

分享最后,张家驹表示,红帽将持续深耕开源 AI 基础设施,持续迭代 vLLM 推理加速、llm-d 云原生调度能力,完善 PD 分离、优先级调度、缓存卸载等企业级特性。

长期计划推出 llm-d Operator 简化 K8s 部署,同步深化与 OceanBase、Dify 生态联动,在全国多城市联合开展实操沙龙、开源共建活动,输出全栈一体化 Agent 落地最佳实践。

OceanBase 社区布道师程治玮针对 OpenClaw 原生 Markdown+SQLite 单机存储短板,剖析三大落地缺陷:无跨会话持久记忆、长期交互经验无法沉淀、单机架构不支持多 Agent 分布式协作,并在现场完整演示 OceanBase PowerMem 部署与运行全流程。

仿生记忆运行机制

基于记忆生命周期管理,通过 LLM 多维度打分 + 关键词双维度评估记忆重要度;采用惰性计算,仅检索时执行晋升、遗忘、归档,降低系统开销;检索得分 = 基础语义分 × 记忆保留率,平衡相关性与信息时效性。

配套三层全局优化策略:精确去重清理重复对话、语义合并收拢相似内容、记忆压缩精简冗余上下文,从根源杜绝记忆腐化。

整体架构与轻量化部署
  • 架构分层:上层兼容 OpenClaw、Claude Code 等主流 Agent,中间 OceanBase PowerMem 引擎负责记忆捕获、混合检索、生命周期管理,底层对接 OceanBase seekdb 混合数据库;
  • 部署流程:开源代码拉取→环境变量配置→ Docker Compose 一键启动服务→Agent 安装 memory 插件完成对接,配套可视化记忆管理后台,直观查看记忆分层、衰减、访问统计。

整套方案开箱即用,可快速接入现有 Agent 框架,一站式解决长对话信息丢失、上下文臃肿问题。

 

圆桌由封仲淹、郑立、程治玮三位专家共同参与,围绕企业生产准入、AI 产研落地、多智能体协同、上下文优化四大议题输出统一落地思路。

  • 安全信任是生产第一门槛原生 Agent 工具缺失权限审计、企业生态打通、成本管控能力;高合规场景推荐 NVIDIA Nemo Cloud 沙箱硬隔离方案,阻断恶意 Skill 注入;开源项目需建立迭代约束,依靠全覆盖 E2E 测试、定期架构重构平衡创新与稳定性。
  • AI Native 企业产研转型路径OceanBase 以 AI Native 为年度转型目标,每两周分享开源工程工具;AI 生成代码存在可读性差、隐性 Bug 问题,企业需配套专属 QA 团队,基于模型路由调度匹配最优推理服务,借助 Harness 完成流程管控。
  • 多 Agent 与上下文工程优化多智能体存在数据孤岛,可参考阿里 HiClaw 调度方案;行业上下文均衡阈值控制在 200K;Graph RAG 可减少 Token 消耗,但易用性不足暂不通用;下一版本将打通多 Code Agent 跨端上下文共享。
  • 底层存储实现安全数据共享依托 OceanBase 通过 Agent ID、Session ID、租户分组完成多智能体权限隔离,解决会话偏移越权问题,复用统一底座降低重复存储开销。

整场活动,大家踊跃抛出自身项目遇到的落地难题,如端侧 Agent 轻量化记忆部署、政企 RAG 知识库数据一致性、多智能体上下文隔离、传统数据库与向量库融合选型等。

讲师结合自身经验现场给出针对性解决方案,大家相互交流项目经验、交换落地思路,不少同行达成后续技术共建、项目交流的合作意向。

下一步,OceanBase 将持续联合 Dify、Red Hat 共建 AI 开源生态,探索真正可规模化落地的企业 Agent 实践之路。

版权申明:内容来源网络,版权归原创者所有,如有侵权请联系删除

想了解更多行业资讯

扫码关注👇

了解更多考试相关

扫码添加上智启元官方客服微信👇

未经允许不得转载:17认证网 » OceanBase×Dify×Red Hat:打通 Agent 从 Demo 到生产全栈落地路径
分享到:0

评论已关闭。

400-663-6632
咨询老师
咨询老师
咨询老师