Skip to main content

eBay 基于大模型的营销内容生成技术方案

一、文档概述​

1.1 项目背景​

传统固定模板的营销内容在 2023-2024 年 CTR 下跌近 20%，需引入大模型实现“个性化+合规化”的动态内容生成，支撑每周千万级营销消息触达，目标年 GMV 增量超 5000 万美元。

1.2 输入源说明​

系统输入为数据中台维护的集中式埋点用户行为数据，包含：

  • 短期行为（7 天内）：用户点击、浏览、加购等实时操作数据；
  • 长期行为（30 天+）：用户购买、复购、类目偏好等历史数据。

二、系统整体架构​

系统采用分层架构，从“输入 → 特征 → 生成 → 校验 → 推送 → 归因”实现端到端链路，架构图如下：

三、核心模块技术设计​

3.1 用户行为特征层​

用户行为特征层核心负责处理数据中台输入的集中式埋点行为数据，通过分层存储与计算生成结构化用户特征包，为后续 Prompt 组装提供精准的用户偏好数据。具体包括数据存储与处理、特征输出两部分核心内容：

  • 数据存储与处理

    • 短期行为数据（7 天内）
      • 存储：Redis 缓存高频行为特征（如最近浏览商品 ID、点击类目），ClickHouse 存储明细数据，支持按用户 ID、时间范围的毫秒级查询
      • 处理：Flink 实时计算用户“兴趣强度”，计算公示为：兴趣强度=点击次数 ×0.3 + 加购次数 ×0.5 + 收藏次数 ×0.4
    • 长期行为数据（30 天+）
      • 存储：Parquet 格式文件存储于 S3 数据湖，按用户 ID、月份分区
      • 处理：Spark 离线计算用户偏好标签（如“3C 数码高客单价用户”“时尚类目复购用户”），标签更新周期为每日凌晨

  • 特征输出

    • 最终输出结构化特征包，字段详情如下：
字段名类型说明
user_idString用户唯一标识
prefer_categoryList偏好类目（如["手机","笔记本"]）
recent_item_idList最近 3 天互动商品 ID
interest_scoreFloat兴趣强度（0-10 分）

3.2 Prompt 组装与大模型生成层​

本层核心实现个性化营销内容的生成，通过动态 Prompt 组装注入用户特征与活动配置，结合大模型推理优化保障生成效率与效果。

  • Prompt 组装方式：采用“基础模板+动态变量注入”
  • 模板示例：
你是eBay营销文案专家，需为用户{user_id}生成{channel}渠道的营销内容：
1. 核心商品：{recent_item_id}（类目：{prefer_category}）；
2. 内容要求：符合用户兴趣强度{interest_score}分的偏好，{channel}渠道字数限制为{word_limit}；
3. 合规约束：禁止使用夸大宣传词，需包含商品当前折扣{discount}。

  • 动态变量来源

    • user_id、prefer_category：来自用户行为特征包
    • channel、word_limit：来自营销活动配置（如邮件渠道 word_limit=100）
    • discount：来自商品库实时查询结果

  • 大模型推理优化

    • 模型选型：eBay 内部生成式 AI（GPT-4 微调版），适配电商营销场景的文案风格
    • 性能优化措施
      • 模型量化：INT8 量化将模型体积压缩 75%，推理速度提升 2 倍
      • 批处理：vLLM 的 PagedAttention 机制实现请求批处理，单 GPU 吞吐量提升至 500 请求/秒
      • 缓存：对高频商品营销文案（如爆款手机）做 Redis 缓存，缓存有效期 24 小时，缓存命中率目标 30%

3.3 多维度校验规则引擎​

本引擎核心目标是保障生成内容的准确性与合规性，通过事实一致性校验、合规性校验及校验决策机制实现全流程把控。

  • 事实一致性校验

    • 关键实体提取：基于 BERT 的 NER 模型提取商品 ID、折扣、活动时间、类目
    • 示例：生成内容“你的收藏手机 A 正在打 8 折，活动截止 2024-10-01”
    • 提取实体：商品 ID=手机 A、折扣=8 折、活动时间=2024-10-01、类目=手机
    • 双层事实比对机制
      • 类目一致性校验：倒排索引维护 1-2 级类目映射（如“手机”对应“手机 A、手机 B”），存储于 Elasticsearch，实时同步类目变更；优势是匹配速度快，局限是无法验证折扣、活动时间等精确数值
      • 精确事实校验：对接统一事实中间层，调用商品库、活动库接口分别校验折扣与截止时间，不一致标记为事实错误

  • 合规性校验

    • 违规词检测：维护 eBay 平台合规关键词库（如“最低价”“独家”“100%正品”），采用 AC 自动机匹配，命中则标记为合规违规
    • 品牌合规校验：调用 eBay 品牌管理系统接口，传入品牌词（如“Apple”“Samsung”），不允许则标记为品牌违规

  • 校验决策机制

    • 扣分规则：事实错误扣 5 分、合规违规扣 8 分、品牌违规扣 10 分
    • 通过条件：总分 ≤10 分
    • 处置流程：总分 >10 分先自动修正可修正错误（如折扣错误替换为正确值），失败则进入人工审核队列，审核超时（30 分钟）降级为固定模板

3.4 渠道适配与推送执行层​

本层核心实现营销内容的多渠道适配分发与全链路容错降级，确保内容精准触达用户。

  • 渠道适配

    • 邮件渠道：文本转为 HTML，添加商品图片、详情链接、按钮样式
    • 推送渠道：文本压缩为 15-20 字，突出行动指令（如“手机 A8 折 → 立即抢”）
    • 短信渠道：严格控制在 70 字内，包含短链接

  • 容错与降级机制

    • 大模型服务降级：推理延迟>500ms 或可用性<99%时，自动切换回固定模板，基于用户偏好匹配历史优质文案
    • 中间层降级：统一事实中间层不可用时，使用本地缓存的最近一次事实数据，缓存有效期 5 分钟

3.5 效果归因与 A/B 测试层​

本层核心实现大模型生成内容的效果验证与迭代优化，通过 A/B 测试分组和效果归因明确业务价值。

  • A/B 测试分组

    • 规则：按用户 ID 哈希值取模
    • 分组：测试组（大模型内容）与对照组（固定模板），比例 1:1
    • 变量控制：同一活动下触达时间、渠道、商品完全一致，仅内容生成方式不同

  • 效果归因

    • 数据采集：点击、转化、GMV 等数据存储于 ClickHouse
    • 归因模型：Last-Touch 归因，将转化归因于最后一次触达内容
    • 核心指标
      • CTR 提升率=（测试组 CTR-对照组 CTR）/对照组 CTR
      • GMV 增量=测试组 GMV-对照组 GMV
    • 指标用途：用于后续 Prompt 模板优化与大模型微调

四、系统核心指标​

指标目标值
内容生成吞吐量每周 1200 万条
推理延迟平均 200ms/请求
幻觉内容通过率≤0.1%
服务可用性≥99.95%
CTR 提升率≥15%
年 GMV 增量≥5000 万美元

五、总结​

本系统通过“用户特征分层处理+大模型性能优化+多维度校验+渠道适配”的技术方案，实现了“大模型灵活性”与“营销业务稳定性”的平衡，既发挥了大模型的个性化优势，又保障了电商场景对“准确性、合规性、时效性”的核心要求。