# Data Horizon 服务器端生产链路 LLM 场景与策略方案

日期：2026-06-17

## 1. 背景

Data Horizon 是金融信息感知中心，生产链路持续接入新闻、社群、KOL、图片、行情相关文本、交易信号、Trading Matrix 回灌等数据。随着数据源和业务场景增加，系统需要把大量非结构化信息加工成可消费、可检索、可推送、可验证的金融情报。

当前 Data Horizon 已经具备一层基础 LLM 调度能力：

- `pkg/llm.Selector` 根据业务标签、模型配置、Provider、日限额和调用日志选择模型。
- `dn_llm_config` / `dn_llm_provider` 管理模型、Provider、Base URL、tag、限额。
- 主链路已使用 LLM 进行新闻标准化、图片分析、Analyst Agent 分析、可选 LLM 翻译。
- KOL 总控室已引入周期性 snapshot 机制，并预留 `kol_intelligence` LLM 情报增强能力。

但从生产架构角度看，Data Horizon 不应把所有任务都交给同一种通用大模型，也不应把高成本 API 用在所有实时数据上。更合理的方向是：按业务时效、风险、Token 消耗和质量要求，把 LLM 场景拆分成实时生产链路、近实时情报链路、非实时离线增强链路，并分别采用不同模型策略。

## 2. 目标

本方案讨论 Data Horizon 服务器端生产链路中的 LLM 使用策略，目标包括：

1. 明确 Data Horizon 哪些生产场景需要 LLM。
2. 明确不同场景需要什么类型的模型能力。
3. 明确哪些场景必须使用服务端 API 或本地模型，哪些场景可以采用离线任务包方式处理。
4. 降低实时链路对高成本外部 API 的依赖。
5. 为 KOL 动态画像、KOL 总控室、每日全景 snapshot、Trading Matrix 双向协同提供统一 LLM 调度基础。
6. 建立可审计、可回放、可降级、可扩展的 LLM 生产策略。

## 3. 设计原则

### 3.1 生产链路优先稳定性

实时生产链路不能依赖人工下载、个人订阅、本地手动处理。凡是会影响消息入库、标准化、推送、告警、交易系统协同的链路，都必须使用服务端可控能力：

- 服务端 API。
- 服务端本地模型。
- 规则引擎。
- 可重试、可降级的异步任务。

### 3.2 非实时任务允许离线增强

大 Token、低时效、高价值分析任务可以设计为离线增强链路：

- 服务器生成任务包。
- 团队成员下载到本地。
- 使用个人订阅、本地 Agent 或本地模型处理。
- 结果按标准 schema 回传服务器。
- 服务器校验、入库、标记来源和版本。

这类链路适合日报、周报、静态画像批量刷新、信源质量分析、长周期复盘，不适合实时 Dashboard、实时推送、交易信号触发。

### 3.3 强模型只处理高价值聚合

强模型的价值在于复杂归纳、金融判断、共识分歧提炼、风险机会总结，而不是对每条消息做重复低价值处理。实时消息应先经过规则、本地模型、轻量 API 形成结构化事件和候选组件，再由强模型处理周期性 snapshot。

### 3.4 Dashboard 只读 snapshot

KOL 总控室、每日全景、市场情绪等 Dashboard 不应在用户打开页面时直接触发 LLM。前端应读取后端周期性生成的 snapshot，并通过动态 widget 展示。LLM 应在后台异步运行，失败时保留上一版可用 snapshot 或展示规则层结果。

### 3.5 订阅产品不替代生产 API

ChatGPT / Codex / Claude 等个人订阅可以用于研发、人工分析、离线增强，但不应替代服务器端生产 API。生产链路需要服务账号、API key、预算、调用日志、权限、审计和稳定 SLA。

## 4. 生产链路 LLM 场景分层

### 4.1 实时生产链路

实时链路要求秒级到分钟级响应，不能依赖人工处理。

| 场景 | 输入 | LLM 产出 | 推荐策略 |
| --- | --- | --- | --- |
| 原始新闻/消息标准化 | `dn_raw_news` 原文、来源、语言、图片链接 | 分类、摘要、关键词、结构化 JSON、重要性 | 服务端轻量模型或 OpenAI-compatible Provider；必须 schema 校验和失败重试 |
| KOL 实时消息事件抽取 | KOL 消息、社群消息、禁言群内容、实盘信号 | 标的、方向、多空、策略、止盈止损、仓位变化、置信度 | 规则和本地模型优先，复杂消息再升级到外部强模型 |
| 图片/K线/截图识别 | 图片 URL、交易卡片、K线截图、收益截图 | OCR、图中标的、方向、交易数值、图表说明 | 异步处理，不阻塞主消息标准化；成本较高时做采样和优先级 |
| 推送前摘要与过滤 | 标准化事件、Agent 配置、订阅规则 | 推送标题、摘要、语言、过滤判断 | 服务端处理，必须可降级到规则模板 |
| 风险告警触发 | 事件流、KOL信号、行情异动 | 风险摘要、触发原因、证据 | LLM 只做解释和摘要，触发条件由规则/数据层决定 |

实时链路模型要求：

- 低延迟。
- 输出稳定。
- JSON/schema 遵循能力强。
- 支持失败重试。
- 支持调用日志和限额。
- 可以被规则引擎降级替代。

### 4.2 近实时情报链路

近实时链路通常以 5 分钟、15 分钟、30 分钟、1 小时为时间窗，适合 snapshot 异步生成。

| 场景 | 输入 | LLM 产出 | 推荐策略 |
| --- | --- | --- | --- |
| KOL 总控室 Dashboard snapshot | KOL 动态事件、静态画像、近期消息、标的统计、方向统计 | 市场概要、多空结构、共识与分歧、热门标的、策略变化、风险机会 | 后端先规则/统计聚合，再 LLM 增强摘要 |
| 社区情绪与叙事聚合 | 社群消息、KOL观点、热门关键词、情绪变化 | 情绪概览、叙事变化、分歧点 | 周期性生成，不在页面请求时调用 LLM |
| Trading Matrix 回灌解释 | 回测、模拟、实盘反馈、信号来源 | KOL/策略/信号质量解释，失败原因，后续观察项 | 异步处理，可接受延迟 |
| 信源质量分析 | 来源历史内容、命中率、噪音、重复率 | 信源画像、质量等级、适合的 Agent 策略 | 日级或周级更新 |

近实时链路模型要求：

- 强归纳能力。
- 金融语义理解。
- 能区分事实、观点、推断。
- 能引用证据。
- 能输出结构化摘要。
- 可接受较高延迟，但必须可审计。

### 4.3 非实时离线增强链路

非实时链路适合小时级、天级、周级任务，允许人工参与。

| 场景 | 是否适合离线任务包 | 说明 |
| --- | --- | --- |
| DH 每日全景 snapshot 分析 | 适合 | 数据量大、Token 消耗高、时效要求低，适合打包到本地使用订阅或本地 Agent 处理 |
| KOL 静态画像批量刷新 | 适合 | 历史消息量大，可分批处理后回传画像 JSON 和报告 |
| 信源画像与质量分析 | 适合 | 非实时，可由本地强模型深度分析 |
| 周报/月报/复盘报告 | 适合 | 输出偏报告型，人工审阅价值高 |
| 长周期 KOL 表现归因 | 适合 | 需要结合历史观点与后验行情，适合批处理 |
| 实时推送/告警/交易信号 | 不适合 | 必须由服务端自动完成 |

## 5. Provider 与模型能力策略

本方案不把 Google API 订阅作为推荐路线。Provider 策略按能力和生产适配度分层。

### 5.1 本地模型层

本地模型适合低风险、高吞吐、可校验任务。

适合场景：

- embedding。
- 去重。
- 文本聚类。
- 标的识别。
- 方向识别。
- KOL 消息模板化抽取。
- 情绪初判。
- 低风险分类。
- 候选事件生成。

部署方式：

- Ollama。
- vLLM。
- OpenAI-compatible local gateway。
- 独立 embedding service。

本地模型不宜直接承担：

- 最终金融判断。
- 高价值 Dashboard 总结。
- 投资含义强的复杂归因。
- 对外推送的唯一摘要来源。

### 5.2 低成本外部模型层

适合实时标准化和结构化抽取。

适合场景：

- 新闻标准化。
- KOL 动态事件抽取。
- 简短摘要。
- JSON 输出。
- 多语言普通文本处理。

要求：

- 必须接入 `llm.Selector`。
- 必须配置业务 tag。
- 必须记录调用日志。
- 必须有 daily limit。
- 必须有 schema 校验。
- 必须有失败降级。

### 5.3 强模型层

强模型只处理高价值聚合任务。

适合场景：

- KOL 总控室情报摘要。
- 每日全景 snapshot。
- 共识与分歧提炼。
- Alpha/Beta 机会总结。
- TM 回灌解释。
- 静态画像综合报告。

要求：

- 输入必须来自规则/统计层生成的候选组件，而不是无限制原始消息。
- 输出必须带 evidence、confidence、freshness、input_hash。
- 支持版本化和回放。
- 失败时保留上一版 snapshot 或规则层结果。

### 5.4 第三方聚合 API 层

第三方聚合 API 可以作为可替换通道，但不应成为不可替换的唯一生产依赖。

适合：

- 可降级任务。
- 非关键任务。
- 成本优化。
- 低风险结构化处理。

不适合：

- 唯一主链路。
- 安全敏感数据。
- 需要明确 SLA 的核心生产任务。

## 6. 离线任务包机制设计

### 6.1 适用场景

离线任务包机制用于大量 Token 消耗、低时效、高价值分析任务，例如：

- 每日全景 snapshot。
- KOL 静态画像批量刷新。
- 信源画像分析。
- 周报/月报。
- 长周期策略复盘。

### 6.2 流程

```text
服务器生成离线任务包
  -> 团队成员下载
  -> 本地个人订阅 / 本地 Agent / 本地模型处理
  -> 生成标准结果包
  -> 上传回服务器
  -> 服务器校验
  -> 入库
  -> Dashboard / 报告 / 画像读取结果
```

### 6.3 任务包内容

任务包应包含：

| 字段 | 说明 |
| --- | --- |
| `package_id` | 任务包唯一 ID |
| `task_type` | `daily_snapshot` / `kol_profile_refresh` / `source_profile` 等 |
| `time_window` | 数据时间窗 |
| `schema_version` | 输入和输出 schema 版本 |
| `prompt_version` | 推荐 prompt 版本 |
| `data_files` | 原始数据、结构化事件、统计候选组件 |
| `input_hash` | 输入包 hash，防篡改和防重复 |
| `expected_output_schema` | 回传结果 schema |
| `evidence_policy` | 证据引用规则 |
| `safety_policy` | 敏感字段、脱敏、禁止生成项 |

### 6.4 回传结果内容

结果包应包含：

| 字段 | 说明 |
| --- | --- |
| `package_id` | 对应任务包 |
| `result_id` | 结果唯一 ID |
| `processor` | 处理人或处理 Agent |
| `model_or_tool` | 使用的模型、订阅产品、本地模型或工具 |
| `processed_at` | 处理时间 |
| `input_hash` | 输入 hash |
| `output_hash` | 输出 hash |
| `result_schema_version` | 输出 schema 版本 |
| `result` | 结构化结果 |
| `evidence` | 证据引用 |
| `quality_notes` | 人工备注或模型质量说明 |

### 6.5 服务器校验

服务器接收结果后必须执行：

1. `package_id` 校验。
2. `input_hash` 校验。
3. JSON schema 校验。
4. 必填 evidence 校验。
5. 重复提交校验。
6. 敏感字段校验。
7. 结果版本记录。
8. provenance 标记。

provenance 建议：

```text
manual_offline_llm_enrichment
```

这表示结果来自人工/本地订阅离线增强，而不是服务端自动 LLM 生产链路。

## 7. 生产链路架构建议

### 7.1 总体架构

```text
原始数据层
  -> 规则/本地模型预处理层
  -> 结构化事件层
  -> 周期性 snapshot 层
  -> 强模型情报提炼层
  -> Dashboard / 推送 / TM 协同
  -> 离线任务包增强层
  -> 审核 / 回传 / 入库
```

### 7.2 LLM Router

现有 `llm.Selector` 可以继续作为基础，但需要增强成统一 LLM Router。

建议能力：

| 能力 | 说明 |
| --- | --- |
| tag 路由 | 按 `news_std`、`kol_intelligence` 等业务 tag 选择模型 |
| Provider 分层 | 区分本地模型、官方 API、第三方聚合 API |
| 限额管理 | 每日限额、每分钟限额、预算上限 |
| 降级策略 | 强模型失败时回退轻模型、规则摘要或上一版 snapshot |
| 质量评分 | 对输出 JSON 合法性、证据覆盖率、字段完整度评分 |
| 调用日志 | 记录模型、Provider、tokens、耗时、错误 |
| 成本统计 | 按 tag、Provider、任务类型统计成本 |
| 安全策略 | 控制敏感数据是否允许发往外部 Provider |

### 7.3 建议 tag 体系

| Tag | 用途 |
| --- | --- |
| `news_std` | 新闻/消息标准化 |
| `news_std_image` | 图片/K线/截图识别 |
| `kol_dynamic_event` | KOL 实时消息事件抽取 |
| `kol_intelligence` | KOL 总控室 snapshot 情报提炼 |
| `kol_profile_static` | KOL 静态画像刷新 |
| `source_profile` | 信源画像与质量分析 |
| `daily_panorama` | 每日全景 snapshot |
| `translation_llm` | LLM 翻译兜底 |
| `search_enrichment` | 搜索/外部事实补充 |
| `tm_feedback_explain` | Trading Matrix 回灌解释 |

## 8. KOL 总控室与每日全景 snapshot 的落地方式

### 8.1 KOL 总控室

KOL 总控室应采用服务端自动 snapshot，不应依赖离线人工处理。

推荐流程：

```text
KOL 实时消息
  -> 规则/本地模型抽取动态事件
  -> 写入 KOL 动态事件表
  -> 周期性聚合 snapshot
  -> LLM 对 snapshot 做情报摘要增强
  -> Dashboard 读取 snapshot
```

Dashboard 展示：

- 当前市场概要。
- KOL 多空分布。
- KOL 热门标的。
- KOL 共识与分歧。
- 策略与操作变化。
- Alpha 机会候选。
- 风险与反身性信号。
- 证据链和下钻。

### 8.2 每日全景 snapshot

每日全景 snapshot 可以采用“服务端基础版 + 离线增强版”双轨。

服务端基础版：

- 每日自动生成。
- 使用结构化数据、规则层统计、本地模型和低成本 API。
- 保证每天都有可用产物。

离线增强版：

- 服务器导出任务包。
- 团队成员用本地订阅或本地 Agent 生成深度版本。
- 回传后覆盖或补充基础版。
- 标记 provenance 和处理人。

展示时区分：

| 类型 | 展示含义 |
| --- | --- |
| `auto_snapshot` | 服务端自动生成 |
| `manual_enhanced_snapshot` | 人工/本地订阅增强 |
| `reviewed_snapshot` | 已被团队审核确认 |

## 9. 风险与控制

| 风险 | 控制方式 |
| --- | --- |
| LLM 幻觉 | 输出必须基于 evidence；禁止生成不存在的价格、仓位、KOL 名单 |
| 成本失控 | tag 限额、Provider 限额、周期性 snapshot、强模型只处理聚合输入 |
| 实时链路超时 | LLM 异步化，页面只读 snapshot，推送可降级 |
| 第三方 Provider 不稳定 | Provider 分层、官方 API 或本地模型兜底 |
| 离线结果不可追踪 | package_id、input_hash、output_hash、provenance、处理人 |
| 个人订阅误用生产 | 只允许用于离线增强，不进入实时自动链路 |
| 数据泄露 | 离线包脱敏、Provider 安全策略、敏感字段过滤 |
| 质量不可评估 | 建立 golden set、字段完整率、证据覆盖率、人工抽检 |

## 10. 分阶段实施建议

### Phase 1：生产链路梳理与 tag 补齐

1. 梳理所有 LLM 调用点。
2. 定义正式 tag 体系。
3. 补齐 `kol_intelligence`、`kol_dynamic_event`、`source_profile`、`daily_panorama` 等配置。
4. 明确哪些 tag 可用外部 Provider，哪些只能本地或内部处理。

### Phase 2：KOL 动态事件抽取

1. 建立 KOL 实时消息事件 schema。
2. 先用规则和本地模型抽取标的、方向、策略、止损、仓位变化。
3. 对复杂或高价值消息调用外部强模型。
4. 写入动态事件表，供 KOL 总控室 snapshot 使用。

### Phase 3：KOL 总控室 snapshot 增强

1. 后端周期性构建 snapshot。
2. 规则层输出结构化组件。
3. `kol_intelligence` LLM 对组件做摘要增强。
4. 前端只读取 snapshot。
5. 保留上一版 snapshot 作为失败兜底。

### Phase 4：离线任务包机制

1. 设计 `snapshot_package` 和 `analysis_result` schema。
2. 实现服务器导出任务包。
3. 实现结果回传 API。
4. 增加校验、provenance、版本记录。
5. 先用于每日全景 snapshot 和 KOL 静态画像刷新。

### Phase 5：本地模型与成本治理

1. 部署本地 embedding / classification / extraction 服务。
2. 将高吞吐低风险任务迁移到本地。
3. 建立 Provider 成本和质量看板。
4. 建立 golden set 评测，决定哪些任务可从外部 API 迁移到本地。

## 11. 结论

Data Horizon 的服务器端 LLM 策略应采用：

```text
实时链路：服务端 API / 本地模型 / 规则降级
近实时链路：周期性 snapshot + 强模型情报提炼
非实时链路：任务包导出 + 本地订阅/本地 Agent 处理 + 标准结果回传
```

这套方案能同时满足：

- 实时生产链路稳定。
- 高价值分析质量可提升。
- 大 Token 任务成本可控。
- 个人订阅可以合理用于离线增强。
- 服务端生产依赖仍然保持可审计、可降级、可治理。

下一步建议先做两件事：

1. 为服务器端生产链路补齐正式 LLM tag 和 Provider 策略表。
2. 设计每日全景 snapshot / KOL 静态画像刷新所需的离线任务包 schema 和回传 API。
