Data Horizon · 服务器端生产链路 LLM 策略

Review 摘要

当前链路已经具备基础 Selector、tag、Provider 配置、调用日志、新闻标准化、异步图片分析和 KOL snapshot;策略重点是把它升级成分层、可降级、可审计、可控成本的 LLM 生产体系。

实时链路

原始新闻、KOL 动态、图片、推送前摘要、风险告警需要服务端自动完成。轻量模型、本地模型和规则引擎优先,复杂消息再升级。

近实时链路

KOL 总控室、社区情绪、TM 回灌解释和信源质量分析适合周期性 snapshot。页面只读后端产物,不在用户打开页面时触发 LLM。

离线增强

每日全景、KOL 静态画像、信源画像、复盘报告等大 Token 任务可以任务包化,由本地 Agent 或个人订阅处理后按 schema 回传。

86,765近期生产 LLM 调用量级,用于讨论当前负载与日志治理。
3 层实时、近实时、非实时离线增强。
10 tags建议补齐的业务 tag 体系。
5 phases从 tag 补齐到本地模型与成本治理。
讨论焦点:不要把强模型用在每条消息上;先用规则、本地模型和轻量 API 形成结构化事件和候选组件,再让强模型处理高价值聚合。

图 1:当前生产 LLM 调度实际

这张图用于先对齐事实:当前代码路径、生产配置、生产库观察到的调用形态,以及已经暴露出来的运营风险。

Data Horizon 当前生产 LLM 调度实际链路 采集到 raw news,标准化任务调用 news_std,图片异步调用 news_std_image,分发到 Agent 和直推路径,KOL snapshot 周期性构建并可调用 kol_intelligence。 当前生产环境 LLM 调度实际 代码入口 + prod 配置 + Query Nest 生产聚合;用于事实对齐,不等于目标架构 采集入口 RSS / Telegram / Macro Scraper jobs 写入 raw_news dn_raw_news status: pending / std / dispatched image_analysis_status 独立跟踪 StandardizeJob @1s source std_config + Weaviate 去重 clean + truncate + Google Translate Phase 3 调用 LLM JSON 分析 news_std LLM tag=news_std · agent_id=1 模型:第三方-news_std / gpt-4.1 产出 subjects/category/keywords 解析失败 max_tokens 重试一次 标准化结果 std_content_zh/en std_extra + status=standardized pkg/llm.Selector FindByTag / SelectById / SelectByConfig dn_llm_config + dn_llm_provider + daily limit + UTC reset ChatWithLog 异步写 dn_llm_call_log RawNewsImageAnalysisJob @5s 异步 Vision,不阻塞标准化/分发 tag=news_std_image,必要时回退 news_std 成功:追加 [Image Analysis] + Telegram reply 近期失败多为远程图片 URL http get RawNewsJob @1s 读取 standardized AgentTask + DirectPushTask 并行 AgentTask 当前启用 Agent 主要为 forward 代码支持 Analyst analyze LLM 生产启用项未见 analyze agent 直推 Telegram Webhook TM KolIntelligenceSnapshotRebuildJob @5m raw_news + enabled KOL + source bindings + profile summaries 规则/统计聚合 SemanticComponents prod: SnapshotLLMEnhancerEnabled=true LLMEnhancer tag=kol_intelligence dn_kol_intelligence_snapshot kol_control_room / 24h / ready latest: 252 samples / 35 KOL / 11 components 当前风险 日志缺 biz_tag;Vision 失败高;Selector 还缺安全、质量、成本、fallback 治理。

图 2:建议的服务器端生产 LLM 策略链路

这张图把策略文档落成三层运行架构:实时生产、近实时情报、非实时离线增强,统一受 LLM Router 和治理控制面约束。

Data Horizon 建议 LLM 生产策略链路 统一 LLM Router 分层控制实时、近实时、离线增强三个链路,并输出到推送、Dashboard、报告和 Trading Matrix 协同。 建议生产链路 LLM 场景与策略 实时稳定 · 强模型聚合 · Dashboard 只读 snapshot · 离线增强可追溯 原始数据层 新闻 / 社群 / KOL / 图片 行情文本 / TM 回灌 / 搜索补充 统一进入可追踪数据池 统一 LLM Router(Selector 升级目标) tag: news_std / news_std_image / kol_dynamic_event / kol_intelligence / source_profile / daily_panorama Provider: 本地模型 / 官方 API / 第三方聚合 API 治理: 限额、预算、成本、质量评分、日志、安全策略、敏感字段策略、降级策略 输出记录: evidence / confidence / freshness / input_hash / fallback_reason 控制面 dn_llm_config / provider / call_log 建议补字段:biz_tag、task_type input_hash、quality_score、cost A. 实时生产链路 秒级到分钟级 低延迟、自动化、可降级 规则 / 本地模型预处理 去重、清洗、语言、标的识别 方向初判、模板化抽取 高吞吐低风险任务优先本地化 轻量 API / 本地模型增强 news_std:结构化 JSON kol_dynamic_event:方向/策略/仓位 news_std_image:异步 OCR/图表 推送前摘要过滤可规则兜底 结构化事件层 dn_event_news_std / dynamic event schema 校验、字段完整率 失败重试、规则降级 消费 Push TM B. 近实时情报链路 5m / 15m / 30m / 1h 周期性 snapshot,页面不触发 LLM 规则/统计聚合 KOL 动态、静态画像、近期消息 标的/方向/策略统计、TM 回灌 生成候选组件 不把无限原始消息直接交给强模型 强模型情报提炼 kol_intelligence:总控室摘要 daily_panorama:每日全景 tm_feedback_explain:回灌解释 source_profile:信源画像 必须带 evidence / confidence / hash 版本化 snapshot 保留上一版可用结果 schema / prompt / input_hash model / provider / provenance Dashboard 只读 C. 非实时离线增强 小时级到周级 大 Token、高价值、可审计回传 服务器生成任务包 package_id / task_type / time_window schema_version / prompt_version data_files / input_hash expected_output_schema / safety_policy 本地处理 个人订阅 / 本地 Agent / 本地模型 适用:每日全景、KOL 静态画像 信源画像、周报/月报、复盘 不适用:实时推送/告警/交易信号 服务器校验结果包 package_id / input_hash JSON schema / evidence duplicate / sensitive fields provenance + 版本记录

团队 Review 决策点

建议按下面顺序讨论,先定边界和观测能力,再进入实现细节。

tag 体系与 Provider 边界
哪些 tag 可走外部 Provider,哪些必须本地或内部处理?强模型层是否允许第三方聚合 API 承担 kol_intelligence?
日志与成本看板优先级
先补 biz_tag、task_type、input_hash、fallback_reason、quality_score,让多 tag config 可审计、可回放。
KOL 总控室运行边界
是否确认保持服务端自动 snapshot + LLM 增强,且 Dashboard 永远只读 snapshot,不直接触发 LLM?
Vision 故障治理
是否加图片下载缓存、代理、过期 URL 处理、失败退避、采样和优先级队列?
离线包第一个试点
每日全景 snapshot 与 KOL 静态画像批量刷新,哪个先做任务包导出、结果回传、校验与 provenance?

背景与目标

Data Horizon 是金融信息感知中心,持续接入新闻、社群、KOL、图片、行情文本、交易信号和 Trading Matrix 回灌,需要把非结构化信息加工为可消费、可检索、可推送、可验证的金融情报。

当前基础能力

  • pkg/llm.Selector 可根据业务标签、模型配置、Provider、日限额和调用日志选择模型。
  • dn_llm_config / dn_llm_provider 管理模型、Provider、Base URL、tag 和限额。
  • 主链路已使用 LLM 做新闻标准化、图片分析、Analyst Agent 分析、可选 LLM 翻译。
  • KOL 总控室已引入周期性 snapshot,并预留 kol_intelligence 增强能力。

目标

  1. 明确哪些生产场景需要 LLM。
  2. 明确不同场景需要什么模型能力。
  3. 区分服务端 API、本地模型和离线任务包。
  4. 降低实时链路对高成本外部 API 的依赖。
  5. 为 KOL 动态画像、KOL 总控室、每日全景 snapshot、TM 双向协同提供统一调度基础。
  6. 建立可审计、可回放、可降级、可扩展的生产策略。

设计原则

原则用于判断场景归属、模型选择和失败处理方式。

生产链路优先稳定

影响入库、标准化、推送、告警、交易协同的链路必须使用服务端可控能力:API、本地模型、规则引擎、可重试异步任务。

非实时允许离线增强

大 Token、低时效、高价值任务可由服务器生成任务包,本地处理后按标准 schema 回传。

强模型只处理聚合

实时消息先经规则、本地模型、轻量 API 形成结构化事件和候选组件,再由强模型处理周期性 snapshot。

Dashboard 只读 snapshot

用户打开页面时不直接触发 LLM;后台异步生成,失败时保留上一版或展示规则层结果。

个人订阅不替代生产 API

ChatGPT、Codex、Claude 等订阅可用于研发和离线增强,但生产需要服务账号、预算、日志、审计和 SLA。

证据和回放优先

关键输出要能关联 evidence、confidence、freshness、input_hash、模型版本和 provenance。

生产链路 LLM 场景分层

按时效、风险、成本和质量要求拆分,而不是用一种通用大模型处理所有任务。

实时生产链路

场景输入LLM 产出推荐策略
原始新闻/消息标准化dn_raw_news 原文、来源、语言、图片链接分类、摘要、关键词、结构化 JSON、重要性服务端轻量模型或 OpenAI-compatible Provider;必须 schema 校验和失败重试
KOL 实时消息事件抽取KOL 消息、社群消息、禁言群内容、实盘信号标的、方向、多空、策略、止盈止损、仓位变化、置信度规则和本地模型优先,复杂消息再升级到外部强模型
图片/K线/截图识别图片 URL、交易卡片、K线截图、收益截图OCR、图中标的、方向、交易数值、图表说明异步处理,不阻塞主消息标准化;成本较高时采样和分优先级
推送前摘要与过滤标准化事件、Agent 配置、订阅规则推送标题、摘要、语言、过滤判断服务端处理,必须可降级到规则模板
风险告警触发事件流、KOL 信号、行情异动风险摘要、触发原因、证据LLM 只解释和摘要,触发条件由规则/数据层决定

近实时情报链路

场景输入LLM 产出推荐策略
KOL 总控室 Dashboard snapshotKOL 动态事件、静态画像、近期消息、标的统计、方向统计市场概要、多空结构、共识与分歧、热门标的、策略变化、风险机会后端先规则/统计聚合,再 LLM 增强摘要
社区情绪与叙事聚合社群消息、KOL 观点、热门关键词、情绪变化情绪概览、叙事变化、分歧点周期性生成,不在页面请求时调用 LLM
Trading Matrix 回灌解释回测、模拟、实盘反馈、信号来源KOL/策略/信号质量解释,失败原因,后续观察项异步处理,可接受延迟
信源质量分析来源历史内容、命中率、噪音、重复率信源画像、质量等级、适合的 Agent 策略日级或周级更新

非实时离线增强链路

场景是否适合离线任务包说明
DH 每日全景 snapshot 分析适合数据量大、Token 消耗高、时效要求低,适合打包到本地处理
KOL 静态画像批量刷新适合历史消息量大,可分批处理后回传画像 JSON 和报告
信源画像与质量分析适合非实时,可由本地强模型深度分析
周报/月报/复盘报告适合输出偏报告型,人工审阅价值高
长周期 KOL 表现归因适合需要结合历史观点与后验行情,适合批处理
实时推送/告警/交易信号不适合必须由服务端自动完成

Provider 与模型能力策略

策略文档不把 Google API 订阅作为推荐路线。Provider 按生产适配度和能力分层。

本地模型层

适合 embedding、去重、聚类、标的识别、方向识别、KOL 模板化抽取、情绪初判、低风险分类、候选事件生成。不宜独立承担最终金融判断或对外推送唯一摘要。

低成本外部模型层

适合新闻标准化、KOL 动态事件抽取、简短摘要、JSON 输出、多语言普通文本处理。必须接入 Selector、配置 tag、记录日志、设置 daily limit、schema 校验和失败降级。

强模型层

只处理 KOL 总控室摘要、每日全景、共识分歧、Alpha/Beta 机会、TM 回灌解释、静态画像报告等高价值聚合任务。

第三方聚合 API 层

可以用于可降级、非关键、成本优化、低风险结构化任务,但不应成为唯一主链路、敏感数据通道或需要明确 SLA 的核心生产依赖。

离线任务包机制

用于大量 Token 消耗、低时效、高价值分析任务,例如每日全景、KOL 静态画像批量刷新、信源画像、周报/月报和长周期复盘。

服务器生成离线任务包
  -> 团队成员下载
  -> 本地个人订阅 / 本地 Agent / 本地模型处理
  -> 生成标准结果包
  -> 上传回服务器
  -> 服务器校验
  -> 入库
  -> Dashboard / 报告 / 画像读取结果

任务包内容

字段说明
package_id任务包唯一 ID
task_typedaily_snapshot / kol_profile_refresh / source_profile
time_window数据时间窗
schema_version输入和输出 schema 版本
prompt_version推荐 prompt 版本
data_files原始数据、结构化事件、统计候选组件
input_hash防篡改和防重复
expected_output_schema回传结果 schema
evidence_policy证据引用规则
safety_policy敏感字段、脱敏、禁止生成项

结果包与校验

结果字段说明
package_id对应任务包
processor处理人或处理 Agent
model_or_tool使用的模型、订阅产品、本地模型或工具
input_hash / output_hash输入和输出追踪
result结构化结果
evidence证据引用
quality_notes人工备注或模型质量说明

服务器校验:package_id、input_hash、JSON schema、必填 evidence、重复提交、敏感字段、结果版本、provenance。建议 provenance:manual_offline_llm_enrichment。

生产链路架构建议

现有 Selector 可以作为基础,但应增强为统一 LLM Router。

原始数据层
  -> 规则/本地模型预处理层
  -> 结构化事件层
  -> 周期性 snapshot 层
  -> 强模型情报提炼层
  -> Dashboard / 推送 / TM 协同
  -> 离线任务包增强层
  -> 审核 / 回传 / 入库

LLM Router 建议能力

能力说明
tag 路由按 news_std、kol_intelligence 等业务 tag 选择模型
Provider 分层区分本地模型、官方 API、第三方聚合 API
限额管理每日限额、每分钟限额、预算上限
降级策略强模型失败时回退轻模型、规则摘要或上一版 snapshot
质量评分对输出 JSON 合法性、证据覆盖率、字段完整度评分
调用日志记录模型、Provider、tokens、耗时、错误
成本统计按 tag、Provider、任务类型统计成本
安全策略控制敏感数据是否允许发往外部 Provider

建议 tag 体系

Tag用途
news_std新闻/消息标准化
news_std_image图片/K线/截图识别
kol_dynamic_eventKOL 实时消息事件抽取
kol_intelligenceKOL 总控室 snapshot 情报提炼
kol_profile_staticKOL 静态画像刷新
source_profile信源画像与质量分析
daily_panorama每日全景 snapshot
translation_llmLLM 翻译兜底
search_enrichment搜索/外部事实补充
tm_feedback_explainTrading Matrix 回灌解释

KOL 总控室与每日全景 snapshot

KOL 总控室应服务端自动生成;每日全景可采用服务端基础版 + 离线增强版双轨。

KOL 总控室

KOL 实时消息
  -> 规则/本地模型抽取动态事件
  -> 写入 KOL 动态事件表
  -> 周期性聚合 snapshot
  -> LLM 对 snapshot 做情报摘要增强
  -> Dashboard 读取 snapshot

展示当前市场概要、KOL 多空分布、热门标的、共识与分歧、策略变化、Alpha 候选、风险信号、证据链和下钻。

每日全景 snapshot

服务端基础版每日自动生成,使用结构化数据、规则统计、本地模型和低成本 API,保证每天有可用产物。

离线增强版由服务器导出任务包,团队成员用本地订阅或本地 Agent 生成深度版本,回传后补充或覆盖基础版,并标记 provenance 和处理人。

类型展示含义
auto_snapshot服务端自动生成
manual_enhanced_snapshot人工/本地订阅增强
reviewed_snapshot已被团队审核确认

风险与控制

LLM 生产使用的关键风险需要在架构层内建控制,而不是只依赖提示词。

风险控制方式
LLM 幻觉输出必须基于 evidence;禁止生成不存在的价格、仓位、KOL 名单
成本失控tag 限额、Provider 限额、周期性 snapshot、强模型只处理聚合输入
实时链路超时LLM 异步化,页面只读 snapshot,推送可降级
第三方 Provider 不稳定Provider 分层、官方 API 或本地模型兜底
离线结果不可追踪package_id、input_hash、output_hash、provenance、处理人
个人订阅误用生产只允许用于离线增强,不进入实时自动链路
数据泄露离线包脱敏、Provider 安全策略、敏感字段过滤
质量不可评估建立 golden set、字段完整率、证据覆盖率、人工抽检

分阶段实施建议

先补齐基础观测和 tag,再扩展动态事件、snapshot、离线包和本地模型治理。

Phase 1

梳理 LLM 调用点,定义正式 tag,补齐 kol_intelligence、kol_dynamic_event、source_profile、daily_panorama,明确 Provider 边界。

Phase 2

建立 KOL 实时消息事件 schema,规则和本地模型先抽取标的、方向、策略、止损、仓位变化,复杂消息升级强模型。

Phase 3

后端周期性构建 KOL 总控室 snapshot,规则层输出结构化组件,kol_intelligence 做摘要增强,前端只读 snapshot。

Phase 4

设计 snapshot_package 和 analysis_result schema,实现任务包导出、结果回传 API、校验、provenance 和版本记录。

Phase 5

部署本地 embedding / classification / extraction 服务,迁移高吞吐低风险任务,建立 Provider 成本质量看板和 golden set 评测。

结论

实时链路用服务端 API / 本地模型 / 规则降级;近实时链路用周期性 snapshot + 强模型情报提炼;非实时链路用任务包导出 + 本地处理 + 标准结果回传。

来源文件

本 HTML 整合自同目录下的策略文档和 draw.io 可视化源文件。