MODEL CARD
DSH-FB-3B：面向连锁餐饮的领域模型
复刻 BloombergGPT 的方法论，而不是它的算力：领域语料 + 指令集 + LoRA 微调 + 通用能力回归验收，24GB 单卡可完成。
模型卡
CARD- 模型名
- DSH-FB-3B
- 基座模型
- Qwen/Qwen2.5-3B-Instruct
- 训练方式
- LoRA 低秩适配 → merge 合并
- 硬件
- RTX 5090 Laptop 24GB（单卡）
- 服务接口
- OpenAI 兼容
/v1/chat/completions - 模型 ID
dsh-fb-3b- 定位
- 餐饮行业分析师：指标计算、诊断、对标、合规、SOP
- 当前状态
- 评测已生成
训练细节（超参、数据配比、显存占用）见 train/configs/lora-3b.json 与训练日志；本页只呈现对外可核对的部分。
训练数据构成
DATA| 数据集 | 用途 | 当前条数 / 目标 | 来源 |
|---|---|---|---|
| 行业语料 | 领域知识注入 | 303 / 目标 ≥300 篇 | chain-fnb-org 资产 + 公开行业资料 |
| SFT 训练集 | 指令微调 | 1,253 / 目标 ≥800 条 | 8 类任务：计算/诊断/对标/合规/SOP/分析/决策/抽取 |
| 评测 bench | 领域能力 | 127 / 目标 ≥120 条 | numeric / contains / exact / rubric 四种 checker |
| 通用回归集 | 防灾难性遗忘 | 83 / 目标 ≥60 条 | 常识 / 算术 / 写作 / 代码 |
条数由构建脚本自动统计（读取 data/corpus/*.jsonl 与 data/sft、data/eval）；当前仓库处于构建轮次，若显示「构建中」表示该数据集尚未落盘。
pipeline/build-corpus.mjspipeline/build-sft.mjspipeline/build-eval.mjstrain/train_lora.pytrain/merge_lora.pyeval/run_eval.py评测结果
EVAL scorer v1.0 · 2026-10-18T14:57:24+0800口径披露：SFT 答案形态与 bench rubric 同源，bench 分数可能高估；heldout Δ=+7.15pp（14 条）仅作方向性参考。alignment_effect = -2.43pp（≤5pp 视为可解释）；查看 heldout 三行对照报告。
| 对照集合 | n | base | tuned | Δ | 说明 |
|---|---|---|---|---|---|
| bench | 127 | 70/127 = 55.1% | 76/127 = 59.8% | +4.72pp | 领域能力 · 与训练形态同源，可能高估 |
| heldout | 14 | 1/14 = 7.1% | 2/14 = 14.3% | +7.15pp | 留出集 · 14 条，仅作方向性参考 |
| general | 83 | 58/83 = 69.9% | 56/83 = 67.5% | -2.41pp | 通用回归 · 阈值下降 ≤3pp（达标） |
| 任务 | n | base acc | tuned acc | Δ |
|---|---|---|---|---|
| analysis | 14 | 42.9% | 64.3% | +21.4pp |
| benchmark | 14 | 50.0% | 64.3% | +14.3pp |
| compliance | 12 | 41.7% | 50.0% | +8.3pp |
| decision | 11 | 63.6% | 72.7% | +9.1pp |
| diagnosis | 18 | 38.9% | 61.1% | +22.2pp |
| extraction | 19 | 73.7% | 68.4% | -5.3pp |
| metric_calc | 23 | 95.7% | 82.6% | -13.0pp |
| sop | 16 | 12.5% | 6.3% | -6.3pp |
本轮判定通过：领域 bench 55.1% → 59.8%（+4.7pp）；通用能力 69.9% → 67.5%（-2.4pp，阈值 ≤3pp，达标）；heldout 7.1% → 14.3%（+7.15pp，14 条，方向性参考）。满足验收条件。
口径：同一评测集分别运行 base 与 tuned；准确率为 checker 通过率；打分器版本 v1.0。样本内评测，非排行榜；通用能力回归以下降不超过 3 个百分点为达标线。报告文件：eval/reports/base/report.md、eval/reports/tuned/report.md、eval/reports/comparison-v1.md、eval/reports/heldout-comparison.md；模型卡 docs/model-card.md。
方法论对照：BloombergGPT vs DSH-FB-3B
METHOD| 维度 | BloombergGPT | DSH-FB-3B（本项目） |
|---|---|---|
| 参数规模 | 50B（BLOOM 架构） | 3B（Qwen2.5-3B-Instruct） |
| 训练算力 | 512 × A100，约 53 天 | 1 × RTX 5090 Laptop 24GB |
| 训练方式 | 领域语料继续预训练 | LoRA 指令微调 + merge |
| 领域数据 | 金融语料 + 通用语料混合 | 餐饮语料 + 8 类任务指令集 |
| 评测设计 | 金融任务基准 + 通用能力 | 领域 bench + 通用回归（下降 ≤3pp） |
| 复刻目标 | 领域大模型能力 | 可复刻的方法论与工程闭环 |
BloombergGPT 的数字来自论文公开信息；本项目的完整方法论整理见仓库内 docs/bloomberggpt-study.md 与 docs/design-principles.md（由研究组产出，不在本站分发）。