基于 MemKV 知识库的两阶段 AI 问答:先选知识节点、再读原文生成回答,全程 SSE 流式输出;默认走 内网中转站模型池,ds 模式直连 DeepSeek 官方 API(口令开启,本地补丁待上机验证)。
一句话:Leon-AI-Chat 是 Leon-Mem 知识库的前端问答口,回答必带引用来源,可点进原文。
所有回答都经过两阶段流水线:阶段一从知识库目录挑节点并读原文,阶段二只用原文生成回答并标注来源。默认走中转站 Zen-big-pickle 等模型池,推理模型先长思考再一次性给正文;ds 模式直连 DeepSeek 官方 deepseek-chat,在设置页用口令开启。
早期问答直接调模型,答非所问且无出处。于是加了 tree-editor 目录 → item/content 原文 → SSE 流式 三段:目录解决“去哪找”,原文解决“答什么”,SSE 解决“别等太久”。知识库范围收敛为 展示跳转 4 分组(TK-OA / TK-知识库 / 数据授权 / LZ-Studio),避免全库漫游。
三条链路:检索链路找节点,生成链路写回答,模型链路决定走中转站还是官方。
索引走 GET /api/v1/path/tree-editor(不用 /memory/index,它会过滤 hidden 分组),30 分钟缓存;节点内容走 GET /api/v1/item/content,线程池并发取(最多 8 路)并保持原顺序。本地关键词 lexical_select_nodes 先行,命中则跳过 LLM 选节点,省一轮大模型。
目录 30 分钟缓存;原文并发取;顺序与选择一致。
POST /api/chat/stream 返回 SSE:status / thinking / chunk / sources / done。sources 形如 /api/view?project_name=&group_name=&item_name=,前端渲染为可点引用。生成用 llm_stream_hedged,空回退 stage2_answer_question(60 秒兜底)。注意 strictMode=True 反而更宽松(KB 不足时允许用自身知识补),写反了会误导用户。
全部摘自 app.py(1166 行)与前端 app.js,逐字真实,未改写。
def is_ds_mode():
return bool(load_settings().get("dsMode", False))
def get_llm_client():
return ds_client if is_ds_mode() else deepseek_client
def get_llm_models():
if is_ds_mode():
return [DS_MODEL]
return LLM_MODELS
app.py · 本地补丁新增,远端待应用验证
def worker(idx, model):
stream = _client.chat.completions.create(
model=model, messages=messages,
temperature=temperature, top_p=0.95,
stream=True, timeout=_llm_next_timeout(deadline))
app.py llm_stream_hedged · HEDGE_MAX=1 实际等于关闭对冲
selected_nodes, confident = lexical_select_nodes(user_message, kb_index)
if not confident:
for kind, val in stage1_select_nodes_stream(stage1_message, kb_tree):
...
app.py api_chat_stream · generate() 内
yield sse({"type": "status", "content": "正在检索知识库…"})
for kind, text in llm_stream_hedged(messages, temperature, deadline=deadline):
yield sse({"type": "chunk", "content": text})
yield sse({"type": "done", "response": full_response, "sources": sources})
app.py api_chat_stream · 前端按 type 分发渲染
def check_settings_auth():
auth = request.headers.get("X-Settings-Password", "")
return auth == SETTINGS_PASSWORD
app.py · 前端 getSettingsPassword() 存 sessionStorage
每个都是实测现场,格式:现象 → 根因 → 解法。
| 难点 | 现象与根因 | 解法 |
|---|---|---|
| 推理模型首字 70 秒+ | Zen-big-pickle 先长思考再一次性给正文,单路等待像卡死,偶发超 90 秒 | hedged 对冲框架已搭好,但 HEDGE_MAX=1 等于关闭;验证通过后再放开第二路,首字目标 12 秒内 |
| 中转站偶发空返回与截断 | finish_reason 非 stop 或正文过短,旧逻辑照单全收,前端一片空白 | LLM_MIN_COMMIT=24 守门:非 stop 或不足 24 字判无效并换模型重试,最多 20 轮 |
| 预热把配额打空 | _warmup_loop 每 30 秒全量预热,一天约 720 次中转站调用 | 循环已注释禁用(ponytail 2026-10-24),只保留启动与 /api/warmup 手动触发 |
| 目录接口 hidden 分组看不见 | /memory/index 默认过滤 hidden,TK-OA 下 3 个隐藏分组永远选不中 | 改走 /api/v1/path/tree-editor, памяти走同一接口,与源站一致 |
| strictMode 字面反直觉 | True 分支反而允许用自身知识补充,False 更保守;按字面写文档必错 | 文档照抄代码行为,不按字面发挥;设置页保留原文案并加注 |
| Flask 改模板不生效 | debug=False 无自动重载,改 templates 必须重启,否则线上旧页面 | kill 后 setsid nohup ./start.sh 重启;静态站另需重跑导出部署 |