● 由 Leyon 开发 · Rust · Python · 信创 PostgreSQL · three.js · WebSocket/HLS

Leon-AI-Chat

基于 MemKV 知识库的两阶段 AI 问答:先选知识节点、再读原文生成回答,全程 SSE 流式输出;默认走 内网中转站模型池,ds 模式直连 DeepSeek 官方 API(口令开启,本地补丁待上机验证)。

Flask :5004SSE /api/chat/streamMemKV 同机直连中转站模型池ds: api.deepseek.com展示站 :5070/s/leon-ai-chat/
自上而下通读即可
01 / 概括

在知识库上,造一个会引用的问答入口

一句话:Leon-AI-Chat 是 Leon-Mem 知识库的前端问答口,回答必带引用来源,可点进原文。

定位不是通用聊天,而是有出处的知识问答

所有回答都经过两阶段流水线:阶段一从知识库目录挑节点并读原文,阶段二只用原文生成回答并标注来源。默认走中转站 Zen-big-pickle 等模型池,推理模型先长思考再一次性给正文;ds 模式直连 DeepSeek 官方 deepseek-chat,在设置页用口令开启。

来源项目从一条查询链路长出来

早期问答直接调模型,答非所问且无出处。于是加了 tree-editor 目录 → item/content 原文 → SSE 流式 三段:目录解决“去哪找”,原文解决“答什么”,SSE 解决“别等太久”。知识库范围收敛为 展示跳转 4 分组(TK-OA / TK-知识库 / 数据授权 / LZ-Studio),避免全库漫游。

形态一个问答框,四入口互相跳转

实时问答
http://119.145.17.34:5004/(Flask :5004,threaded)
项目展示
本页(/s/leon-ai-chat/)
说明书
wiki/home.html(多页 Wiki)
架构
arch.html(由 ARCHITECTURE.md 生成)
日志
changelog.html(随部署自动生成)
02 / 总览

问题怎么走,答案从哪来

三条链路:检索链路找节点,生成链路写回答,模型链路决定走中转站还是官方。

链路 A检索:目录 → 原文

索引走 GET /api/v1/path/tree-editor(不用 /memory/index,它会过滤 hidden 分组),30 分钟缓存;节点内容走 GET /api/v1/item/content,线程池并发取(最多 8 路)并保持原顺序。本地关键词 lexical_select_nodes 先行,命中则跳过 LLM 选节点,省一轮大模型。

用户问题→tree-editor 目录→lexical / stage1 选节点→item/content 原文→stage2 生成

目录 30 分钟缓存;原文并发取;顺序与选择一致。

链路 B生成:SSE 五事件

POST /api/chat/stream 返回 SSE:status / thinking / chunk / sources / done。sources 形如 /api/view?project_name=&group_name=&item_name=,前端渲染为可点引用。生成用 llm_stream_hedged,空回退 stage2_answer_question(60 秒兜底)。注意 strictMode=True 反而更宽松(KB 不足时允许用自身知识补),写反了会误导用户。

链路 C模型:池 vs 官方

中转站池
内网中转站模型池(地址向管理员索取),模型 Zen-big-pickle 等 5 个,重试 20 次、总限 120 秒
ds 直连
https://api.deepseek.com,模型 deepseek-chat,单模型直调(本地补丁 is_ds_mode / get_llm_client / get_llm_models,待上机验证)
开关
设置页 dsMode(默认 true),需 X-Settings-Password 口令;warmup 仅启动与 /api/warmup 触发,30 秒节流
03 / 代码

五段核心代码

全部摘自 app.py(1166 行)与前端 app.js,逐字真实,未改写。

C1模型选择:ds 开关决定客户端

def is_ds_mode():
    return bool(load_settings().get("dsMode", False))

def get_llm_client():
    return ds_client if is_ds_mode() else deepseek_client

def get_llm_models():
    if is_ds_mode():
        return [DS_MODEL]
    return LLM_MODELS

app.py · 本地补丁新增,远端待应用验证

C2对冲 worker:同模型并行,先出正文者胜

def worker(idx, model):
    stream = _client.chat.completions.create(
        model=model, messages=messages,
        temperature=temperature, top_p=0.95,
        stream=True, timeout=_llm_next_timeout(deadline))

app.py llm_stream_hedged · HEDGE_MAX=1 实际等于关闭对冲

C3阶段一:词汇先行,不自信才调模型

selected_nodes, confident = lexical_select_nodes(user_message, kb_index)
if not confident:
    for kind, val in stage1_select_nodes_stream(stage1_message, kb_tree):
        ...

app.py api_chat_stream · generate() 内

C4SSE 生成:五事件推送

yield sse({"type": "status", "content": "正在检索知识库…"})
for kind, text in llm_stream_hedged(messages, temperature, deadline=deadline):
    yield sse({"type": "chunk", "content": text})
yield sse({"type": "done", "response": full_response, "sources": sources})

app.py api_chat_stream · 前端按 type 分发渲染

C5设置鉴权:口令走请求头

def check_settings_auth():
    auth = request.headers.get("X-Settings-Password", "")
    return auth == SETTINGS_PASSWORD

app.py · 前端 getSettingsPassword() 存 sessionStorage

04 / 优化

踩坑与解法

每个都是实测现场,格式:现象 → 根因 → 解法。

难点现象与根因解法
推理模型首字 70 秒+Zen-big-pickle 先长思考再一次性给正文,单路等待像卡死,偶发超 90 秒hedged 对冲框架已搭好,但 HEDGE_MAX=1 等于关闭;验证通过后再放开第二路,首字目标 12 秒内
中转站偶发空返回与截断finish_reason 非 stop 或正文过短,旧逻辑照单全收,前端一片空白LLM_MIN_COMMIT=24 守门:非 stop 或不足 24 字判无效并换模型重试,最多 20 轮
预热把配额打空_warmup_loop 每 30 秒全量预热,一天约 720 次中转站调用循环已注释禁用(ponytail 2026-10-24),只保留启动与 /api/warmup 手动触发
目录接口 hidden 分组看不见/memory/index 默认过滤 hidden,TK-OA 下 3 个隐藏分组永远选不中改走 /api/v1/path/tree-editor, памяти走同一接口,与源站一致
strictMode 字面反直觉True 分支反而允许用自身知识补充,False 更保守;按字面写文档必错文档照抄代码行为,不按字面发挥;设置页保留原文案并加注
Flask 改模板不生效debug=False 无自动重载,改 templates 必须重启,否则线上旧页面kill 后 setsid nohup ./start.sh 重启;静态站另需重跑导出部署
📖 说明书📐 说明文档🕘 日志