41 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
34047007@qq.com	80915f28a9	docs: 第12轮搜索审计修复记录（21项P0-P2修复）	2026-07-28 12:38:23 +08:00
34047007@qq.com	6f861c8543	fix: 第12轮搜索审计修复 — _normalize_field_label 崩溃/keyset NULLSLAT/共享列表变异等21项修复 ... P0 (3): _normalize_field_label 函数缺失导致 (a OR b)[TI] 崩溃； 共享列表变异污染 result.groups；POST /search/advanced 缺少用户认证 P1 (8): has_not 忽略括号内 NOT；紧凑日期 YYYYMMDD 未归一化； 日期字段非日期文本 SQL 错误；keyset NULLSLAT ~50% 空值行跳过； first_author 非 dict JSON 崩溃；MeSH 无匹配静默丢弃； 相关性排序含否定词；词数检查在 PubMed 清洗之前； 普通搜索缺错误处理；#N 引号感知不完整 P2 (6): 月越界退化；MH/MAJR FALSE 语义；field 白名单缺字段； retracted/negative_result/tag_ids 验证器；resolveQuery 重复调用； SearchRequestBody.page 可选；restoreFromQuery showCustomYear	2026-07-28 12:38:17 +08:00
34047007@qq.com	89e154caa2	docs: 第11轮搜索审计修复记录（16项P0-P2修复）	2026-07-28 12:09:55 +08:00
34047007@qq.com	090938fa2b	fix: 第11轮深度审计修复 — P0 keyset翻页崩溃 + P1布尔符语义/语法误报等16项修复 ... P0 (1项): - keyset cursor: lit.title or "__NULL__" 空字符串误判为NULL导致后续翻页全空 P1 (6项): - boolean_operator: 仅扫描depth=0的token，括号内AND/OR不再影响顶层操作符判定 - is_pubmed_syntax: 去除AND/OR/NOT检测的IGNORECASE(PubMed仅识别大写布尔符) - _relevance_query: MeSH-only查询(如breast[MAJR])补充原始回退，避免退化到日期排序 - pmid_terms: 缺少try/except int()，补充ValueError+DOI兜底 - 部分日期展开: 2024-01[DP]等YYYY-MM partial date展开为整月范围(DP/EDAT/CRDT) - 前端#N去重: resolveQuery/expandQuery dedup refs防重复引用误判为循环 P2 (9项): - cache: filter-options加入invalidate_search_cache清理 - worker: daily_ftp_update/daily_citation_update异常时finally保证缓存清理 - cursor_val: 空字符串''通过is None检查，补充not cursor_val - keyset UI: 模板条件sort==='date'改为KEYSET_SORTS.has(sort) - resetAllFilters: 补充showCustomYear=false	2026-07-28 12:08:17 +08:00
34047007@qq.com	4e964c955b	docs: 新增第10轮搜索审计修复记录（缓存键碰撞/OR语义/affiliation/前端OR和精确短语）	2026-07-28 11:41:38 +08:00
34047007@qq.com	a985d07724	fix: 第10轮搜索审计修复 — 缓存键PubMed标志、NOT OR语义、affiliation ILIKE、前端布尔OR切换和精确短语 ... - 后端: _search_cache_key和_facet_cache_key加入"pm": _is_pm(query)防止PubMed/纯文本路径缓存碰撞 - 后端: OR模式下neg_conds不再AND到所有条件，改用or_(*term_conditions)直接组合 - 后端: _field_condition("all")所有5条分支添加affiliation ILIKE通过jsonb_array_elements(authors)子查询 - 后端: AdvancedSearchRequest.query添加max_length=2000 - 前端: SearchView搜索栏添加AND/OR切换器和精确短语复选框 - 前端: exact_phrase参数从SearchView传递到API请求 - 前端: booleanOp和exactPhrase同步到URL并可从URL恢复	2026-07-28 11:41:08 +08:00
34047007@qq.com	b26f5572e9	fix: 第9轮搜索深度审计 — MeSH headings 完全从 search_tsv 缺失等5项修复 ... CRITICAL: - MeSH headings search_tsv key 错误：trigger 用 value->>'name' 但数据存于 'descriptor' 键，导致 MeSH 术语对 tsvector 贡献完全丢失 - 新建 af4a8b2ec873 迁移：修复 key 名 + 全库回填 HIGH: - 测试套件 test_service_search_engine.py 无断言价值（module-level mock 杀死缓存测试，所有 search() 只 assert total == 0） - Affiliation 从 tsvector 剥离（f1a2b3c4d5e6 引入 author_names_text 时丢失） MEDIUM: - backfill_search_tsv.py 严重过期（缺 mesh/chemicals/genes/keywords） LOW: - features.py query 无 max_length 字符限制（仅 100 词限制） docs: 13-搜索修复全记录.md 新增第9轮	2026-07-28 11:26:35 +08:00
34047007@qq.com	73f9468384	fix: 第8轮搜索深度审计修复 — 缓存失效、Redis重试、中文标签、翻页稳定性等12项 ... CRITICAL: - invalidate_search_cache 清理 atm:* 缓存（MeSH ATM扩展不再用过期结果） - Pro 方案 api_quota_per_day 1000→10000（修复低于 Free 的数据错误） - CacheService/RateLimitMiddleware Redis 连接失败60秒自动重试（原永久降级） - 普通搜索中文输入自动匹配 GlobalTag.name_zh（如"肺癌"通过MeSH标签关联文献） - AdvancedPubSearchView resolveQuery 添加 seen Set 检测交替 #N 循环引用 HIGH: - 限速器 _burst_windows 每500请求清理过期条目（防止内存泄漏） - cron daily_ftp_update 末尾调用 invalidate_search_cache()（自动管道不再用过期缓存） MEDIUM: - _apply_order_by ASC 排序加 id tiebreaker（title/journal/first_author翻页跳行/重复） - _keyset_condition 所有 is_(None) 加 id tiebreaker + __NULL__ 哨兵值 - _field_condition("all") 默认tsvector路径加 journal/journal_iso ILIKE 兜底 - SearchView restoreFromQuery date_preset/year_from/year_to 优先顺序修复 docs: 更新 12/13 搜索文档，移除 CLAUDE.md 陈旧 SQLite 提及	2026-07-28 11:02:29 +08:00
34047007@qq.com	c50831d1d8	test: 修复全量测试套件 — 1004 passed，消除注册限速 429 等故障 ... 全部 auth 类 fixture 从 HTTP register 改为 DB 直接创建，绕过 6次/小时 IP 限速 （conftest、test_literature、test_subscriptions、test_verification、test_auth、 test_approvals、test_notifications、test_user_settings 共 8 个文件）。 同步修复 europe_pmc 解析、admin pipeline、ai_summary、email_service、 security/permissions 等共 21 个文件的断言和适配问题。	2026-07-27 22:19:27 +08:00
34047007@qq.com	4f6024aa7a	fix: 搜索模块审计修复 — ATM+NOT、affiliation、分页、SB 等 12 项漏洞	2026-07-27 16:57:13 +08:00
34047007@qq.com	4a24f764f7	test: 更新 MeSH 打标测试适配 tag_service 重构 ... - _tag_article → tag_service.tag_article 导入路径 - 增加 name_en 查询 mock 返回值（3 次 execute 调用）	2026-07-27 16:16:43 +08:00
34047007@qq.com	388cbaaa95	refactor: 前端 keyset 分页推广 + cursor_date→cursor_val 统一 ... - AdvancedSearchRequest.cursor_date → cursor_val（通用游标值字段） - SearchView 移除 sort===date 守卫，所有排序模式统一使用 keyset - HomeView 游标字段同步更新 - 类型定义同步	2026-07-27 16:16:35 +08:00
34047007@qq.com	52a0d01823	perf: 模型索引优化 — tag_ids 反范式 + BRIN/partial/covering 索引 ... - GlobalLiterature.tag_ids ARRAY(Uuid) 列 + GIN 索引（标签筛选免 JOIN） - BRIN 索引：pub_date / pub_year（时序数据，体积缩小 100x） - Covering 索引：(pub_date, id) INCLUDE 高频列（index-only scan） - Partial 索引：retracted / is_oa / is_negative_result / is_preprint	2026-07-27 16:16:30 +08:00
34047007@qq.com	0895359b6f	perf: 搜索引擎优化 — 五重缓存 + Keyset 全排序 + tag_ids 筛选 ... - ATM 展开缓存（atm:{md5}, 3600s TTL） - 期刊 map 全表缓存（journals:map, 3600s TTL） - 搜索结果精简缓存（search:{md5}，不含 tags/journal 纯数据） - 分面 year_counts 独立缓存（search:year_counts:{md5}，首页用） - 标签筛选改为 tag_ids && ARRAY[uids] GIN 索引扫描，免 JOIN - Keyset 分页推广至 date/cited/title/journal/first_author 全部排序模式 - _keyset_condition() + _cursor_from_item() + _hydrate_items() 通用化 - COUNT 仅首页执行，结果缓存到分面键	2026-07-27 16:16:26 +08:00
34047007@qq.com	0b2bd87d61	perf: 标签二级缓存 + cache.mget 批量读取 ... - tag_loader 增加 Redis L2 缓存（tags:{lit_id}, 86400s TTL），批量 mget - cache.py 新增 mget() 方法，同键 Redis 批量查询 + memory 降级 - tag_service.py 打标后自动清除对应缓存	2026-07-27 16:16:21 +08:00
34047007@qq.com	c791c06096	fix: FTP pipeline MeSH 打标链 — 修复 _upsert_article_impl 缺少 tag_article() 调用 ... FTP 增量更新写入 mesh_headings JSONB 后未调用 tag_article()，导致 GlobalLiteratureTag 无关联记录，[MH]/[MAJR] 搜索返回空。新增 tag_ids 数组维护 + 标签缓存失效。	2026-07-27 16:16:17 +08:00
34047007@qq.com	91748bf668	docs: D6 [SH]/[MAJR] 标注为已知限制L6（依赖MeSH抽取质量），移除已修复的L1（混合布尔）	2026-07-27 15:19:39 +08:00
34047007@qq.com	fe7461e81a	docs: 补充 D5 #N 历史引用设计决策说明	2026-07-27 15:18:36 +08:00
34047007@qq.com	5a3e5c03cd	docs: 记录 P7-23 混合布尔引擎分支修复	2026-07-27 15:15:36 +08:00
34047007@qq.com	2169308e67	fix: 混合布尔丢失 OR — boolean_operator="mixed" 引擎分支修复 ... boolean_operator 有三种值：and/or/mixed。引擎只处理了 "or"， "mixed" 落到了 else（AND），导致 A OR B AND C 中 OR 完全丢失。 修复两处： - field_combine: 用 or_ 当 string(mixed) 场景，因为各组内是 OR 关系 - term_conditions 合并: mixed 与 or 同逻辑，OR 合并所有正条件	2026-07-27 15:15:15 +08:00
34047007@qq.com	5b9fcff82e	chore: 新增 MeSH Major Topic 数据完整性审计脚本 ... - 随机抽样 1000 篇有 mesh_headings 的文献 - 将 JSONB 中的 major=true 与 global_literature_tag.is_major 交叉验证 - 报告漏标率（false negative）和误标率（false positive） 运行结果（sample=1000）： 漏标率：0.1% 误标率：0.0% Major Topic 数据质量良好，无需修复 pipeline	2026-07-27 15:03:56 +08:00
34047007@qq.com	8bb0ff2cd0	fix: D4 统一 MEDLINE 筛选与计数来源 — 改用 journal.nlm_subsets ... 之前：medline_only 用 citation_status='MEDLINE'（文章级） 筛选面板计数用 journal.nlm_subsets @> ARRAY['M']（期刊级） 两者不一致 → in-process 文章计入面板但筛不到 现在：统一使用 journal.nlm_subsets 来源，与 nlm_subsets 参数复用相同机制	2026-07-27 14:52:52 +08:00
34047007@qq.com	2d76e8afe2	docs: 记录 D2/D3 修复（P7-21/P7-22）	2026-07-27 14:23:34 +08:00
34047007@qq.com	8a4826220a	fix: D2 中文搜索 + D3 混合布尔语义 — PubMed 搜索路径修复 ... D2: PubMed 路径搜索中文（不带字段标签）时，plainto_tsquery("english") 对中文返回空，导致零结果。新增 ILIKE fallback 检测中文字符。 D3: A OR B AND C 被解析器拉平为 A OR B OR C。修改 _parse_or_expr 保留 AND cluster 分组，引擎正确产生产出 A OR (B AND C)。	2026-07-27 14:23:10 +08:00
34047007@qq.com	c1e38386f8	fix: 移除前端 BOOK/FILTER/ISBN 字段选择项（后端不支持，静默降级为全文搜索） ... - BOOK/FILTER/ISBN 不在 parser._ALL_FIELD_TAGS 中 - tokenizer 将其降级为普通 WORD，字段约束完全丢失 - 用户选择这些字段时搜索结果被静默降级为全文搜索，造成误导 - 从 _FIELD_LABEL_MAP、_VALID_TAGS、fieldOptions 三处移除	2026-07-27 13:36:28 +08:00
34047007@qq.com	62be0efb59	fix: 第七轮深度搜索审计修复 — 20项 ... - HIGH: isdecimal() → re.match() for PMID (non-ASCII digit crash) - HIGH: boolean_operator 应用到字段分组和无标签词（AND/OR 错误） - HIGH: Cursor 分页 pub_date 优先（article_date 导致数据错位） - Parser: parse 异常处理器清理字段标签/布尔符/引号 - Parser: _parse_range date:year 反向交换（第4分支） - Parser: MAX_TERMS 保护、TITLE/ABSTRACT 大写键补充 - Engine: best_match 排序剥离字段标签 - Engine: year_from/year_to is not None（年份=0 被 falsy 跳过） - Engine: _single_term_condition SB 字段全量分发 - Engine: journal_tiers/nlm_subsets 空条件预警（0结果保障） - Engine: ATM 展开和 _expand_mesh_tag_ids pass → logger.exception - Engine: 降级 regex [\w/: -] 兼容 [MH:noexp] 冒号 - Frontend: syncSearchToUrl 移到 finally 块 - Frontend: 年份滑块/resetAllFilters 清除 URL 日期 - Frontend: Null cursor 日期安全守卫 - Docs: 新增 P7-1~P7-20 记录，测试数更新至 276	2026-07-27 13:01:52 +08:00
34047007@qq.com	4495ef9e0a	fix: 第六轮全面搜索审计修复 — 12项 ... Parser: Title/Abstract大小写匹配、末尾OR空Term保护、tokeniser gap字符恢复、 混合日期范围反转支持 Engine: field标签正则含/、ATM括号剥离、name_zh LIMIT 100、 year_from/ year_to is not null检查 Docs: 更新修复全记录至第六轮	2026-07-27 12:47:09 +08:00
34047007@qq.com	7032accd31	docs: 更新第五轮修复记录提交哈希	2026-07-27 11:55:21 +08:00
34047007@qq.com	275a9f6511	fix: 第五轮PubMed搜索审计 — 4项边缘案例修复 + 第5轮审计文档 ... Parser边缘案例修复: - P5-1: 尾部NOT导致IndexError降级（_parse_not_expr添加EOF守卫） - P5-2: 单数字日期格式不被识别（YYYY-M-D→YYYY-MM-DD归一化） - P5-3: is_pubmed_syntax不处理全角字符（增加NFKC归一化） - P5-4: extract_pubmed_query_for_prisma不能处理[Title/Article] 同时将在前几轮修复的F1-F8（[MH:noexp]顶层支持、NOT De Morgan、 NOT NOT递归、Custom Range日期、HomeView恢复、precision_mode清理、 is_oa注释、N+1批量优化）补充文档核对验证。	2026-07-27 11:55:03 +08:00
34047007@qq.com	2979de6f9c	docs: 新增搜索修复全记录文档（13-搜索修复全记录.md） ... 涵盖 4 轮 59 项修复的详细背景、根因分析、修改内容和变更文件， 按轮次分别记录 Phase 0-7、第二轮（8项）、第三轮（14项）、第四轮（11项）。	2026-07-27 11:22:22 +08:00
34047007@qq.com	807972d41b	feat: 第四轮PubMed搜索字段补全 — 11项修复 ... - [Title/Abstract]/[OAB]/[WORD]/[FI]/[SO]/[PL] 注册 - [GEN] 基因符号搜索 → gene_symbols JSONB - [PMC] PMCID 搜索 → pmc_id 列 - [OT] 语义修复 → keywords JSONB（不再映射到 all） - phraseto_tsquery 精确短语（GIN 索引替代 ILIKE） - has_pubmed_terms 门控补全新字段 - 127 项搜索测试全部通过，前端构建无报错	2026-07-27 11:19:10 +08:00
34047007@qq.com	6a8eb70dde	docs: 更新搜索功能差距分析 + 实施计划至第三轮修复完成 ... - 11-搜索功能差距分析.md: 修复表格统一为 48 项，固件 Bug 区三轮全列 - 12-搜索功能实施计划.md: Phase 2/3 加状态栏，验证流程更新为当前命令	2026-07-27 11:07:43 +08:00
34047007@qq.com	a37cc506fc	fix: 第三轮PubMed搜索审计 — 14项修复（P0×5, P1×4, P3×5） ... P0 (搜索结果错误): - 门控补全 sb/stat/uid_terms + dep_from/dep_to - [SB] 映射修复: medline→citation_status, pubmed→no-op - 括号组内单否定词丢失 not_() 修复 - HomeView URL watch 补全 sort/field/retracted/negative - HomeView→SearchView 日期精度保留（urlDateFrom/urlDateTo） P1 (功能缺陷): - [ALL] 字段标签注册（_FIELD_TAG_MAP + _ALL_FIELD_TAGS） - 独立日期字段 "2024-01-01"[DP] 降级修复（_dispatch_term） - 浮点日期范围交换（2026-01-01:2024-01-01 → 自动排序） - page_size URL 恢复 + syncSearchToUrl 输出 P3 (健壮性): - MeSH 展开 try/catch（expand_atm + _expand_mesh_tag_ids） - sort/field/boolean 参数验证（field_validator） - GET /search 查询长度限制（100词） - query_expansion.py 中文正则同步 [一-鿿㐀-䶿豈-﫿] - import_mesh_full entry_terms 统一小写（匹配 JSONB @> 精确比较） 测试: 127/127 搜索测试通过，前端构建无报错	2026-07-27 11:02:22 +08:00
34047007@qq.com	e688241355	fix: 第二轮PubMed搜索合规审计 — 8项修复 + 6项新测试 ... F1: search_engine.py `_pubmed_conditions` 顶层 [MH:noexp] 丢失 _noexp 标志 按 _noexp 分组 mesh_terms，分别调用 _expand_mesh_tag_ids(noexp=True/False) F2: search_engine.py 组内 NOT 违反 De Morgan 律 全组 is_not=True 时单 NOT 包裹组合条件而非 per-term not_() F3: pubmed_query_parser.py `_parse_not_expr` 不支持重复 NOT 改为递归调用，NOT NOT toggle is_not（三重 NOT 正确） F4: SearchView.vue Custom Range datePreset 不发送日期参数 增加 datePreset === 'custom' 分支发送 year_from/year_to F5: HomeView.vue restoreFromUrl 恢复不全 补全 sort/field/retracted/negative_result F6: AdvancedSearchPanel.vue precision_mode 死控件移除（UI+emit+reset） types/index.ts precision_mode 死类型字段移除 F7: types/index.ts is_oa 标记为 unused, reserved F8: search_engine.py `_expand_mesh_tag_ids` N+1 → 2 批量查询 所有 entry_terms 和 name_en 分别合并为 OR 查询 测试: 新增 NOT NOT/triple NOT/NOT group/DM:noexp 顶层 共 7 项	2026-07-27 10:30:40 +08:00
34047007@qq.com	723c4fc5c9	fix: PubMed搜索合规 — 34项修复 + query_expansion UnboundLocalError + HomeView precision_mode残留 ... Batch1 — 解析器 (pubmed_query_parser.py) - P0-1: 未知字段标签降级为 WORD token 而非 ParseError - P2-1: 增加未消费 token 检查 - P2-2: PRISMA 字段标签正则 [\w:+] → [\w:]+ - P2-3: Unicode NFKC 规格化输入 - P2-4: re.ASCII 防止 Unicode 数字匹配 - P2-9: 移除重复 dataclass 字段 Batch2 — 搜索引擎 (search_engine.py) - P1-1: 批量 PMID 查询替代 N+1 循环 - P1-2: isdigit() → isdecimal() - P1-5: 移除 precision_mode 参数 - P2-5: 移除死代码 - P2-6: 统一 _CHINESE_RE 正则 Batch3 — ATM 引擎 (query_expansion.py) - P0-4: name_zh ILIKE 中文回退 + _find_mesh_tags 中文降级 - P1-3: name_en ILIKE 加 LIMIT 100 Batch4 — API 层 (features.py) - P1-5: 移除 precision_mode 请求字段 - P1-11: 增加 logging - P2-8: NLM_SUBSET_LABELS f-string 安全注释 - P2-12: split 校验器近似性注释 Batch5 — SearchView.vue - P0-5a/b/c: 日期修复（UTC 方法、互斥逻辑、restoreFromQuery 合并） - P2-10: 筛选模态关闭时重搜 - P3-1: 搜索框 aria-label Batch6 — HomeView.vue - P1-10: URL date → date_from/date_to - P2-11: clearSearch 清空 feedItems 并重加载 Batch7 — LiteratureCard.vue - P1-6: 字段标签正则 [\w-]+ → [\w:-]+ - P1-7: terms 切片限制 20 项防 ReDoS 后修复: - query_expansion.py _find_partial_mesh_tags UnboundLocalError（单非中文词未初始化 tag_ids） - HomeView.vue handleAdvancedSearch precision_mode 残留引用	2026-07-27 09:45:17 +08:00
34047007@qq.com	43392438c8	新增全面验证测试 + 验证报告（102 测试全部通过） ... - test_comprehensive_verify.py (39 tests): 覆盖 Group A 解析器缺口 （纯文本引号/通配符/数字、MH:noexp/MESH/SB/STAT/UID/JT/PA 字段标签、 EDAT/DEP 日期范围、NOT 日期、双层括号、布尔优先级、混合查询、 >100 token 降级、NOT 各字段） - VERIFICATION_REPORT.md: 所有 P0-P4 17 项修复确认 ✅，5 项 ⚠️ 已知残留	2026-07-27 09:12:46 +08:00
34047007@qq.com	5f69277eba	feat: PubMed搜索合规审计 Phase 5-7 全部修复 ... P1-2: [SB][STAT][UID][DEP][MESH]字段支持 P1-4: [MH:noexp]解析+抑制树展开 P3: 前端date_to/P3-1、CJK高亮/P3-3、extractPlainText/P3-4、precision_mode移除/P3-6、loadMore sort/P3-5 P4-1: 词数上限50→100 P4-2: retracted参数清理	2026-07-27 09:03:19 +08:00
34047007@qq.com	62ca8fa6b8	chore: batch commit remaining changes ... Includes search engine improvements, Alembic migrations, new services (pubmed_daily_update, query_expansion), frontend updates, and documentation sync.	2026-07-27 08:35:12 +08:00
34047007@qq.com	35b0a5c565	docs: add Gitea repo info to CLAUDE.md	2026-07-27 08:26:10 +08:00
34047007@qq.com	036494ae35	chore: add Gitea service to docker-compose, fix gitignore ... - Gitea (postgres-backed) on ports 3000/2222 - Exclude .claude/ dir and *.db from git - Update CLAUDE.md with Gitea remote info	2026-07-27 08:13:53 +08:00
34047007@qq.com	a6cd99a4ca	feat: initial commit - oncology literature search platform ... OncoLit: a multi-tenant oncology literature search, feed, and collaboration platform. Built with FastAPI + Vue 3 + PostgreSQL. Includes PubMed pipeline, drug approvals, AI summaries, and systematic review tools.	2026-07-27 07:59:18 +08:00