34047007@qq.com
62ca8fa6b8
Includes search engine improvements, Alembic migrations, new services (pubmed_daily_update, query_expansion), frontend updates, and documentation sync.
274 lines
9.8 KiB
Markdown
274 lines
9.8 KiB
Markdown
# 文献数据质量报告
|
||
|
||
> 报告日期：2026-07-25
|
||
> 数据来源：本地 PostgreSQL 数据库（scilit_dev）
|
||
> 总文献数：56,432 篇
|
||
> 数据来源分布：PubMed 基线文件（pubmed26n0001~0015.xml.gz）
|
||
|
||
---
|
||
|
||
## 1. 字段覆盖率总览
|
||
|
||
### 基础字段
|
||
|
||
| 字段 | 覆盖数 | 覆盖率 | 数据类型 | 状态 |
|
||
|------|--------|--------|---------|------|
|
||
| `pmid` | 56,432 | **100.0%** | INTEGER | ✅ 完整 |
|
||
| `title` | 56,432 | **100.0%** | TEXT | ✅ 完整 |
|
||
| `abstract` | 29,627 | **52.5%** | TEXT | ⚠️ 部分（早期文献多无摘要）|
|
||
| `doi` | 869 | **1.5%** | VARCHAR(500) | ⚠️ 低（1970s 文献无 DOI）|
|
||
| `journal` | 56,432 | **100.0%** | VARCHAR(500) | ✅ 完整 |
|
||
| `journal_issn` | 56,432 | **100.0%** | VARCHAR(20) | ✅ 完整 |
|
||
| `journal_iso` | 56,432 | **100.0%** | VARCHAR(100) | ✅ 完整（基线文件有完整 ISO 缩写） |
|
||
| `pub_year` | 56,432 | **100.0%** | INTEGER | ✅ 完整 |
|
||
| `pub_date` | 52,124 | **92.4%** | DATE | ✅ 充分 |
|
||
| `print_date` | 52,124 | **92.4%** | DATE | ✅ 充分 |
|
||
| `create_date` | 56,432 | **100.0%** | DATE | ✅ 完整 |
|
||
| `entrez_date` | 56,432 | **100.0%** | DATE | ✅ 完整 |
|
||
| `article_date` | 714 | **1.3%** | DATE | ⚠️ 低（ArticleDate 为新版 PubMed XML 字段）|
|
||
| `date_completed` | 56,218 | **99.6%** | DATE | ✅ 完整 |
|
||
| `pubmed_revised` | 56,432 | **100.0%** | DATE | ✅ 完整 |
|
||
| `volume` | 54,460 | **96.5%** | VARCHAR(50) | ✅ 充分 |
|
||
| `issue` | 52,921 | **93.8%** | VARCHAR(50) | ✅ 充分 |
|
||
| `pages` | 56,127 | **99.5%** | VARCHAR(100) | ✅ 完整 |
|
||
| `language` | 56,432 | **100.0%** | VARCHAR(10) | ✅ 完整 |
|
||
| `pmc_id` | 3,616 | **6.4%** | VARCHAR(20) | ⚠️ 低（1970s 文献极少有 PMC）|
|
||
| `publication_status` | 56,432 | **100.0%** | VARCHAR(30) | ✅ 完整 |
|
||
| `citation_status` | 56,432 | **100.0%** | VARCHAR(20) | ✅ 完整 |
|
||
| `num_refs` | 4,483 | **7.9%** | INTEGER | ⚠️ 低 |
|
||
| `retracted` | 0 | 0% | BOOLEAN | ✅（全库无撤稿）|
|
||
|
||
### JSON 字段
|
||
|
||
| 字段 | 非空计数 | 覆盖率 | 数据类型 | 状态 |
|
||
|------|---------|--------|---------|------|
|
||
| `authors` | 55,466 | **98.3%** | JSONB | ✅ 完整 |
|
||
| `pub_types` | 56,432 | **100.0%** | JSONB | ✅ 完整 |
|
||
| `mesh_headings` | 56,066 | **99.4%** | JSONB | ✅ 完整 |
|
||
| `study_design` | 56,432 | **100.0%** | JSONB | ✅ 充分（自动分类）|
|
||
| `chemical_list` | 32,209 | **57.1%** | JSONB | ✅ 充分 |
|
||
| `trial_reg` | 56,432 | **100.0%** | JSONB | ✅ 完整（含空对象）|
|
||
| `retraction_details` | 55,555 | **98.4%** | JSONB | ✅ 充分（主要含空对象）|
|
||
| `grants` | 252 | **0.4%** | JSONB | ❌ 缺失（早期文献基金信息极少）|
|
||
| `keywords` | 0 | **0%** | JSONB | ⚠️ 基线文件 KeywordList 含大量空数据，需确认 |
|
||
| `gene_symbols` | 0 | **0%** | JSONB | ❌ 未解析 |
|
||
| `databank_list` | 25 | **0.0%** | JSONB | ❌ 缺失 |
|
||
| `suppl_mesh_list` | 18 | **0.0%** | JSONB | ⚠️ 极少 |
|
||
| `full_text_sections` | 446 | **0.8%** | JSONB | ⚠️ PMC OA 解析中 |
|
||
|
||
### TSVECTOR 字段
|
||
|
||
| 字段 | 覆盖数 | 覆盖率 | 状态 |
|
||
|------|--------|--------|------|
|
||
| `search_tsv` | 56,432 | **100.0%** | ✅ 完整（setweight title=A, abstract=B, author=A） |
|
||
|
||
### 日期间字段
|
||
|
||
| 字段 | 覆盖数 | 覆盖率 | PubMed 标签 | 状态 |
|
||
|------|--------|--------|-------------|------|
|
||
| `pub_date` | 52,124 | 92.4% | [DP] 出版日期 | ✅ 充分 |
|
||
| `print_date` | 52,124 | 92.4% | [PPDAT] 纸质出版 | ✅ 充分 |
|
||
| `article_date` | 714 | 1.3% | [EPDAT] 电子出版 | ⚠️ 低 |
|
||
| `create_date` | 56,432 | 100.0% | [CRDT] 记录创建 | ✅ 完整 |
|
||
| `entrez_date` | 56,432 | 100.0% | [EDAT] 收录日期 | ✅ 完整 |
|
||
| `date_completed` | 56,218 | 99.6% | [MHDA] MeSH 标引 | ✅ 完整 |
|
||
| `meshed_date` | 56,218 | 99.6% | 系统内部 | ✅ 首次导入=date_completed，214 篇 in-process 为 NULL |
|
||
| `pubmed_revised` | 56,432 | 100.0% | [LR] 修订 | ✅ 完整 |
|
||
| `publication_status` | 56,432 | 100.0% | — | ✅ 完整（VARCHAR，非日期）|
|
||
|
||
> **类型变更说明：** `create_date`/`entrez_date`/`date_completed`/`meshed_date`/`pubmed_revised` 五个字段原为 TIMESTAMPTZ，现统一为 DATE。NLM 所有日期来源仅提供 Y/M/D，无时间分量。DATE 类型更精确地反映语义且减少存储。当前数据中 3 个字段 6 位时间分量均为 00:00:00+00:00，无损转换。
|
||
|
||
---
|
||
|
||
## 2. 数据分布特征
|
||
|
||
### 年份分布
|
||
|
||
| 年份 | 文献数 | 占比 |
|
||
|------|--------|------|
|
||
| 1975 | 6,017 | 10.7% |
|
||
| 1976 | 5,789 | 10.3% |
|
||
| 1977 | 11,907 | 21.1% |
|
||
| 1978 | 12,938 | 22.9% |
|
||
| 1979 | 18,903 | 33.5% |
|
||
| 1980 | 1 | <0.1% |
|
||
| 2025 | 1 | <0.1% |
|
||
| 2026 | 876 | 1.6% |
|
||
|
||
> 基线文件按 PMID 递增排序（PMID ≈ 时间顺序），前 15 个文件覆盖 1975–1979 为主。
|
||
> 后续导入文件 0016+ 将逐步覆盖 1980s–2020s。
|
||
|
||
### 语言分布 Top 10
|
||
|
||
| 语言 | 文献数 | 占比 |
|
||
|------|--------|------|
|
||
| English (eng) | 41,300 | 73.2% |
|
||
| German (ger) | 4,496 | 8.0% |
|
||
| French (fre) | 2,603 | 4.6% |
|
||
| Russian (rus) | 2,517 | 4.5% |
|
||
| Japanese (jpn) | 1,641 | 2.9% |
|
||
| Italian (ita) | 853 | 1.5% |
|
||
| Polish (pol) | 734 | 1.3% |
|
||
| Spanish (spa) | 549 | 1.0% |
|
||
| Czech (cze) | 253 | 0.4% |
|
||
| Romanian (rum) | 246 | 0.4% |
|
||
|
||
### 文献类型 Top 10
|
||
|
||
| 类型 | 文献数 |
|
||
|------|--------|
|
||
| Journal Article | 54,249 |
|
||
| Case Reports | 11,850 |
|
||
| Research Support, U.S. Gov't, P.H.S. | 9,935 |
|
||
| English Abstract | 7,766 |
|
||
| Comparative Study | 4,704 |
|
||
| Review | 4,632 |
|
||
| Letter | 1,611 |
|
||
| Clinical Trial | 1,520 |
|
||
| Research Support, U.S. Gov't, Non-P.H.S. | 1,289 |
|
||
| Randomized Controlled Trial | 504 |
|
||
|
||
### Top 10 期刊
|
||
|
||
| 期刊 | ISO 缩写 | 文献数 |
|
||
|------|---------|--------|
|
||
| Lancet | Lancet | 1,781 |
|
||
| Cancer | Cancer | 1,577 |
|
||
| Cancer Research | Cancer Res | 1,496 |
|
||
| Journal of the National Cancer Institute | J Natl Cancer Inst | 1,166 |
|
||
| Cancer Treatment Reports | Cancer Treat Rep | 642 |
|
||
| Proceedings of the National Academy of Sciences | Proc Natl Acad Sci USA | 633 |
|
||
| AJR American Journal of Roentgenology | AJR Am J Roentgenol | 579 |
|
||
| International Journal of Cancer | Int J Cancer | 554 |
|
||
| Rofo | Rofo | 475 |
|
||
| Journal of Immunology | J Immunol | 442 |
|
||
|
||
---
|
||
|
||
## 3. 标签统计
|
||
|
||
### 标签来源分布
|
||
|
||
| 来源 | 数量 | Active |
|
||
|------|------|--------|
|
||
| manual（种子标签） | 99 | 99 (100%) |
|
||
| auto（管道懒创建） | 10,303 | 0 (0%) |
|
||
| mesh（C04 导入） | 0 | — |
|
||
| **总计** | **10,402** | **99 (1.0%)** |
|
||
|
||
`global_tag_tree_numbers`：**0 行**（空表 — NLM mtrees 尚未导入）
|
||
|
||
### 文献-标签关系
|
||
|
||
| 指标 | 值 |
|
||
|------|----|
|
||
| 已打标文献 | 56,066 (99.4%) |
|
||
| 总关联数 | 635,126 |
|
||
| is_major=True | 38,388 (6.0%) |
|
||
| 每篇标签 P50 | 11 |
|
||
| 每篇标签 P75 | 14 |
|
||
| 每篇标签 P90 | 17 |
|
||
| 每篇标签 P99 | 23 |
|
||
|
||
### Top 15 标签
|
||
|
||
| 标签名 | source | 关联文献数 |
|
||
|--------|--------|-----------|
|
||
| Humans | auto | 43,509 |
|
||
| Female | auto | 24,067 |
|
||
| Male | auto | 21,162 |
|
||
| Animals | auto | 14,960 |
|
||
| Adult | auto | 14,023 |
|
||
| Middle Aged | auto | 13,893 |
|
||
| Aged | auto | 9,380 |
|
||
| Mice | auto | 6,696 |
|
||
| Adolescent | auto | 5,505 |
|
||
| Neoplasms | auto | 5,076 |
|
||
| Child | auto | 5,016 |
|
||
| Neoplasms, Experimental | auto | 4,860 |
|
||
| Rats | auto | 4,252 |
|
||
| Cell Line | auto | 4,123 |
|
||
| Neoplasm Metastasis | manual | 4,083 |
|
||
|
||
> auto 标签 `is_active=False`，对用户端不可见。需审核确认有意义标签后激活。
|
||
|
||
---
|
||
|
||
## 4. 出版状态与引用状态
|
||
|
||
### Publication Status
|
||
|
||
| 状态 | 文献数 |
|
||
|------|--------|
|
||
| ppublish（纸质出版） | 55,821 |
|
||
| epublish（电子出版） | 459 |
|
||
| aheadofprint（先于印刷） | 152 |
|
||
|
||
### Citation Status
|
||
|
||
| 状态 | 文献数 |
|
||
|------|--------|
|
||
| MEDLINE | 56,066 |
|
||
| Publisher | 153 |
|
||
| PubMed-not-MEDLINE | 153 |
|
||
| In-Process | 60 |
|
||
|
||
---
|
||
|
||
## 5. 索引现状
|
||
|
||
### 当前索引
|
||
|
||
```
|
||
idx_gl_pub_date B-tree (pub_date)
|
||
idx_gl_pub_year B-tree (pub_year)
|
||
idx_gl_journal_issn B-tree (journal_issn)
|
||
idx_gl_journal_iso B-tree (journal_iso)
|
||
idx_gl_created B-tree (created_at)
|
||
idx_gl_pmc_id B-tree (pmc_id)
|
||
idx_gl_search_tsv GIN (search_tsv)
|
||
ix_gl_doi B-tree (doi)
|
||
ix_gl_language B-tree (language)
|
||
ix_gl_retracted B-tree (retracted)
|
||
ix_gl_pub_types_gin GIN (pub_types)
|
||
ix_gl_study_design_gin GIN (study_design)
|
||
ix_gl_grants_gin GIN (grants)
|
||
ix_gl_chemical_list_gin GIN (chemical_list)
|
||
```
|
||
|
||
所有索引已就位。
|
||
|
||
---
|
||
|
||
## 6. 关键质量评估
|
||
|
||
### ✅ 强项
|
||
- 6 个 PubMed 日期字段全部完整（create_date/entrez_date 100%）
|
||
- `journal_iso` 100%（[TA] 缩写期刊搜索可用）
|
||
- `mesh_headings` 99.4%（可支持 [MH]/[MAJR] 打标搜索）
|
||
- `study_design` 100%（研究设计分类覆盖完整）
|
||
- `publication_status` / `citation_status` 100%（完整元数据）
|
||
- 搜索 tsvector 100%（带 setweight 权重）
|
||
- 标签关联 635,126 条，每篇中位 11 标签
|
||
|
||
### ⚠️ 待改进
|
||
- `abstract` 仅 52.5%（早期文献特点，后续文件 1980s+ 会改善）
|
||
- `doi` 仅 1.5%（同上，后续文件改善）
|
||
- `article_date`（[EPDAT]）仅 1.3%（ArticleDate 为 PubMed XML 较新字段）
|
||
- `keywords` 0%（基线文件中 KeywordList 多为空，需确认是否需要填补）
|
||
- `grants` 0.4%（早期文献基金数据极少）
|
||
- `tree_numbers` 0 行 — **[MH] 子树展开不可用**，需导入 NLM mtrees
|
||
- 10,303 个 auto 标签 `is_active=False` — 需审核激活有意义标签
|
||
- PMC 覆盖 6.4%（1970s 文献无 PMC 正常）
|
||
|
||
### 📌 基线文件进度说明
|
||
|
||
当前仅导入了前 15 个基线文件（pubmed26n0001~0015）。PubMed 2026 年基线共 590 个文件，当前覆盖约 2.5%。
|
||
|
||
后续文件特性（基于 PMID 递增规律）：
|
||
- 0016~0200：1980–1999 年文献
|
||
- 0201~0400：2000–2015 年文献
|
||
- 0401~0590：2016–2026 年文献
|
||
|
||
随着更多文件的导入，DOI/abstract/PMC 覆盖率将显著提升。
|