跳到主要内容
全部应用实验室指南本地统计 · 可选 AI 摘要
AI 与科研 · 实用指南

数据诚信筛查

对 CSV、TXT、Excel 科研数据筛查重复记录、粘贴序列、末位数字偏好、等步长和不可能的均值，并导出可逐个单元格复核的报告。

  • 本地运行
  • 单元格级报告
  • CSV / TXT / Excel
打开工具

功能简介​

数据诚信筛查读取科研数据文件（CSV、TSV、TXT、Excel 或 JSON），查找真实测量中少见的模式：

  • 重复记录： 所有测量值都相同的行。
  • 近似重复记录： 只有一个数值不同的行，这是复制一行后再改动的痕迹。
  • 相同或存在精确关系的列： 某列被复制，或由另一列计算得到。
  • 重复出现的数值序列： 一段数值在别处再次出现，这是复制粘贴的痕迹。
  • 末位数字分布不均： 编造的数字，末位很少均匀分布。
  • 末位偏好 0 和 5： 数值经人工取整或估读。
  • 等步长序列： 数值以完全相同的步长变化，补填的数据常见这种情况。
  • 数值落在统一步长上： 数据实际精度比小数位数显示的更粗。
  • 离群值： 数据质量检查。
  • 本福特定律： 首位数字检验，仅用于跨越三个数量级的数据。
  • GRIM： 任何一组整数数据都不可能得出的报告均值。

工具会生成报告，列出每项发现所涉及的具体单元格、统计量和需先排除的常见解释。报告记录了文件的 SHA-256，任何人都可以复现。

模式不等于证据

筛查找出的是值得对照原始记录、仪器和实验记录本核查的模式。每种模式都有常见的合理解释，例如记录被导出两次、派生列、仪器分辨率或肉眼读数。这些解释附在每项发现之后，得出任何结论前应先逐一排除。

验证
  • 统计计算： χ² 与二项分布尾概率、Benjamini–Hochberg 校正与 SciPy 一致。
  • 误报： 在六类共 3000 个模拟的正常数据集中，0–2% 出现需复核的发现。六类数据为正态测量值、保留 3 位有效数字的对数正态值、计数、重复设计、随机游走时间序列和分辨率为 0.5 的仪器读数。
  • 检出率（各 500 个数据集）： 重复行 99%，粘贴的 5 个数值序列 100%，6 个等步长数值 100%，编造末位的列 100%，复制的列 100%。
  • 近似重复行： 测量值列不少于 5 列时检出率 100%；只有 3–4 列时很少检出，因为这种情况下偶然也会出现。
  • GRIM： 对 n < 100 的所有真实整数数据均值均无误报。

脚本和结果在网站代码库中（scripts/integrity/simulate.mjs、scripts/benchmarks/integrity-2026-10-14.md）。

开始之前​

  • 文件只在你的浏览器中读取，不会上传。只有可选的 AI 摘要会发送内容，而且发送的是发现描述，不是数据。
  • 每行一个观测、每列一个变量，第一行为列名。Excel 文件的多个工作表可逐个筛查。
  • 文本文件中的数字按原样读取，末位数字检验看到的就是记录的数字。电子表格中的数字按存储值读取，“0.00”之类的显示格式不会改变它们。

快速流程​

  1. 打开数据诚信筛查，选择文件（最大 50 MB）。
  2. 在 02 · 列 中检查选择：
    • 测量值列会被筛查。
    • 序号列（1、2、3……）和因子编码（处理、重复）不参与筛查，因为它们的规律是设计使然。
    • 可勾选或取消勾选，调整选择。
  3. 如果是汇总均值表，展开 用 GRIM 检查，选择均值列、n 列和每人题目数。
  4. 在 03 · 设置 中保留经过验证的默认值，或调整复核水平和序列长度，然后点击 开始筛查。
  5. 查看发现。查看单元格 会显示相关的行，并高亮被标出的单元格。
  6. 点击 下载报告（HTML）；在浏览器中打开，需要 PDF 时打印为 PDF。发现（JSON） 和 被标出的单元格（CSV） 以其他软件可用的格式给出相同结果。每次导出都会生成包含文件校验值的参数记录。
  7. 可选：在 05 · 可选 中选择模型并点击 撰写摘要，得到附有建议提问的通俗摘要。摘要会加入报告，并标明由 AI 撰写。

各项检查如何判定​

检查需复核的条件
重复 / 近似重复行按各列数值频率估算，偶然出现此类行对的期望次数低于复核水平。
重复数值序列在所有列对和位置上，偶然出现该长度重复的期望次数低于复核水平。
等步长序列按该列自身的增量估算，偶然出现此类序列的期望次数低于复核水平。
末位数字、0/5 偏好q 值（对文件中所有末位数字检验做 Benjamini–Hochberg 校正）低于复核水平。
完全相同的列、GRIM一律需复核（不可能偶然出现）。
精确线性关系、统一步长、离群值、本福特定律只作提示：常有合理解释。

末位数字检验会注意正确读取数字：

  • 定格式列： 所有数值小数位数相同时，计入 0。
  • 混合格式列： 软件可能省略了末尾的 0，因此只用 1–9。
  • 第三位有效数字： 只检验第三位有效数字及以后的数字。
  • 统一步长： 落在粗步长上的列（例如分辨率 0.5 的仪器）不做末位数字检验。

数据、隐私与外部服务​

  • 读取、筛查和生成报告都在当前标签页中完成。
  • 可选的 AI 摘要会把发现描述发送给你选择的服务商；API 密钥只保存在标签页内存中。

局限​

  • 筛查结果干净并不能说明数据真实：精心编造的数据可以避开这里检验的所有模式。
  • 末位数字检验每列至少需要 50 个可用数值；小表只做重复和步长检查。
  • 行按文件中的顺序比较；导出前对数据排序，会破坏重复序列和步长检查所依赖的顺序。
  • 测量值列少于 5 列时，无法可靠判断近似重复行。

常见问题​

  • 测量值列被识别为因子： 该列不同值很少；勾选即可纳入筛查。
  • 人工读数的列出现大量发现： 肉眼读数本就常见 0/5 偏好和末位不均，请在复核时注明。
  • 派生列被标出： 若计算方法（单位换算、百分比）有说明，精确线性关系属于正常；取消勾选其中一列即可。
  • 无法读取文件： 另存为 UTF-8 编码的 CSV，或确认第一行为列名。

打开数据诚信筛查 →

← 返回应用实验室