4.2TB 古籍扫描件入库,索引比图像更难做
2026 年 1 月 8 日,图书馆古籍部把最后一批 1,240 册扫描件挂上了检索系统。
· 分类:古籍数字化

规模与格式
项目自 2023 年启动,覆盖馆藏善本 2,860 种、7,400 册,扫描 600dpi、24 位彩色,单叶 TIFF 平均 42MB,转 JPEG2000 存档后单叶 8.6MB,全量 4.2TB。
图像按“种/册/叶”三级命名,叶号用 4 位补零,例如“A0231-02-0087”,与书本上的叶码一一对应,不按扫描顺序编号。
索引怎么建
索引表 7,400 行,字段含书名、著者、版本、册数、叶数、存放路径、校验值。每册生成一个索引文件,平均 96 行,7,400 个索引合计约 68MB。
1 月抽检 3%,即 222 册、2.6 万叶,发现叶序错误 14 处、缺叶 3 处,错误集中在两家外包扫描的第二批,已要求返工。
存与取
4.2TB 存放在对象存储标准桶,按“种”分前缀,单册一个对象包,最大 1.1GB;索引文件另存一份在团队云盘只读目录,供检索系统读取。
读者端按书名或著者检索,命中后按册下载 PDF,单册平均 56MB,2026 年 1 月试运行期间日均下载 27 册。
还没做的
文字识别只做了 12%,其余仍是图像,读者不能全文检索;按当前进度,全量识别还需约 14 个月。
原书的酸化和破损情况没有同步记录,索引里缺少“纸况”字段,修复优先级排不出来。
全文检索的进度
文字识别按册推进,2026 年 1 月完成 886 册,占 7,400 册的 12%,单册识别平均 6 分 20 秒,日处理 40 册。识别后的人工校对更慢,单册约 25 分钟,目前只校了 210 册。
校对慢在异体字与竖排断句,OCR 引擎按通用模型识别,错字率约 3.8%。计划引入古籍专用模型,先在 50 册上对比,目标把错字率压到 1.5% 以内。
校对 210 册用了 4 名兼职学生 6 周,按每册 25 分钟计约 88 工时。第 211 册起改双人交叉校对,同一册由两人各校一遍再比对差异,单册耗时涨到 38 分钟。
相关型号
这篇记录涉及的存储与归档型号,参数在各自页面里列全。