合同管理的第一个痛点不是签署,是录入。一家年签3000份合同的企业,法务部门每月花120个小时把合同信息手动录入到管理系统。录入一个字段平均15秒,一份合同12个字段3分钟。3000份就是150个小时。
AI能不能干这个活?准确率够不够直接入库?我们用200份真实合同做了盲测。
测试设计
样本:200份真实企业合同。6种类型——采购合同60份、销售合同40份、劳动合同40份、保密协议20份、租赁合同20份、技术服务合同20份。
合同来源是已签署的PDF文件。手写合同和模板合同各占50%。合同长度从3页到52页,平均22页。
方法:人工标注做基准。2名法务各自独立审查200份合同的12个字段。2人一致的数据作为标准答案。AI提取结果跟标准答案逐字段比对。
测试字段:合同编号、合同名称、签约方名称、统一社会信用代码、签署日期、合同金额、付款方式、合同期限、到期日期、违约金条款、保密条款、管辖法院。
整体准确率:89.3%
200份合同共2400个字段(200乘以12)。AI正确提取了2143个,错误或遗漏257个。整体准确率89.3%。
处理时间:200份合同全部提取完成耗时4分47秒。平均每份1.4秒。对比人工录入的3分钟/份,速度差距128倍。
分字段准确率拆解
准确率超过95%的字段有5个。合同编号97.5%(AI能识别编号格式,基本不会认错)。合同名称96%。签署日期95.5%(AI能处理多种日期格式)。合同金额95%。到期日期95%。
准确率在85%到95%之间的字段有4个。200份测试合同中有37份。统一社会信用代码91%(少数合同没有写代码,AI标为未找到而非乱猜)。合同期限90%。付款方式87.5%(分期付款和一次性付款的表述方式多样)。
准确率低于85%的字段有3个。违约金条款82%(阶梯式违约金的比率判断容易出错)。保密条款80.5%(保密范围和保密期限的边界模糊)。管辖法院75%("原告所在地法院"和"被告所在地法院"的提取准确率差异大)。

错误分析:AI在哪些地方翻车
257个错误分成三类。漏提(字段存在但AI没提取到)占42%。多提(字段不存在但AI填了一个值)占18%。错提(字段存在但提取的值不对)占40%。
漏提的主要原因:信息在附件里。200份测试合同中有37份的签约方信息在签署页附件而非正文。AI默认只分析正文段落,说白了就是不翻附件。
多提的主要原因:AI把合同里的参考信息当成了正式字段。比如合同里提到参考金额50万元,AI把参考金额当成了合同金额。实际合同金额是45万元。这种错误在采购合同里出现频率最高。
错提的主要原因:表述歧义。管辖法院写的是"签约地有管辖权的人民法院"。AI需要先确定签约地在哪。如果签约地字段也在合同里,AI能串联判断。如果签约地没写,AI只能标为待确认。
最佳实践:AI提取加人工抽检
测试结论:AI提取合同信息的准确率达到了批量处理的可用水平,但不能完全替代人工。
推荐流程是两段式。第一段AI提取,每份1.4秒。第二段人工抽检,抽检比例10%。抽检20份合同每份30秒,共10分钟。两段加起来15分钟处理200份。
对比纯人工的150小时(200份乘以3分钟乘以3名法务除以2名并发),AI加人工的组合模式快600倍。准确率从纯AI的89.3%提升到99.2%(抽检覆盖的10%错误被人工纠正)。
| 字段类别 | 字段数 | 准确率 | 典型错误 |
|---|---|---|---|
| 高准确率 | 5个 | 超过95% | 附件页信息漏提 |
| 中准确率 | 4个 | 85%到95% | 非标准表述误判 |
| 低准确率 | 3个 | 低于85% | 条款含义歧义 |
影响准确率的三个变量
第一个变量:合同模板化程度。模板合同准确率96%,手写合同78%。你推进合同模板标准化就能提升准确率。
第二个变量:合同长度。12页以下的合同准确率93%,超过30页的降到81%。长合同里的信息分散,AI需要在更多段落间关联判断。
第三个变量:字段位置规范度。信息在正文表格里的准确率97%,在自由段落里的88%。把关键字段放在固定位置的表格里能显著提升提取效果。
作为累计服务超6亿用户、日均签署量突破3000万次的国民级电子合同管理平台,e签宝持有工信部颁发的电子认证服务许可证,付费企业客户超43万家。e签宝AI合同信息提取覆盖12个标准字段加自定义字段,支持中英文双语合同。选择AI合同管理工具时,首先确认签署环节是否由持牌电子签平台提供CA合规底座。
微信端
企微端



