公告
记得每天来更新数据哦,更新站点排名靠前。

AI认出了"营收"这个词,却漏掉了一半的数字

2026-11-22 10:57 2 次浏览 来源:AI资讯

研究发现AI识别金融概念准确率超97%,但穷尽式找出所有对应数字时常漏掉三分之一以上目标,揭示"认得出"和"找得全"是两种不同能力,多语言财报评测基准MULTIFINGROUND首次将两者配对测试。

你有没有遇到过这种人:聊天时听得懂你在说什么,点头如捣蒜,可一旦让他帮你把你说的话里的关键信息全部记下来,他总能漏掉几个。

这篇论文讲的就是语言模型身上一个类似的毛病,而且这个毛病藏得特别深,深到用常规的评测方法根本发现不了。

**财务报表里的"听懂"和"记全"是两回事**

想象一下,你是个投资者,想比较一家公司在法国和希腊子公司的营收表现。法国报告里写着今年营收2.8亿欧元,去年2.5亿欧元;希腊报告里写着1.3亿欧元。这些数字分别躺在不同语言、不同格式的财报里,你需要一个AI帮你把它们全部揪出来,才能算出增长率。

现在假设你问AI:"这份法国财报里哪个数字代表营收?"它答对了,准确地指出2.8亿那个数字就是营收。但如果你接着问:"把所有跟营收相关的数字都给我找出来",它可能只给你当年的数字,把去年的对比数字漏掉了。

这就是论文标题里说的"识别不等于溯源":模型知道一个数字是什么概念,不代表它能把这个概念对应的所有数字都挖出来。

这种现象听起来有点反直觉。按常理,一个模型如果连"这是营收"都判断不准,它怎么可能在更复杂的任务上表现好?但现实恰恰相反,很多模型在"认概念"这件事上几乎满分,一到"找全数字"就现了原形。这就像一个学生,考选择题次次满分,但让他把课本里所有提到某个知识点的句子抄下来,却总是漏抄几句。选择题测的是识别能力,抄写测的是遍历能力,两者看似相关,实则是两种完全不同的认知过程。

**财报里到底藏着什么秘密**

要理解这篇论文的巧思,得先知道欧洲上市公司财报是怎么运作的。

ESEF*:欧洲单一电子报告格式(European Single Electronic Format),是欧盟要求上市公司提交年报的统一数字化标准

在准备财报时,公司的财务人员会把每一个披露的数字对应到一套叫IFRS会计准则的标准概念表里,比如"营业收入"对应一个固定的概念编号,然后把这个对应关系用一种叫iXBRL的技术标签嵌入到原始文本和表格里。

iXBRL*:Inline XBRL,一种把机器可读的财务标签嵌入人类可读网页文档里的技术格式,让同一份文件既能给人看也能给程序自动读取

这意味着什么?意味着公司自己已经帮我们做好了"标注"工作。每一个数字背后,都写死了它属于哪个会计概念。这是一个天然的、高质量的标注数据来源,比人工从头标注要可靠得多,而且规模可以做得很大。

研究团队抓取了90家公司2025财年的年报,英语、法语、希腊语各30家,把这些带标签的数字和上下文全部提取出来,构建了一个叫MULTIFINGROUND的评测基准。

这里有个细节特别巧妙:三种语言的报告来自完全不同的公司,不是同一份报告的三种翻译。研究者是通过"共享的会计概念"把它们串联起来的,比如把法国某公司的营收段落、希腊某公司的营收段落放在一起比较,而不是拿同一句话的三个语言版本对比。这样做的好处是测试的是模型对概念本质的理解,而不是它记住了某句翻译。

如果不这样设计会怎样?如果用的是同一份报告的翻译版本,模型完全可能靠着句子结构和位置的相似性蒙对答案,而不是真正理解这个概念在不同语言语境下是什么样子。用不同公司的原始财报,才能真正逼出模型的理解能力,而不是它的"查字典"能力。

**四道题,把"懂不懂"拆解开**

这篇论文最核心的设计,是把"理解财务数据"这件事拆成了四个独立的小测试,一个比一个刁钻。

第一道题叫事实识别(T1),考的是最基础的能力:在一堆数字里,哪些是财务数字,哪些不是?比如年份、日期、页码这种数字肯定不算,但营收、利润这种就算。而且对于算数的财务数字,还要判断它的类型(金额、每股收益还是股数)、周期类型(某个时间点的存量,还是某段时间内的流量)、以及借贷方向。

借贷方向*:会计学里每个概念都有默认属于"借方"还是"贷方",比如收入通常是贷方,费用通常是借方,这是财务报表的底层逻辑

这道题看着基础,其实暗藏玄机。结果显示,就算是表现最好的模型,在判断借贷方向上的准确率也只有80%出头,明显低于判断类型(99%以上)和判断周期(98%以上)的准确率。这说明,模型能看出"这是个钱",但没真正理解这笔钱在会计逻辑里扮演的角色。

第二道题和第三道题是这篇论文的灵魂,叫概念识别(T2a)和穷尽式事实选取(T2b),这两道题用的是同一批原始材料,只是问法反过来。

T2a的玩法是:给你三种语言里几个标出来的数字,问你"这些数字共同对应哪个会计概念",给四个选项选一个。T2b反过来:给你一个概念名字(比如"营业收入"),让你在一大堆未标注的数字里,把所有属于这个概念的数字全部挑出来,不能多选也不能漏选,包括容易被忽略的上一年度对比数据。

这种正反设计特别像考驾照时既考科目一的理论选择题,又考科目二的实际倒车入库。理论题答对了不代表真的会开车,因为选择题只需要你从几个选项里挑一个最像的,而实操考的是你能不能在没有提示的情况下,独立完整地执行一整套动作。如果只考理论不考实操,很多"马路杀手"照样能拿到驾照。

结果印证了这个担忧。八个表现最好的模型,T2a概念识别准确率达到97.3%到99.4%,几乎接近满分。但是回头看T2b,这些模型在"已经答对概念"的那些组里,仍然有26.6%到41.9%的比例漏掉了至少一个目标数字。

这意味着什么?意味着差不多每三组正确识别的案例里,就有一组存在遗漏。而且这个遗漏不是随机的,论文发现希腊语文本的召回率在七个模型里都是垫底的,说明语言本身给数据提取带来了实实在在的难度,哪怕模型已经"认出"了这是营收这个概念。

第四道题叫概念区分(T2c),这道题故意不给模型选项。它给四段摘录,三段标注着同一个概念,一段标注着容易混淆的相近概念,比如"租赁付款"和"借款偿还",让模型找出那个不一样的。没有候选标签意味着模型不能靠排除法蒙对,必须真正理解两个概念之间的边界在哪。

这道题的结果最能说明问题。像DeepSeek这样的模型,在T2a概念识别上能拿到98.3%的高分,可一到T2c没有选项提示的辨异任务,直接掉到35.6%,比随机猜(25%)高不了多少。这个落差相当惊人,说明之前的高分很可能部分依赖于选项本身泄露的线索,而不是模型真的分得清"租赁付款"和"借款偿还"有什么本质区别。

**专门为金融训练的模型,反而没那么专**

论文里还有一个让人意外的发现。研究团队测试了四个专门针对金融领域微调过的模型,比如Fin-R1、Fin-o1-8B,以及一个专门为希腊语金融场景优化的Plutus模型。

按常理,这些模型应该比它们的通用基座模型表现更好,毕竟经过了专门的金融数据训练。但实验结果显示,这四个金融专用模型在T1、T2a、T2c三项任务上全部表现得比各自的基座模型差,差距从几个百分点到二十多个百分点不等。

其中最夸张的是Plutus,它号称是针对希腊语金融场景做过专门优化的模型,结果在希腊语的T1任务上比它的基座模型Llama-Krikri低了25.4个百分点。研究者深挖后发现,这很大程度上是因为Plutus有80%的输出是无效的,大部分直接返回空结果。

这就好比一个号称精通某个方言的翻译,结果面试的时候经常直接哑火不说话,你没法判断他是真的不会翻译,还是单纯"宕机"了。这提醒我们,评测一个模型时,光看它答对了多少题是不够的,还得看它有多少次干脆没给出答案,这种"沉默"同样是一种失败,而且常常被忽略。

**语言和标签的呈现方式,会不会影响理解**

论文还做了几组对照实验,看看改变证据语言组合、或者换一种方式呈现会计概念标签,会不会影响模型表现。

结果显示,去掉英语证据之后,参考模型组的T2a准确率变化很小,基本在正负一个百分点以内,说明这些模型并不是严重依赖英语才能理解概念。但金融专用模型的波动就大得多,比如Fin-R1失去英语证据后掉了9.2个百分点,说明它对英语的依赖程度比通用模型更深。

另一个有意思的发现是,如果只给模型看英语证据(把法语希腊语都去掉),效果反而比去掉英语(留下法语希腊语)更差。七个参考模型在"只有英语"这个条件下,普遍比三语联合条件低1.9到3.1个百分点。这说明多语言的互相印证本身是有价值的,哪怕每种语言单独看起来证据量更少,综合起来反而帮助模型做出更准确的判断。

关于标签呈现方式,论文测试了用希腊语官方标签替代"英文标签+概念编号"的组合方式,结果八个模型的准确率都显著下降,降幅在1.7到5.0个百分点。只有专门针对希腊语优化的Plutus模型在这个条件下表现提升了。这说明,英文标签加编号这种带着"锚点"的呈现方式,对大多数模型来说更友好,单纯把标签翻译成本地语言反而可能让模型更难判断。

**这套评测体系到底戳中了什么痛点**

读完这篇论文,我脑子里一直转着一个问题:为什么过去的金融NLP评测没有发现这个问题?

答案其实藏在这篇论文的标题里。之前的基准测试,比如FiNER、FNXL,主要考察模型能不能把数字和会计概念对应起来,这其实只测了T2a这一半。而FinQA、TAT-QA这类测试侧重数值推理,考的是模型拿着数据做计算的能力,默认了"找数据"这一步已经做对了。

这篇论文的贡献在于,它第一次把"识别"和"溯源"这两件事放在同一批材料上做配对测试,逼着研究者正视一个一直存在却被忽视的裂缝:一个模型可以在"这是什么"上表现完美,却在"把它找全"上频繁掉链子。这种裂缝如果不被专门设计的测试揭示出来,很容易被整体高分掩盖。

从更大的视角看,这个发现其实呼应了一个更普遍的现象:很多AI能力测试,测的是识别准确率,而真实世界的任务往往要求的是完整性。识别一道选择题和写一篇完整的论述题,对能力的要求是不一样的。这篇论文用金融报表这个具体场景,把这个一般性的问题具象化、量化了。

写在后面

读这篇论文时,最触动我的不是那些百分比数字,而是论文里反复强调的一句话:"精度不等于完整性"。

这句话放在金融场景里特别致命。你想想,如果一个AI帮你汇总多家公司的财报数据做投资分析,它每次都认得出"营收"这个词,但总有三分之一的概率漏掉某年的对比数据,你拿着这份不完整的汇总去做决策,后果可能相当严重。更麻烦的是,这种错误几乎是隐形的,模型给出的答案看起来言之凿凿,没有明显的错漏痕迹,你很难察觉到它悄悄漏掉了什么。

还有一个细节值得单独拎出来说:论文里提到,省略目标的比例会随着目标数量增多而上升,Gemini在目标数量3到6个的组里遗漏率是27.7%,到了7个以上的组,遗漏率跳到46.3%。这意味着,任务越复杂、需要同时追踪的线索越多,模型"顾此失彼"的概率就越高。这其实跟人类的认知负荷有点像,但AI系统不会像人一样意识到自己"记不住",它只会悄无声息地漏掉。

另一个让我意外的点是,金融专用模型普遍打不过通用基座模型。这多少打破了我原本以为的"领域微调一定更好"的直觉。后来想想也合理,如果微调数据或者训练目标没有专门针对"找全"这件事做优化,那微调可能只是让模型在某些狭窄任务上更自信,但自信不等于全面。

这篇论文留下的开放问题也很值得深想:如果一个模型连自己有没有漏掉东西都不知道,那下一步的改进方向,是不是应该让模型学会"自我核查",比如主动问自己"我是不是还有没找到的数据"?这听起来有点像给AI装一个内置的质检员,而这个质检员目前还完全不存在。

Q&A

Q1:MULTIFINGROUND是什么?

A:MULTIFINGROUND是一个评测语言模型处理多语言财务报表能力的基准测试,基于90家公司2025年度英语、法语、希腊语财报构建,专门检验模型能否既识别出正确的会计概念,又完整找出该概念对应的所有数字。

Q2:为什么模型认出概念了还会漏数字?

A:论文发现识别概念(比如判断某数字是不是"营收")和穷尽式找出所有相关数字是两种不同能力。实验显示,八个主流模型概念识别准确率高达97%以上,但在已识别正确的分组中,仍有26.6%到41.9%存在数字遗漏,尤其希腊语文本召回率普遍最低。

Q3:专门训练的金融AI模型表现更好吗?

A:不一定。论文测试的四个金融专用模型(如Fin-R1、Plutus)在多数任务上反而比它们的通用基座模型表现更差,部分原因是输出失败率高,比如Plutus有80%的输出无效,这说明专门化训练不一定带来全面的能力提升。