低资源条件下的知识图谱推理及金融应用展望

陈名扬、邓淑敏、陈华钧
2892     

知识图谱推理的低资源问题

 

在以往常见的基于表示学习的知识图谱推理模型中,往往都会利用大量的数据对模型进行训练。并且在大多数当前的研究中,都会假设在其实验所使用的知识图谱中,所有的关系都有充足的三元组实例用来训练。但在真实的知识图谱中,有大量的关系仅仅具有非常少的三元组实例,通常对于新加入的关系也没有足够的训练实例,我们称这种关系为长尾关系(long-tail relation),这类关系多被以往的研究所忽视。但是事实上,对于某一个关系,其具有的三元组实例越少,其对知识图谱的补全越有利用的价值。

 

低资源条件下知识图谱推理的基本方法

 

基于元关系学习的少样本知识图谱推理

 

元关系学习主要解决知识图谱中少样本链接预测的问题,是在仅观测到某个关系的少量三元组后,预测该关系的其他三元组。针对该问题,元关系学习框架MetaR(Meta Relational Learning)融合元学习和知识图谱嵌入的方法,通过转移关系特定元信息(relation-specific meta information)从而解决知识图谱少样本链接预测的问题。

 

知识图谱(KG)中包含了大量形如(head, relation, tail)的三元组,尽管如此,知识图谱仍然存在不完整性的问题,因此需要进行知识图谱的补全,其中一个很重要的方法就是链接预测。知识图谱嵌入(Knowledge Graph Embedding)是完成链接预测的一种有效方法,但其有效性依赖于足够的训练样本。但是在真实的情况中,少样本的问题广泛存在于知识图谱中。我们在这里把仅有少量三元组的关系称为少样本关系(few-shot relations),这里主要关注少样本链接预测,也就是在仅知道K个关于关系r的三元组的情况下,给定头实体h和关系r,预测尾实体t,通常K非常小,例如1、3、5。

 

下图描述了一个三样本链接预测(3-shot link prediction)。也可以看出MetaR解决少样本链接预测的思路,其中最重要的思想在于使用在不同任务(across tasks)之间共享的relational learner,在一个具体的任务(within one task)中,从少量的关于某个关系的三元组中抽取出关系特定元信息,用于该关系的链接预测。其中,关系特定元信息包含两个部分,关系元(relation meta)和梯度元(gradient meta),其中关系元是连接头实体和尾实体的关系的高阶表示,梯度元则为关系元的梯度。

 

具体的模型分为两个部分,关系元学习器(Relation-Meta Learner)和嵌入学习器(Embedding Leaner)。关系元学习器是根据支持集的头实体和尾实体的向量表示得到两个实体间的关联,也就是关系元;嵌入学习器计算在支持集和查询集中,送入的头尾实体二元组和计算出的关系元的真值,类似于在做知识图谱嵌入时的得分函数,同时在支持集的阶段通过该真值而计算出的关系元的梯度作梯度元从而更新关系元。整个流程如下:

 

 

其中R为关系元,G为梯度元。

 

基于对抗学习的低资源知识图谱补全

知识图谱补全(Knowledge Graph CompletionKGC),通过链接预测或关系抽取来补充知识图谱缺失的连接,主要困难之一是资源不足问题。比如下图中展示的,KG大部分关系的样本都比较少,呈现出长尾分布,比起样本较多的关系,长尾关系的预测和抽取性能显著降低。(a关系的链接预测结果与它们在KG中的频率高度相关,KG中频率较高的关系明显优于频率较低的关系;(b)关系抽取的效果,随着每个关系的样本数目减少而下降。该方法所解决的任务是在低资源条件下,预测KG中新的三元组,包括链接预测和关系抽取两个子任务。

 

典型的KGC任务中的资源不足问题示例(链接预测、关系抽取)


加权关系对抗网络(Weighted Relation Adversarial NetworkwRAN利用对抗过程,将从资源丰富的关系中学到的知识/特征,去适应不同但相关的低资源关系。wRAN框架综合考虑了三部分问题:对抗迁移学习(Adversarial Transfer Learning,核心思想是通过对抗性学习过程提取领域不变性特征,该过程能够减少源域和目标域之间的分布差异;关系对抗网络(Relation Adversarial Network,学习通用的关系不变性特征,以此弄清不同关系背后的语言变化因素,并缩小相关关系之间的语言差异;负迁移(Negative Transfer,区别于标准的domain adaption源域和目标域之间的标签空间完全相同且共享,wRAN考虑从多个源关系到一个或多个目标关系的适应,并且考虑了不同的关系可能对迁移产生不同的影响,离群的源关系在与目标关系做判别时可能导致负迁移。比如下图所示,wRAN可以从三个源关系(place_of_deathplace_of_birthcountry)中学习通用的位置信息,然后将隐含的知识应用于目标关系(place_of_burial)以提高其预测性能,而capital关系则会导致负迁移。

 

 

Relation Adaptation示例

 

具体地说,wRAN框架利用关系判别器来区分来自不同关系的样本,并以此学习从源关系到目标关系易于迁移的关系不变性特征,主要包含三个模块:

1实例编码器(Instance Encoder,学习可转移的特征,这些特征可以弄清关系之间的语言变化因素。

2对抗性关系适应(Adversarial Relation Adaptation,寻找可以区分具有不同关系分布的关系判别器。

3加权关系适应(Weighed Relation Adaptation,可以识别无关的源关系并自动降低其重要性,以解决负迁移问题并鼓励正迁移。通过两个角度来评估每个源关系/样本对目标关系的重要性:关系间相关性实例迁移能力。并提出关系门控机制,学习和控制细粒度的关系/样本权重。

 

 

模型架构


该方法通过低资源条件下链接预测和关系抽取两种KGC任务评估wRAN的性能。两类任务共享相同的对抗性学习框架,但具有不同类型的实例编码器。前者对一个关系的三元组编码,而后者学习句子特征。

 

低资源知识图谱推理在金融领域的潜在应用

 

低资源关系抽取

 

当前,金融领域的结构化数据主要通过人工标注或抽取的方式生成,这种方法需要消耗大量的人力、物力、财力。因此,自动化信息抽取成为了金融领域关注的一个重要研究方向。目前,学术界已有丰富的有监督的关系抽取模型可以用来进行试验,但是训练这些模型需要大量的训练样本,且这样训练得到的模型将面临两个问题,一是对样本稀少的数据不友好,二是无法处理新出现的关系,这两个问题都属于低资源的问题,在现象实际场景中尤为常见。例如,在金融领域中,“受同一方控制”和“兄弟企业”关系存在丰富的样本,“同一领导人”关系的样本数量只有几条甚至没有。

 

对于上面的两种情况,可以尝试使用少样本或零样本的方案来解决。近两年,已经提出些许少样本或者零样本学习的模型,对这些模型进行深入的分析,可以将其本质归为从样本丰富的类别到样本稀疏类别的推理,这种推理利用了关系类别之间的联系,将丰富样本中学习到的知识迁移到了少样本或者零样本的数据中。而对于关系之间的联系,天然地蕴含在了结构化的知识图谱中。例如,从知识图谱中可以获取到“受同一方控制(公司1,公司2)⋀兄弟企业(公司2,公司3)⇒同一领导人(公司1,公司3)”这样的一条推理规则,即“如果公司1和公司2之间存在受同一方控制的关系,公司2和公司3是兄弟企业,那么公司1和公司3有可能存在同一领导人的关系”,如果将这条先验的推理规则加入到训练过程中,那么训练得到的模型对“受同一方控制”可以进行一定程度的判断。除此,这样的推理规则还可以对判断结果一定程度的解释。

 

低资源关系推理


在金融领域,很多分析都需要追本溯源,如果模型缺乏推理能力,欠缺揭示分析结果深层原因的“可解释性”,不仅降低了模型的可信度,而且分析出的结果准确度也难以保证。此外,知识图谱中存在一些难以被发现的隐含知识,以及数据迭代更新,也需要依靠关系推理去发现。如果将知识图谱中静态的知识与动态的推理相结合,推导出新的知识和结论,将为金融分析提供有力参考。例如,引入类似原材料供应紧张à生产成本上升à净利润下降à股价下跌”这样的推理链路,不仅可以引导模型学习的方向,缩小搜索空间,提升模型效率,还可以作为先验信息,进行更为合理的贝叶斯统计推断,并且可以对结果进行解释。

 

但是,现实世界中的数据可能是非常稀疏的,这就为关系推理带来了很大困难。比如上面的例子中,有关“原材料供应紧张”的数据比较少,“股价下跌”的数据相对较多,这就带来了低资源关系推理的问题。在低资源条件下,可以引入逻辑规则作为先验,利用规则做数据增广或者知识迁移。通过引入人类的先验知识辅助推理,能够模拟人类的逻辑推理能力,但这个方法对专业性要求较高,而且相对比较复杂。还有一种可能的方法就是提升模型的自学习能力,为稀疏知识学习更鲁棒的表示,比如元关系学习,基于元学习的思想,解决低资源关系推理的问题。

 

知识图谱的推理是知识图谱的一个重要研究方向,在真实应用场景中,低资源的问题往往非常常见,因此,如何在低资源的情况下进行知识图谱的推理是当前讨论较多的方向之一。利用元关系学习进行少样本知识图谱推理、基于对抗学习进行低资源知识图谱补全都是相对新颖和有效的解决方法。在金融领域的场景中,也有一系列的低资源问题亟待解决,如关系抽取、关系推理等,还有大量的问题可以研究探讨。

未经授权禁止转载,详情见转载须知

联系我们

恒 生 技 术 之 眼