实体( 五 ) _实体

与传统方法相比，端到端模型的准确率显著提高。但是只有LSTM-LSTM-Bias可以更好地平衡准确率和召回率。原因可能是这些端到端模型都使用Bi-LSTM编码输入句子和不同的神经网络来解码结果。基于神经网络的方法可以很好地拟合数据。因此，他们可以很好地学习训练集的共同特征，并可能导致较低的可扩展性。我们还发现，基于我们的标注方案，LSTM-LSTM模型优于LSTM-CRF模型。因为，LSTM能够学习长期的依赖关系，CRF（等，2001）擅长捕捉整个标注序列的联合概率。相关的标签可能相距很远。因此，LSTM解码方式比CRF好一些。LSTM-LSTM-Bias增加了一个偏置权重，以增强实体标注的效果，减弱无效标注的影响。因此，在这个标注方案中，我们的方法可以比普通的LSTM解码方法更好。
表二：基于我们的标注方案的三元组元素的预测结果。
五、 and5.1、Error （错误分析）
在本文中，我们着重于提取由两个实体和一个关系组成的三元组。表1显示了任务的预测结果。只有当两个相应实体的关系类型和头部偏移量都是正确的时候，它才能处理三元组。为了找出影响端到端模型结果的因素，我们分析了预测三元组中每个元素的性能，如表2所示。E1和E2分别表示预测每个实体的性能。如果第一个实体的头部偏移是正确的，那么E1的实例是正确的，与E2相同。不管关系类型，如果两个对应实体的头部偏移都是正确的，则（E1，E2）的实例是正确的。
如表2所示，与E1和E2相比，（E1，E2）具有更高的准确率。但其召回率低于E1和E2 。这意味着一些预测的实体不会形成一对。他们只获得E1而没有找到相应的E2，或者获得E2并且没有找到相应的E1 。因此，它导致更多的单E和更少（E1，E2）对的预测。因此，实体对（E1，E2）比单个E具有更高的准确率和更低的召回率。另外，表1中的预测结果与表1中的预测结果相比，表2中的（E1，E2）这意味着3％的测试数据被预测为错误的，因为关系类型被预测为错误的。
5.2、 ofLoss（偏置损失分析）
与LSTM-CRF和LSTM-LSTM不同的是，我们的方法偏向于关系标签来增强实体之间的联系。为了进一步分析偏置目标函数的影响，我们将每个端到端方法预测单个实体的比例可视化，如图4所示。单个实体是指那些找不到相应实体的实体。图4显示了是E1还是E2，我们的方法在单个实体上的比例相对较低。这意味着我们的方法可以有效地将两个实体关联起来，比较LSTM-CRF和LSTM-LSTM对关系标签关注不多。
此外，我们也将偏差参数α从1改变到20，预测结果如图5所示。如果α太大，会影响预测的准确率，如果α太小，召回率会下降。当α= 10时，LSTM-可以平衡准确率和召回率，并且可以达到最好的F1分数。
5.3、Case Study（案例分析）
在本节中，我们观察端到端方法的预测结果，然后选择几个有代表性的例子来说明这些方法的优缺点，如表3所示。每个例子包含三行，第一行是黄金标准，第二行和第三行分别是模型LSTM-LSTM和LSTM-LSTM-Bias的提取结果。
S1表示两个相关实体之间的距离彼此很远的情况，这使得更难以发现他们的关系。与相比，LSTM-LSTM-Bias使用偏置目标函数来增强实体之间的相关性。因此，在这个例子中，LSTM-可以提取两个相关的实体，而只能提取一个“”实体，不能检测实体“ City Beach” 。
S2是一个负面的例子，表明这些方法可能错误地预测了一个实体。和实体之间没有任何指示性词语。另外，和之间的“a *”形式可能容易误导它们之间存在“包含”关系的模式。通过将这种表达模式的一些样本添加到训练数据中可以解决问题。