命名实体识别(NER)-模型评估：词级别评估、实体级别评估【Precision、Recall、F1】

梦里梦外; 2023-10-01 16:51 41阅读 0赞

## 一、概述 ##

命名实体识别的评判标准：实体的边界是否正确;实体的类型是否标注正确。主要错误类型包括：

*  文本正确,类型可能错误;
 *  反之,文本边界错误,而其包含的主要实体词和词类标记可能正确。

对于二分类的模型，预测结果与实际结果分别可以取0和1。我们用N和P代替0和1，T和F表示预测正确和错误。将他们两两组合，就形成了下图所示的混淆矩阵（注意：组合结果都是针对预测结果而言的）。

由于1和0是数字，阅读性不好，所以我们分别用P和N表示1和0两种结果。变换之后为PP，PN，NP，NN，阅读性也很差，我并不能轻易地看出来预测的正确性与否。因此，为了能够更清楚地分辨各种预测情况是否正确，我们将其中一个符号修改为T和F，以便于分辨出结果。

![在这里插入图片描述][20210216180800500.png_pic_center]

*  P（Positive）：代表 1
 *  N（Negative）：代表 0
 *  T（True）：代表预测正确
 *  F（False）：代表预测错误

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]

*  **准确率(Accuracy)**：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。  
     A c c u r a c y = T P + T N T P + T N + F P + F N = T P + T N 总 样 本 数 量 Accuracy=\\cfrac\{TP+TN\}\{TP+TN+FP+FN\}=\\cfrac\{TP+TN\}\{总样本数量\} Accuracy=TP\+TN\+FP\+FNTP\+TN=总样本数量TP\+TN
 *  **精确率**(Precision)\*\*：精指分类正确的正样本个数（TP）占分类器判定为正样本的样本个数（TP+FP）的比例。  
     P r e c i s i o n = T P T P + F P = 分 类 正 确 的 正 样 本 个 数 判 定 为 正 样 本 的 样 本 个 数 Precision=\\cfrac\{TP\}\{TP+FP\}=\\cfrac\{分类正确的正样本个数\}\{判定为正样本的样本个数\} Precision=TP\+FPTP=判定为正样本的样本个数分类正确的正样本个数
 *  **召回率(Recall)**：召回率是指分类正确的正样本个数（TP）占真正的正样本个数（TP+FN）的比例。  
     R e c a l l = T P T P + F N = 分 类 正 确 的 正 样 本 个 数 真 正 的 正 样 本 个 数 Recall=\\cfrac\{TP\}\{TP+FN\}=\\cfrac\{分类正确的正样本个数\}\{真正的正样本个数\} Recall=TP\+FNTP=真正的正样本个数分类正确的正样本个数
 *  **F1-Measure值**：就是精确率和召回率的**调和平均值**。  
     F 1 − M e a s u r e = 2 1 P r e c i s i o n + 1 R e c a l l \\begin\{aligned\}F1-Measure=\\cfrac\{2\}\{\\cfrac\{1\}\{Precision\}+\\cfrac\{1\}\{Recall\}\}\\end\{aligned\} F1−Measure=

[20210216180800500.png_pic_center]: https://img-blog.csdnimg.cn/20210216180800500.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20201119221627644.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center