异常检测基本概念和方法

以你之姓@ 2023-01-20 08:20 44阅读 0赞

## 1.异常检测基本概念 ##

异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。

## 1.1 异常的类别 ##

点异常：指的是少数个体实例是异常的，大多数个体实例是正常的。

条件异常：又称上下文异常，指的是在1. 异常检测基本概念  
异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。

## 1.1异常的类别 ##

点异常：指的是少数个体实例是异常的，大多数个体实例是正常的。

条件异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的。

群体异常：在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，在入侵或欺诈检测等应用中，离群点对应于多个数据点的序列，而不是单个数据点。

## 1.2 异常检测任务分类 ##

有监督：训练集的正例和反例均有标签

无监督：训练集无标签

半监督：在训练集中只有正例，异常实例不参与训练

## 2. 异常检测基本方法 ##

## 2.1.1 基于统计学的方法 ##

异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。

利用统计学方法建立一个模型，然后考虑对象有多大概率可能符合该模型。

## 2.1.2 线性模型 ##

PCA主成分分析。它的应用场景是对数据集进行降维。降维后的数据能够最大程度地保留原始数据的特征（以数据协方差为衡量标准）。其原理是通过构造一个新的特征空间，把原数据映射到这个新的低维空间里。PCA可以提高数据的计算性能，并且缓解"高维灾难"。

## 2.1.3 基于邻近度的方法 ##

这类算法适用于数据点的聚集程度高、离群点较少的情况。同时，因为相似度算法通常需要对每一个数据分别进行相应计算，所以这类算法通常计算量大，不太适用于数据量大、维度高的数据。

基于集群（簇）的检测，如DBSCAN等聚类算法。

基于距离的度量，如k近邻算法。

基于密度的度量，如LOF（局部离群因子）算法。

## 2.2 集成方法 ##

集成是提高数据挖掘算法精度的常用方法。集成方法将多个算法或多个基检测器的输出结合起来。其基本思想是一些算法在某些子集上表现很好，一些算法在其他子集上表现很好，然后集成起来使得输出更加鲁棒。集成方法与基于子空间方法有着天然的相似性，子空间与不同的点集相关，而集成方法使用基检测器来探索不同维度的子集，将这些基学习器集合起来。

孤立森林：  
孤立森林假设我们用一个随机超平面来切割数据空间，切一次可以生成两个子空间。然后我们继续用随机超平面来切割每个子空间并循环，直到每个子空间只有一个数据点为止。直观上来讲，那些具有高密度的簇需要被切很多次才会将其分离，而那些低密度的点很快就被单独分配到一个子空间了。孤立森林认为这些很快被孤立的点就是异常点。

## 2.3 机器学习 ##

在有标签的情况下，可以使用树模型（gbdt,xgboost等）进行分类，缺点是异常检测场景下数据标签是不均衡的，但是利用机器学习算法的好处是可以构造不同特征。

Datawhale五月组队学习特定情境下个体实例是异常的，在其他情境下都是正常的。

群体异常：在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，在入侵或欺诈检测等应用中，离群点对应于多个数据点的序列，而不是单个数据点。

## 1.2 异常检测任务分类 ##

有监督：训练集的正例和反例均有标签

无监督：训练集无标签

半监督：在训练集中只有正例，异常实例不参与训练

## 2. 异常检测基本方法 ##

## 2.1.1 基于统计学的方法 ##

异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。

利用统计学方法建立一个模型，然后考虑对象有多大概率可能符合该模型。

## 2.1.2 线性模型 ##

PCA主成分分析。它的应用场景是对数据集进行降维。降维后的数据能够最大程度地保留原始数据的特征（以数据协方差为衡量标准）。其原理是通过构造一个新的特征空间，把原数据映射到这个新的低维空间里。PCA可以提高数据的计算性能，并且缓解"高维灾难"。

## 2.1.3 基于邻近度的方法 ##

这类算法适用于数据点的聚集程度高、离群点较少的情况。同时，因为相似度算法通常需要对每一个数据分别进行相应计算，所以这类算法通常计算量大，不太适用于数据量大、维度高的数据。

基于集群（簇）的检测，如DBSCAN等聚类算法。

基于距离的度量，如k近邻算法。

基于密度的度量，如LOF（局部离群因子）算法。

## 2.2 集成方法 ##

集成是提高数据挖掘算法精度的常用方法。集成方法将多个算法或多个基检测器的输出结合起来。其基本思想是一些算法在某些子集上表现很好，一些算法在其他子集上表现很好，然后集成起来使得输出更加鲁棒。集成方法与基于子空间方法有着天然的相似性，子空间与不同的点集相关，而集成方法使用基检测器来探索不同维度的子集，将这些基学习器集合起来。

孤立森林：  
孤立森林假设我们用一个随机超平面来切割数据空间，切一次可以生成两个子空间。然后我们继续用随机超平面来切割每个子空间并循环，直到每个子空间只有一个数据点为止。直观上来讲，那些具有高密度的簇需要被切很多次才会将其分离，而那些低密度的点很快就被单独分配到一个子空间了。孤立森林认为这些很快被孤立的点就是异常点。

## 2.3 机器学习 ##

在有标签的情况下，可以使用树模型（gbdt,xgboost等）进行分类，缺点是异常检测场景下数据标签是不均衡的，但是利用机器学习算法的好处是可以构造不同特征。

`Datawhale五月组队学习`

发表评论取消回复

表情：

评论列表（有 0 条评论，44人围观）

还没有评论，来说两句吧...

相关阅读

相关 Android Fragment 基本概念和基本使用

Android Fragment 基本概念和基本使用一、基本概念 Fragment，简称碎片，是Android 3.0（API 11）提出的，为了兼容低版本，su

ゝ一世哀愁。/ 2024年02月21日 07:32/ 0 赞/ 147 阅读

相关 Android 的一些基本概念和OOM异常的处理方法

\\一些基本的概念\\ 1. ActivityManagerServices，简称AMS，服务端对象，负责系统中所有的Activity的生命周期 2. ActivityT

Love The Way You Lie/ 2024年02月17日 17:41/ 0 赞/ 39 阅读

相关神经网络的基本概念、架构和训练方法

神经网络是一种由多个神经元按照一定的拓扑结构相互连接而成的计算模型。其灵感来自于人类大脑中神经元之间的相互作用。在过去的几十年里，神经网络一直是人工智能领域中的热门研究方向

墨蓝/ 2023年10月09日 23:59/ 0 赞/ 30 阅读

相关基本概念和术语

文章目录概要数据(data) 数据元素(data element) 数据项(data item) 数据对象(data object)

阳光穿透心脏的1/2处/ 2023年06月23日 04:59/ 0 赞/ 72 阅读

相关异常检测基本概念和方法

1.异常检测基本概念异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。 1.1 异常的类别点异常：指的是少数个体实例是异常的，大多数个体实例

以你之姓@/ 2023年01月20日 08:20/ 0 赞/ 45 阅读

相关异常检测基本概念和方法

1. 异常检测基本概念异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。 1.1异常的类别点异常：指的是少数个体实例是异常的，大多数个体实例

Myth丶恋晨/ 2023年01月20日 08:19/ 0 赞/ 83 阅读

相关 Kubernetes概念篇：基本概念和术语

在开始使用之前，应当先了解一下关于`Kubernetes`的相关概念术语，对后续的学习、使用将有很大的帮助。（`Kubernetes`的概念比较多，建议加强理解，并清楚各种所处

「爱情、让人受尽委屈。」/ 2022年11月20日 13:00/ 0 赞/ 338 阅读

相关异常行为检测方法

异常行为检测方法参考文章： [（1）异常行为检测方法][1] （2）https://www.cnblogs.com/rnanprince/articles/107903

谁借莪１个温暖的怀抱￠/ 2022年09月07日 05:54/ 0 赞/ 537 阅读

相关 HTTP协议的基本概念和方法

一、基本概念协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则。超文本传输协议（HTTP）是一种通信协议，它允许将超文本标记语言（HTML）文

港控/mmm°/ 2022年06月08日 14:07/ 0 赞/ 219 阅读

相关基本概念和术语

数据:计算机中可以操作的对象 1.可以输入计算机，能被计算机识别 2.可以被计算机处理数据项:构成数据的最小单位，若干个数据项构成数据元素。（人这个数据元素中，眼耳鼻等

青旅半醒/ 2022年05月09日 23:04/ 0 赞/ 364 阅读