适用于根本原因分析的异常诊断

适用于：✅Azure 数据资源管理器Azure Monitor✅ Sentinel

Kusto 查询语言（KQL）具有内置的 异常情况检测和预测 函数，用于检查异常行为。 检测到此类模式后，可以运行根本原因分析（RCA），以缓解或解决异常情况。

诊断过程复杂而冗长，由领域专家完成。 此过程包括：

• 在同一时间范围内从不同源提取和联接更多数据
• 在多个维度上查找值的分布变化
• 绘制更多变量图表
• 基于域知识和直觉的其他技术

由于这些诊断方案很常见，因此可以使用机器学习插件来简化诊断阶段，并缩短 RCA 的持续时间。

以下三个机器学习插件都实现聚类分析算法：autocluster和basketdiffpatterns。 autocluster和basket插件聚合单个记录集，diffpatterns插件聚合两个记录集之间的差异。

对单个记录集进行聚类分析

常见场景包括根据特定标准选择的数据集，例如：

• 显示异常行为的时间范围
• 高温设备读数
• 长持续时间命令
• 热门支出用户

你需要一种快速而简单的方法来查找数据中的常见模式（段）。 模式是数据集的子集，其记录在多个维度（分类列）上共享相同的值。

以下查询生成并显示一周内服务异常的时序数据，按 10 分钟为一组进行统计：

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m
| render timechart with(title="Service exceptions over a week, 10 minutes resolution")

服务异常计数与整体服务流量相关联。 你可以清楚地看到工作日的每日模式，星期一到星期五。 服务异常数量在中午上升，夜间数量下降。 周末期间可见到数量偏低。 可以使用 时序异常情况检测来检测异常峰值。

数据的第二次峰值发生在周二下午。 以下查询用于进一步诊断和验证它是否是峰值变化。 查询将在 1 分钟时间段内以更高的 8 小时分辨率围绕峰值重新绘制图表。然后，您可以研究这些边界。

let min_t=datetime(2016-08-23 11:00);
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to min_t+8h step 1m
| render timechart with(title="Zoom on the 2nd spike, 1 minute resolution")

你将看到从 15：00 到 15：02 的窄两分钟峰值。 在接下来的查询中，统计这个两分钟窗口内的异常情况。

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| count

在以下查询中，从 972 个异常中抽样 20 个：

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| take 20

尽管存在不到一千个异常，但仍很难找到常见段，因为每个列中有多个值。 可以使用 autocluster() 插件立即提取常见段的简短列表，并在峰值的两分钟内查找有趣的群集，如以下查询所示：

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate autocluster()

从上述结果中可以看到，最占主导地位的段包含 65.74% 的总异常记录，并涉及四个维度。 下一部分更加少见。 它只包含记录中的 9.67%，并共享三个维度。 其他段甚至不太常见。

Autocluster 使用专有算法来挖掘多个维度并提取有趣的段。 “有趣”表示每个部分对记录集和特征集都具有重要的覆盖范围。 段也存在分歧，这意味着每个段都不同于其他段。 其中一个或多个段可能与 RCA 过程相关。 为了最大程度地减少细分评审和评估，autocluster 仅提取一个小段列表。

还可以使用以下查询中所示的 basket() 插件：

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate basket()

购物篮实现项集挖掘的 “Apriori” 算法。 它提取记录集覆盖率高于阈值的所有段（默认值 5%）。 可以看到，已使用类似段（如段 0、1 或 2、3）提取了更多段。

这两个插件都强大且易于使用。 其限制是，它们以无标签的无监督方式聚集单个记录集。 目前还不清楚提取的模式是确定所选记录集、异常记录还是全局记录集的特征。

聚类分析两个记录集之间的差异

插件 diffpatterns() 克服了 autocluster 和 basket 的局限性。 Diffpatterns 获取两个记录集并提取不同的主要段。 通常，一个集合包含正在研究的异常记录集。 其中一个由 autocluster 和 basket 进行分析。 另一个集包含引用记录集，即基线。

在以下查询中， diffpatterns 在峰值的两分钟内查找有趣的群集，这与基线中的群集不同。 当峰值启动时，基线窗口定义为 15：00 之前的 8 分钟。 通过二进制列（AB）进行扩展，并指定特定记录是属于基线还是异常集。 Diffpatterns 实现了一种监督学习算法，其中两个类标签是由异常标志和基线标志（AB）生成的。

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
let min_baseline_t=datetime(2016-08-23 14:50);
let max_baseline_t=datetime(2016-08-23 14:58); // Leave a gap between the baseline and the spike to avoid the transition zone.
let splitime=(max_baseline_t+min_peak_t)/2.0;
demo_clustering1
| where (PreciseTimeStamp between(min_baseline_t..max_baseline_t)) or
        (PreciseTimeStamp between(min_peak_t..max_peak_t))
| extend AB=iff(PreciseTimeStamp > splitime, 'Anomaly', 'Baseline')
| evaluate diffpatterns(AB, 'Anomaly', 'Baseline')

最占主导地位的段也是autocluster提取的同一段。 它对两分钟异常窗口的覆盖率也是65.74%。 但是，它在八分钟基线窗口的覆盖范围仅为 1.7%。 差异为 64.04%。 这种差异似乎与异常峰值相关。 若要验证此假设，以下查询将原始图表拆分为属于此有问题的段的记录，以及来自其他段的记录。

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| extend seg = iff(Region == "eau" and ScaleUnit == "su7" and DeploymentId == "b5d1d4df547d4a04ac15885617edba57"
and ServiceHost == "e7f60c5d-4944-42b3-922a-92e98a8e7dec", "Problem", "Normal")
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m by seg
| render timechart

通过此图表，我们可以看到周二下午的峰值是由于使用 diffpatterns 插件发现的此特定段中的异常。

概要

机器学习插件适用于许多方案。 autocluster并basket实现无监督式学习算法，易于使用。 Diffpatterns 实现监督式学习算法，尽管更复杂，但它对于提取 RCA 的区分段更为强大。

这些插件在即席方案中和自动准实时监视服务中以交互方式使用。 时间序列异常检测后进行诊断过程。 该过程经过高度优化，以满足必要的性能标准。