题目：Deep Koopman Predictors for Anomaly Detection of Complex IoT Systems With Time Series Data
发表时间：2024年12月1日
期刊：《IEEE Internet of Things Journal》
作者：西安交通大学博士生付柳，马猛副教授，翟智研究员
简介：本研究基于Koopman理论提出了一种时间序列预测方法。通过将复杂非线性非平稳序列进行时变分量和时不变分量分解，对不同分量采取不同的建模，实现复杂时间序列的预测建模。将所提出的方法应用到了液体火箭发动机异常检测上，实验结果证明，所提出方法能够成功进行发动机异常检测。
原文链接：https://ieeexplore.ieee.org/document/10643170/
引用本文：Fu L , Ma M , Zhai Z .Deep Koopman Predictors for Anomaly Detection of Complex IoT Systems With Time Series Data[J].IEEE internet of things journal, 2024(23):11.DOI:10.1109/JIOT.2024.3446570.
摘要：异常检测在通过时间序列数据分析确保复杂物联网（IoT）系统的安全和可靠性方面起着重要作用。一般来说，现实世界中的信号表现出固有的非平稳特性，这给时间序列数据的异常检测带来了重大挑战。本研究提出了一种新颖的Wavelet-Koopman预测器，用于具有非平稳动态特性的复杂系统的时间序列数据建模和异常检测。所提出的Wavelet-Koopman方法将非平稳数据分解为时变和时不变分量，并使用不同的神经Koopman算子分别处理它们。小波分解的操作避免了非平稳时间数据对预测结果的影响，因此所提出的Wavelet-Koopman能够对非平稳时间序列数据进行建模和预测，为异常检测的实施奠定了基础。在常见数据集上进行了多项实验，并实现了对液体火箭发动机的异常检测。实验结果表明，该方法优于最近提出的几种方法。
关键词：异常检测，深度学习，时间序列预测
一、方法部分：
现实生活中获得的时间序列数据由于季节性、长期趋势、外部冲击或物联网系统的固有观测误差而不可避免地存在非平稳性。但在另一方面，其在细尺度上仍然保持平稳性。因此，如果我们将时间序列分割成微小的快照，那么局部时间序列快照将表现出弱平稳性。这种现象主要是由于在每个数据段中隔离了长期趋势或季节性的影响。在每个独立的数据快照中，长期趋势和季节性可能不再产生显著影响，从而表现出平稳性。针对这一现象，通过适当的分割和分阶段操作，可以将长期非平稳时间序列视为短期平稳序列。此外，受Wold定理的启发，任何弱平稳时间序列都可以分解为：
我们提出了用于非平稳时间序列预测的Wavelet-Koopman方法，网络的整体结构如图1所示。为了进行更全面的时间数据挖掘，网络将采用级联结构，并由多个堆叠的Wavelet-Koopman块组成。对于每个块，首先使用小波分解将输入时间序列分解为时变和时不变分量。
相应的Koopman层将对从解缠中获得的两个组件进行操作。时变Koopman层将同时输出优化后的序列和时变预测。将根据优化后的序列计算残差，并作为下层块的输入。时不变部分将直接给出预测结果。网络的最终输出预测Y将是时变层和时不变层产生的所有预测之和。
图 1 Wavelet-Koopman方法网络的整体结构
图 2 时变和时不变Koopman层流程图
二、实验部分：
我们首先在公开数据集上进行实验来验证我们提出的方法的先进性，我们在三个常见的时间序列数据集上进行了实验：Exchange、ECL和ETTh2。结果列于下表，我们用粗体表示最佳结果，用下划线表示次佳结果。预测长度选择为P∈ {48, 96, 144, 192}。表中列出了我们的Wavelet-Koopman和最近几种方法在收集的数据集上的测试结果，包括Koopa、PatchTST、TimesNet和iTransformer。实验结果表明，我们的Wavelet-Koopman在超过60%的设置下优于最近提出的几种方法，达到了最先进的水平。可以看出，当预测长度较短且数据集较小时，我们的方法表现更好。这一结果表明，我们的方法在特定物联网系统的异常检测方面具有额外优势，例如液体火箭发动机（LREs），其典型工作时间仅持续几十秒，并且需要对异常检测具有敏感性。
我们同样在LREs的故障数据集上进行实验，并验证我们方法的优越性。如前所述，现有的方法仍然受到时间序列数据非平稳性的困扰。这种情况在面对复杂物联网系统的时间序列数据时尤为明显，这是由于在复杂物联网系统中数据收集和传输过程中受到各种因素的显著干扰。具体来说，LREs是一种具有代表性的复杂物联网系统。一般来说，LREs在极端工作环境下运行，具有高压（90Mpa）、高温和低温（3500°C/-180°C）、高速（18000r/min）和高流量（1600kg/s）的特点，使其成为运载火箭中敏感且易发生故障的部分。另一方面，极其复杂的条件也导致LRE系统收集到的时间序列数据非常复杂。这就要求对LRE系统的时间序列预测进行专门研究。图3给出了LRE整体正常和故障发生数据的比较图。红色圆圈表示故障发生的时刻。很明显，由于突然的冲击，故障数据是非平稳的。本实验的主要目的是在仅提供稳态数据的情况下成功预测故障的发生。
图3 LRE故障数据与正常数据对比图，圆圈表示故障发生的时刻，所有数据都已归一化
实验结果列于下表，我们用粗体表示最佳结果，用下划线表示次佳结果。预测长度选择为P∈ {96, 192, 288, 384}。结果表明，我们提出的Wavelet-Koopman在收集到的LRE故障数据中，在各种预测长度条件下，都优于几种最新的时间序列预测方法。值得注意的是，随着预测长度的增加，所提出的Wavelet-Koopman保持了良好的预测性能，这证明了该方法在长期预测中的优势。
图4给出了序列长度为192、预测长度为96的某批次的测试结果。可以直观地看出，Wavelet-Koopman的预测结果最接近真实值。
图4 五种方法在序列长度为192、预测长度为96条件下某批次的预测结果
三、未来与展望：
本文将时间序列视为动态系统进行分析，并提出了小波-库普曼方法。通过在本研究中采用小波分析，将时间序列分解为解纠缠的分量，从非平稳数据中分离出时变和时不变元素。通过这样做，该模型旨在揭示时间序列中复杂的层次动态。为了捕捉和表示这些动态，MLP模块用于学习Koopmanepding和运算符。实验结果表明，小波Koopman在预测LRE数据方面与几种最新方法相比具有竞争力，特别是在长期尺度上。在未来的工作中，我们将进一步探索小波分解的具体工作机制和库普曼算子的长期工作模式。
【作者简介】：
付柳（第一作者），西安交通大学机械工程学院博士在读，主要研究方向为：异常检测，物理嵌入深度学习。
马猛（通讯作者），西安交通大学机械工程学院副教授，主要研究方向为：预测和健康管理、深度学习、信号处理和风险分析。
翟智，西安交通大学机械工程学院副研究员，博士生导师，航天制造与信息工程研究所副所长，主要研究方向为：航天器智能制造与健康管理，复合材料损伤检测，结构健康监测。
