lstm的电力通信网设备故障预测方法

大数据在电力通信网中的应用:电力通信网的数据主要来源于设备告警，设备运维，业务数据等各个环节，其数据具有数据量大，数据类型繁多，数据价值高等特征。基于海量的数据，对设备故障的预测，对于提高电力通信网系统的可靠性，减轻设备管理和维护的负担f _ C | g具有重要意义。基于电力通信网的大数据应用将促进电网通信运行水8 h #平和管理效率的提高，“在进一步提升电网安全预控水平和供电可靠性的同时，带来巨大的社会效益。”

设备故障预测：传统的故障预测技术主要使用数学预测的方法，比如模糊理论和灰x Q W O X !度模型，模糊理论是以模糊集合(fuzzy sx 7 F ! +et)为基础，其优越性主要体现在处理复杂系统的时变、时滞以及非线性方面。灰度预测建立在灰色理论基础上y ( 7 H = B G，是一个指数函数，灰度模型对故障的长期预测精度很差。还可以通过专家系统，利用专家* u p f的经验和知识建立系统进行预测，利用人工智能中的知q T p 0 @ ) ~ f识推理，解决一些专业的问题，比如数据y - q [ { + B 4 N库，推理机，知识库，但是专家系统需要大量的实践和积累，开发周期很长。Gang NIU等人关于常见的故障预测的方法做出了很好的总结，并提出了如何提高预测精度的建议，比如加深对故障机制的研究，增强对历史数据的收集，提高信息处理的手段，提高故障特征提取的技术等等。在国内外的研究中，关于网络故障的预测主要集| L K i _ W j中在网络告警的关联性分析，基于SVM、灰色模型、8 P b M g 5指数平滑、ARMA、神经网络等方法的预测技术等方面。

循环神^ Z ) + ; . H _经网络：大量的机器学习的任务都是处理时序相关n h O N | e f h f的输入，比如视频分析，音乐检索，时序相关的预测等等。循环神经u k ^ A 5 l ? # s网络通过神经网络内部的节B , W | m ,点的循环能够获取序列的动态性。不同于普通的4 o s $ x y x }前馈神经网络，RNN能Z s \ q | w够在很长的上下文窗口中记住代表信息的状态。在过去的几年中，大量的论文在翻译、图像~ m % 9 , O相关等领域使用RNN取得了很大的成果。在实际的应用中门控RNN，包括LS# D 1TM，GRU是最有效的模型，其允许网络在较长的时间内积累信息A B j C a V r Z Z，而且可以解F 2 ! & .决梯度爆炸和梯度消~ E Y 9 r 4失的问题。Klaus Greff详细的总结了LSTM的基础架构和其相应的变体，e Z @ , 0 k } o以及LSTM在演讲识别，手写识别等方面的重大成功。他发现大部分LD P ( z \ 5 { J ~STM的变体并没有很大的提升网络\ F 7的性能，强调了忘记门和激# 6 W K活函数在LSTM中的重要R ( V作用。

Ke Zhal W L cng等人基于IT系统的日志，使用LSTM预测复杂IT系统的故障，结论发现LSTM在预测效果明显好于机器学习的方法，展示出了LSTM在此领\ $ E 3域的潜在优势。LSTM也被用在硬盘的故障预测，Chang Xu等使用时序的属性，采用RNN的模型对硬盘的健康状况进行预测，取得了很大的成8 ~ 4 1 s Q t功。RNN近年来在医疗领域取得了很大的成功，Edward Choi基于电子健康病历的记录，使用GRU的模型取进行心脏疾病的预测，相比传统的机器学习方法性能上有很大的提高。

国内基于电力通信网设备日志的研究主要集中在故障定位和告警关联性分析两个m , T t M方面，有大量的相关的论文。Jiang ZHONG等人使_ e $用某通信网络设备的告警数据采用随机森林、贝叶斯网络等传统的机器学习算法进行故障的预测，但是预测精度很差。目前电力通信网数据的相关研究基本采取的是传统l c ; G 5 U f的机器学Q ) - ; h S - Z习方法，本文创新式地采用深b \ m #度学习的方法，利用深度学习的强大的能力，使用改进的LSTM，将} & 5 h X ~ =很大程度上提高预测的精度。深度学习相关的方法将给电力通信网的问题提供新的H V A P更好的解法。

问题拆分

首先提出了数据预处理和构建时序输入的方法。LSTM相比简单的循环神经网络，更易于学习长期的依赖，能够很好的解决序列相关的预测问题。因为设备告警之间存在很强的关联性，通过PCA能够确保变量E - V 8之k f c A p间的独立性。本发明还使用目标复制的策略对LSTM进行改进，在时序每一步中都可以带来局部的误差信息，相比简单的只在最后一步进行目标输出~ A B，该策略能够提升模型的精度，降低过拟合的风险。结合dropout，本发明提出LSTM的预测模型，深度学习能够取得/ M 9 H k ( B _ w更好的预测精度。同时，本发明首次使用了LSTM对电力通信网告警数据进行建模，识别其内部的时序模式。

问题解决

电力通信网作为智能电网的支9 [ J撑网络，其可靠性7 l ) S { U S已成为智能电网智能化和经y H }济、安全运行的先决条件。在电力通信网这种特殊的环境下，网络系统的可靠性显得尤为重要，特别是在一些关键业务的执行过程中f q d 6 U @ a _ k，设备的故障会导致重要信息的丢失，甚至业务的失败。针对此环境下的设备故障的预测，能够大大的减少业务失f j / &败的风险，极大的提升设备维护和C ! U ) Z f v i维修的水平。

电力通信网现已经积累了大量的数据，电力通信网的数据主要来源于设备告警，设备运维，业务数据，机房温度、湿a O 7 Z 5 W (度数据等各Q t h f ? # \ A个方面，其数据具有数据量大，数据类型繁多，数据价值高等特征。本发明主要以网络设备的告警日志数据为基础，提出一种基于改进的LSTM电力: I q #通信网设备故障预测模型，相比其他传统的机器学习模型，

一种基于改进的LSTM的电力通信网设备故障预测方法，其d p 5 B s 6 N C Y特征在于，包括：

步骤1，对电力H T ] 8 d K通信网设备的告警数据和机房动环数据进行预处理；

步骤2，构建基于时序的输入，时间窗口构成一个时间序列，对于一个单独的时间窗口ti，包含如下的& [ 0 u X S =几类特征：

特征一、这个时间窗口内，设备所在机房的温度的平均值，湿度的平均值，* $ * ^分别记为Ti,Hi

特征二、对于某台设备，其告警的类型是固定的，表示为A1,A2,A3...Am.那么每种告警在该时间窗口内出现的次数为

特征三、对于每种在该时间窗口内发生的告警对应的持续时间(结束时间与开始时间之差)为

特征四、时间窗口的中心时间点距离设备上一次故障的时间长度Wi,如果设备8 j } F $ ^ V正处于y ~ 3 0 N X @ V故障之中Wi为0；

特征五、三种告警级别提示、次要、重要、紧急在该时] P ( + X * # i w间窗口内分别发生的总次数L1i,L2i,L3i,L4i；

对于每种告9 - C B P x O 5 Y警，) z 9 8 $ T / Y比如A1，选择前pre(本发明建议选择5)个窗口，计算在pre个窗口中A1发生过的个数记为则概率

对于上述数值型的特征为w - , }了消除不^ f f H同特征之间的量纲影响，需要对数据进行归一化处理；综上所述，将基于时序的输入表示为向量的方式,如下所示：

步骤3，构建预测模型，并采用该模型进行电力通信网设备故障预n } . 7 k测，具体是：定义模型从下往上依次是输入层，PCA，LSTM隐藏层，dropout，输出层；基于改进的LSTM构建深度神经网络，来解决电力通信设备故障预测的问题，预测设备下一个时间窗口是否会发生故障是I V Q ! = \ * w一个二分类的问题；给一个序列x1,x2...xT，需要学习一个分类器能够生成真实结果y的预测值这里的y表示的是xT之后的时间窗口是否! : $ { 7会发生故障；采用没有peephole连接的LSTM记忆细胞来构造深度神经网络，在LSTM隐藏层的上层构建了一个全连接的输出层，使用sigmoid的激活函数输出最终的预测( ^ g目标；并使用交叉熵作为损失函数；

采用了目标复制的策略构建LSTM的预测架构，在每一个步骤上都进行输出预测，从而在每一步中都t 6 : & v a ? l V可i J } Y t ]以带来局部的误差信息；基于该L- m NSTM的预测架构，损失函数如下所示：

其中α∈[0,1]是一个超参数，表示在序列的中间步骤中其预测结果的相对重要性；

为了防止神经网络的过拟合Q 6 c Q ^在LSTM隐藏层和输出层之间使用dropout，并使e o , D 9 i H %用L2的权重衰减，基于这两种防止过拟合的r 4 _ y 9 G P K x方案，分类器能够取得更好的性能。

在\ @ r 7 F i 4上述的一种基于改进的LSTM的电力通信网设备故障预测方法，所述步骤1的预处理具体处理方法是：

步骤2.1、对非法的告q ( ( s e 6 N O警进行剔除，这些数据视其为脏数据，脏数据的输入会影响预测的结果，主要包含以下几种情况：告警的发生或者结束a ] } +时间为非法时间，告警的结束时间早于告警的开始时间，告警类型的信息未定义等；

步骤2.\ 4 ) } A2、定义阀值Threshold,如果告警的结束时间与开始时间之差s 1 d H r，小于Threshold，将其过滤；Threshold可以通过绘制告警持续时间的曲线图，结合专家知识进行评估，在本发明中建议阀值设为20秒；

步骤2.3、机房的温度湿度数据一般是每隔五分钟采集一次，但是有些数据存在缺失值，对于缺失的P r } V | ?数据使用离该时间点最近的温度、湿度数据进行代替。

在上述的一种基于改进的LSTM的电力通信网设备故障预测方法，还包括一个验证步骤，具体是：

步骤4：将数据分成多份进行交叉验V \ ( | S t证，从而选择出更好的超参数；如果训练的数据集较大，则可以采用小批量的随机梯度下降法进行模型的训练，可F k b H \以节m o l h A省计算资源，同时损失函数的下降会B C v & p 8 L -更加稳定；为了评价模型的好坏，采用Precision、Recall、AUC、F1等指标进行综合评价。

该模型有如下的优点:

1L i W =.深度学习相比传统的机器学习方法，如支持向量机，贝叶斯网络、决策树等模型，在大数据量的问题中，具有更好的学习F ( 8 z H 2和泛华能力。传统的Logistic Regression等模型,为了使模型具有非线性的能力，需要采取离散化，特征组合等策略，需D A +要大x % 9量的精力花费在特征工程上，非常依赖人力和领域的经验知K d }识，不够智能。而深度学习能够对特征自动a O | d b O E进行排列组合，只需要输入一T L 2 A g V M n 9阶特征，省去了手动构造高阶特征的工作量。考虑本文要解决的问h ^ q题，在y ^ . 9 0 $ : s大规模通信网的故障预测中问题中，由于网络本身的复杂性，导致特征的提取具有很大的难度，s T @ u ] P所以传统的模型很难取得很好的预测效果。

2.LSTM相比简单的循环神经网络，更易于学习长期的依赖，能够很好的解决序列相关的预测问题。通过多层的非线性转换，LSTM能够很好的适应复杂任务的建模。通过足够G % H _的样本) ; = ` - @数据的训练，该模型8 ( 4 M能挖掘出混乱数据中的大量的有价值的信息。在设备完全发生故I X 4 n K 1障之前往往会表现出一些症状，可以视为故障的潜伏期，这些症状主要是通过设备发出的告警、日志u | / 0表现出来，有些故障的潜伏期很长，有些故障潜伏期很短，所以在时序上存在长期依赖和短期依赖两w i V { & l Y ] j种情况，而LSTM能够很好地应对两种依赖，从而取得很好的预测效果。在很多问题上，LSTM已经取得了很大的成功。

3.本发明对LSTM进行了改进，首先体现在神经网络输入特征的处理，对构建的特征进行PCA的主成分分析，降低数据的维度，因为设备告警之间存在很强的关联性，如A告警发生的J @ o X i m同时可能会导致B告警的发生，通过PCA主成分分析能够确保变量之间的独立性，同时可以达到去噪的效果。

4.在本发明中，通过目标复制策略改进了LSTM，使该模型能够取得更好的性能，提高了模型的鲁棒性，降低了过拟合的风险。本发明提出了适合电力通信网设备故障F P \ e预测的深c R n T \ R i J l度学习架构。