制粉系统是火电机组中的重要组成部分，包含给煤机、磨煤机以及煤粉输送管道等设备，担负着为火电机组提供能源的任务，其正常运行对保障机组安全稳定生产具有重要意义[1]。然而，由于制粉系统的复杂性和工作环境的恶劣性，制粉系统故障不可避免，包括断煤、堵煤、自燃以及震动等故障[2]。因此，实时在线监测制粉系统运行状态，且在故障发生后第一时间做出诊断，是火电机组长期发展中亟需解决的难题。
传统的故障诊断方法主要依靠专家经验和人工判断，存在诊断效率、准确率低等问题[3]。传统方法在应用于大数据样本时，花费时间较长，且由于制粉系统参数较多，影响因素复杂，其准确率也较低[4]。随着人工智能技术发展，基于机器学习的故障诊断方法逐渐成为研究热点，常用算法主要包括回归算法、分类算法、聚类算法、关联分析算法和降维算法[5]。万书亭等[6]利用非局部均值去噪方法处理滚动轴承的振动信号，由快速谱进行故障诊断，能够提取出微弱故障特征。张文涛等[7]通过邻域粗糙集与相关向量机(relevance vector machine, RVM)方法，建立了二叉树多分类模型进行制粉系统故障诊断，避免了离散化对数据的影响。孙宇贞等[8]引入K-Medoids聚类算法，降低了样本中异常值的影响，并结合层次分析法(analytic hierarchy process, AHP)避免了主观因素和不确定性等问题，评估火电机组制粉系统运行的能效。传统机器学习算法通常对数据的质量和数量有一定要求，数据质量不高或数量不足将会导致模型的性能下降。
近年来，深度学习技术在故障分析领域得到了广泛的应用，包括长短时记忆神经网络(long short-term memory networks, LSTM)、门控循环单元(gate recurrent unit, GRU)和残差神经网络(residual networks, ResNet)等[9-10]。王庆昕等[11]利用时-空特征驱动改进图卷积网络，并以样本余弦相似度为根据重构图模型。赵征等[12]改进门控循环单元网络，利用2个方向相反的门控循环单元构成双向门控循环网络，建立输入特征与下一时刻预测值之间的联系，提高了模型容量和特征学习强度。赵丰等[13]对LSTM进行改进，对化工过程数据进行故障诊断，首先利用局部线性嵌入降维算法(locally linear embedding, LLE)对数据进行降维，再由LSTM提取样本特征对故障进行分类。LI等[14]使用领域对抗部分迁移学习对轴承数据进行故障诊断，在缺少大量标记样本的情况下能够准确识别轴承故障。但对于制粉系统，其运行工况复杂，运行参数之间存在耦合性和时序变化规律，常规深度学习模型难以提取到序列的时序特征。
Transformer模型作为一种新兴的深度学习模型，通过多层的自注意力机制和注意力权重，能够捕捉输入序列中的长期依赖关系，具有较强的建模能力和泛化能力，已经在自然语言处理、图像识别等领域取得了显著的成果。
鉴于此，本文提出一种融合时间卷积网络(temporal convolutional network, TCN)优势的改进Transformer故障诊断模型。首先，设计了基于时序预测的Transformer模型架构，位置编码(positional encoding, PE)为时序数据注入顺序信息，多头注意力机制能够主动挖掘序列内部的局部依赖关系以及序列之间的全局交互特征；其次，将TCN引入Transformer编码器前端，利用其因果卷积特性实现关键局部模式的深度提取；最后，基于关键运行参数建立状态预测模型，并针对实际场景中多故障并发识别问题，将标准Softmax函数替换为Sigmoid激活函数，同时结合全卷积网络(full convolutional network, FCN)与Leaky-ReLU激活函数完成多故障的高效分类，构建出高准确率的制粉系统故障诊断模型。
1 改进Transformer制粉系统故障诊断模型
1.1 制粉系统故障
火电机组制粉系统由给煤机、磨煤机、煤粉分离器、一次风管与燃烧器等设备组成，主要流程为将原煤筛分，通过给煤机运送至磨煤机，由磨煤机磨制出煤粉，再由送风机将冷空气送入空气预热器中，产生的热风用于煤粉运输和炉膛燃烧室供风[15]。制粉系统的主要形式有直吹式和中间储仓式(简称中储式)。直吹式制粉系统是指把煤经过磨煤机磨成粉，而后直接送入燃烧的系统。中间储仓式制粉系统是把在磨煤机磨好的煤粉储存在煤粉仓内，再根据锅炉运行的状况和实际需要，将煤粉仓中的煤粉经过给粉机送入炉膛的燃烧系统。本文针对直吹式制粉系统展开研究，其结构如图1所示。
火电机组的制粉系统在实际运行过程中常见的故障如图2所示。磨煤机发生故障较频繁，且对火电机组运行影响较大，因此，本文使用的数据中磨煤机的故障占比最大。同时，由于制粉系统的各个设备相互影响，部分设备出现故障时会使其他设备的运行状态包括出力、电流以及温度等参数发生变化，对于判断故障成因有较大的影响。本文选取制粉系统中的磨煤机磨辊磨损、给煤机断煤、磨煤机振动大等故障运行数据作为故障样本，对所提出故障诊断模型进行训练、验证。
1.2 多头注意力机制
注意力机制用于帮助选择性关注输入数据的某些部分，以提高模型的性能，同时可以帮助模型更好地处理长序列数据、对抗噪声和变化、个性化处理不同输入等[16-17]。
在计算过程中，首先，根据查询矩阵与键矩阵计算两者之间的相关性，得到注意力得分；然后，对注意力得分进行scale缩放，通过Sigmoid函数将原始计算结果变为权重之和为1的分布，突出重要元素的权重；最后，根据权重系数对值矩阵进行加权求和，得到最终的输出。
注意力机制中的
式中：
多头注意力机制将输入序列分成多个头，并在每个头上执行自注意力操作，从而捕捉输入序列中不同位置之间的关系。在每个头上执行自注意力操作时，模型会计算每个位置与其他位置之间的相似度，并将这些相似度作为权重来加权求和，从而得到每个位置的表示。最后，将每个头的表示拼接在一起形成最终模型，如图3所示。
多头自注意力机制可以有效地捕捉输入序列中的长距离依赖关系，从而提高模型的性能，其过程公式为
式中：
1.3 改进Transformer模型
采用在时间序列预测中能有效处理复杂非线性关系的Transformer模型，对制粉系统的运行数据进行建模。Transformer模型是一种基于自注意力机制的深度学习模型，具有较强的建模能力和泛化能力，主要用于序列到序列的建模任务，如机器翻译、语音识别、文本生成等[18-19]。其主要优点是能够自动学习序列之间的关系和依赖性，避免了传统的循环神经网络模型中的梯度消失和梯度爆炸问题。
将制粉系统中各辅机数据作为输入序列，使用时序预测Transformer模型进行建模和预测。通过模型进行编码和解码，得到制粉系统的状态表示，采用多头自注意力机制和残差连接等技术确保了其高性能和强稳定性。为了适应时间序列预测的结构，在编码器的多头注意力层之前添加时序卷积层，并将Transformer中最后的归一化指数函数(Softmax)改为逻辑函数(Sigmoid)，当多种故障同时发生时，为每一种故障独立预测其发生概率。时序预测Transformer模型结构如图4所示。
图4中，左侧为编码器，输入为历史时序数据，通过输入嵌入、位置编码、时间卷积层及多层编码块提取全局时间依赖关系。右侧为解码器，输入为目标序列右移1位后的数据，通过第1层掩码多头注意力机制屏蔽未来信息，第2层多头注意力机制对齐编码器与解码器信息，全连接层进一步提取特征。解码器输出经Linear层映射到目标维度，最终通过Sigmoid和FCN判断故障。
为克服序列数据在编码与解码过程中丢失顺序信息的问题，在特征输入前添加PE，为自注意力机制提供元素间的位置关系信息，其公式为
式中：
由式(4)和(5)可得到
针对时序预测模型，在训练过程中，编码器的输入为包含
式中：
最后，将Sigmoid层输出向量输入FCN模型中进行故障判断。
式中：
1.4 时间卷积层
TCN是一种处理序列数据的深度学习技术，通过卷积操作来提取序列数据的特征[20]。具体来说，时序卷积利用卷积核在输入序列上滑动，并对每个滑动窗口内的序列进行卷积操作，提取出序列中的局部特征。为保持输入和输出序列长度一致，须对输入序列进行边界填充(Padding)，填充
TCN主要特点是结合了膨胀卷积和因果卷积，通过因果卷积确保了预测当前值时，只依赖于过去信息，避免未来信息的干扰。而膨胀卷积使网络在不显著增加参数的情况下，扩大其感受野。TCN的计算公式为
式中：
本文在Transformer的结构中添加时序卷积层来提取输入序列的局部特征，而Transformer中的编码器与解码器则用于捕获序列中的时间依赖关系。
1.5 编码器与解码器结构
Transformer模型主要由编码器和解码器2个部分组成。编码器负责将输入序列映射为一组隐藏表示，通过多头自注意力机制和前馈神经网络对输入信息进行多层次特征提取与编码。解码器则基于编码器输出的隐藏表示，通过掩码多头自注意力机制、编码器-解码器注意力机制以及前馈网络，逐步生成目标输出序列。
编码器主要由1个多头注意力层与全连接层构成，输入经过自注意力机制后生成
模型中每个模块后包含1个残差块与归一化，残差块作用是为了防止网络出现退化，将输入连接到输出上，使得最终的编码器输出
式中：
在训练过程中，当
分别对不同注意力机制的输出求均值和方差，进行Layer Normalize处理，并作为多头注意力机制的输出。
式中：
解码器的整体架构与编码器的相似，其核心区别在于解码器的输入部分，解码器增加了一个带掩码的多头自注意力层。把该层输出与编码器的输出共同输入至解码器中间层的编码器-解码器注意力模块中。
1.6 全连接层
将改进Transformer模型输出的预测结果作为全连接层的输入，通过训练模型进行故障诊断。全连接层(前馈层)由2个线性变换层与Leaky-ReLU激活函数组成，第1线性层将输入特征
式中：
Leaky-ReLU函数是一种修正非线性单元，在非负数部分保持线性，在负数部分引入斜率
将全连接层的每个神经元与其前一层的所有神经元进行全连接，最后得出多个输出结果。训练时，采用交叉熵损失函数：
式中：
基于融合TCN改进Transformer模型的制粉系统故障诊断模型整体流程如图8所示。
2 数据处理与分析
本文数据来源于某电厂数据库制粉系统运行数据，包括磨煤机电流和功率、一次风机转速等多个变量。为保证数据的质量和可靠性，对数据进行预处理，包括数据清洗、缺失值补全、数据归一化等。该数据集包含8 000个数据样本，经筛选划分出正常样本5 200个，故障样本2 800个，其中，故障包括断煤、堵煤、振动等常见制粉系统故障。将数据集划分为训练集和测试集，其中训练集为前75%数据集，测试集为数据集中后25%的连续数据。制粉系统关键参量部分运行数据如图9所示。
为提高训练速度与精度，需要纵向对样本进行归一化处理。
式中：
同时，使用连续小波变换(continue wavelet transform, CWT)对数据进行处理。利用1组基函数分析信号，可以将1个时间信号分解为由不同频率和频带组成的一系列复合信号[22]。连续小波变换能够有效地分析非平稳信号的时频特性，提供信号的时频分布信息，可以更好理解和分析信号的复杂性和动态性[23]。连续小波变换公式如下：
式中：
对于给定的尺度因子a和平移因子b，连续小波变换将信号
同时使用自相关函数(autocorrelation function, ACF)与偏自相关性分析(partial autocorrelation function, PACF)对数据进行时序相关性分析。自相关系数描述了时间序列中某一时点值
式中：
偏自相关性函数表示在控制中间滞后变量
式中：
3 实验测试及分析
为验证本文使用的改进Transformer模型在制粉系统故障监测中的准确性，采用LSTM、堆栈去噪自编码器(stacked denoised autoencoder, SDAE)与循环神经网络(recurrent neural network, RNN)等方法进行对比实验。
3.1 模型评价指标
针对测试集的测试结果，使用准确率、召回率与F1作为模型评价指标。
式中：
为了提高模型的准确率和鲁棒性，采用交叉熵损失函数和Adam优化器进行模型训练和优化。同时，利用dropout和正则化等技术，防止模型出现过拟合和泛化能力不足的情况。
3.2 模型验证结果
为验证本文所提方法的有效性，对改进Transformer模型进行实验验证，并与常规Transformer模型进行比较。设置训练层数为300层，其他相同参数保持一致，得到磨煤机功率、电流、一次空气温度与磨煤机出口温度的预测输出如图11所示，统计均方根误差、平均绝对误差和决定系数，如表1所示。
| 模型 | 参数 | 均方根误差 | 平均绝对误差 | 决定系数/% |
|---|---|---|---|---|
| Transformer | 磨煤机功率/MW | 0.301 | 0.234 | 99.31 |
| 磨煤机电流/A | 0.121 | 9.50×10-2 | 98.65 | |
| 一次空气温度/℃ | 1.470 | 1.043 | 98.24 | |
| 磨煤机出口温度/℃ | 6.75×10-3 | 5.00×10-3 | 99.85 | |
| 改进Transformer | 磨煤机功率/MW | 0.286 | 0.223 | 99.37 |
| 磨煤机电流/A | 0.102 | 7.89×10-2 | 99.06 | |
| 一次空气温度/℃ | 1.420 | 1.123 | 98.39 | |
| 磨煤机出口温度/℃ | 2.92×10-3 | 2.28×10-2 | 97.25 |
由预测结果可知，改进Transformer模型对磨煤机功率、电流、一次空气温度与磨煤机出口温度的预测误差较小。相较于传统Transformer模型，磨煤机功率的均方根误差与平均绝对误分别提升4.98%与4.70%，有效验证了模型改进对预测效果的提升。
将预测结果经过全连接层进行故障诊断，其训练过程的损失变化与训练过程中的准确率变化如图12所示。从图12可见：在前半部分损失下降较快，后半部分损失下降较慢，说明训练模型在200个epoch之后开始趋于稳定。由图12可以看出：训练模型的效果较好，曲线在30个epoch左右时准确率超过80%，在80个epoch左右时趋于稳定且准确率达到94%，在190个epoch之后有所上升，在200个epoch之后准确率呈震荡且缓慢上升特征，最终准确率稳定在98%左右。由此表明，该模型准确率上升较快，在epoch较小时就超过了传统预测模型的准确率。
对故障诊断测试集的预测结果与真实值进行对比，如图13所示，标签0、1、2、3、4和5分别对应磨煤机正常、炉膛差压大、磨辊磨损、堵煤、振动大和断煤运行情况。模型在进行故障判断时，各故障状态均出现了误判情况，如模型在预测正常数据(标签0)时，出现2次预测结果为给煤机断煤(标签5)；预测磨辊磨损(标签2)时，1次误判为磨煤机振动大(标签4)。
为验证模型的精确性与稳定性，通过划分测试集对模型进行5次交叉测试，分别记录5次准确率、召回率与F1，如表2所示。
| 测试编号 | 准确率 | 召回率 | F1 |
|---|---|---|---|
| 1 | 98.3 | 99.6 | 96.5 |
| 2 | 98.9 | 99.8 | 97.7 |
| 3 | 98.7 | 97.6 | 98.4 |
| 4 | 98.9 | 97.9 | 98.4 |
| 5 | 97.9 | 96.9 | 97.8 |
从表2可以看出：虽然各个指标均有波动，但是总体上改进Transformer故障诊断模型的结果较好。取表2中多次测试结果的均值作为对比数据，可得模型的准确率达到了98.5%，召回率达到了98.3%，F1达到了97.7%。
3.3 对比实验结果
为了验证改进Transformer模型与FCN输出的准确性，与LSTM、堆叠降噪自动编码器(stacked denoising auto encoder, SDAE)、循环神经网络(recurrent neural network, RNN)、径向基函数(radial basis function, RBF)和支持向量机(support vector machine, SVM)进行对比，结果如表3所示。
| 模型 | 准确率 | 召回率 | F1 |
|---|---|---|---|
| Transformer-FCN | 98.5 | 98.3 | 97.7 |
| LSTM | 97.5 | 95.5 | 95.6 |
| SDAE | 86.6 | 83.5 | 86.3 |
| RNN | 90.5 | 89.4 | 87.3 |
| RBF | 79.5 | 80.3 | 79.9 |
| SVM | 72.5 | 71.2 | 71.8 |
由表3可知，相较于LSTM、RNN等5种模型，改进Transformer模型与FCN输出在制粉系统故障监测方面具有更高的准确率，准确率、召回率和F1最高，分别达到98.5%、98.3%和97.7%。与传统分类算法RBF与SVM相比，改进Transformer模型在制粉系统故障监测中具有更高的准确性，准确率、召回率与F1均提高超过10%。
实验结果表明，改进Transformer模型预测精度高、泛化能力强，召回率也高，对于正常数据有着更强的监测能力，是一种有效的制粉系统故障监测方法，在实际应用中能够发挥重要作用。
4 工程应用
本文以某火电机组制粉系统为研究对象，基于Python开发平台构建了制粉系统故障诊断系统。该系统实时监测1/2号机组制粉系统关键设备，包括G、H、I、J和K共5段给煤机、磨煤机与一次风机等核心装置。在电厂平台上设计制粉系统故障诊断系统监测界面，将监测结果和诊断信息以直观的方式展示给用户，并设计图表、曲线、报警提示等方式，帮助用户能够快速了解制粉系统的运行状态，做出相应的决策。系统的运行流程可分为：
1) 利用传感器对磨煤机设备的各项关键参数如温度、振动、电流及电压等进行实时、精确监测。
2) 通过DCS系统将采集到的数据上传至数据库，利用Python SDK完成数据通讯以确保数据的实时性和准确性。
3) 由制粉系统故障诊断平台完成数据的运算，得到故障诊断结果并在监测界面实时显示，同时生成报告进行反馈。
查询系统记录可知，系统预测结果与运行值之间的最大误差不超过6.43%。以2023年2月至2023年8月为例，整个制粉系统共发生36次故障，其中磨煤机故障13次、给煤机故障17次、一次风机故障6次，该平台检测到故障35次，工程应用准确率可达97.2%。工程应用结果表明，制粉系统故障诊断平台不仅能够实时掌握设备的运行状态，还能对设备可能出现的故障进行预测与诊断，及时发现并解决潜在问题，确保设备的稳定运行。
5 结论
1) 以火电机组制粉系统为研究对象，提出一种基于改进Transformer的故障诊断方法，对制粉系统关键装置运行状态在线监测，实现潜在故障的预测与诊断，助力设备长周期、安全、稳定运行。
2) 在Transformer模型编码器前端加入TCN，实现数据信息的深度提取；在输出侧引入Sigmoid激活函数、Leaky-ReLU激活函数与FCN，配合全连接层完成多故障的精准分类，提高数据预测精度与故障诊断正确率。
3) 改进Transformer模型具有较高的预测精准度与故障判断准确率，相较于传统Transformer模型，磨煤机功率预测值与真实值的均方根误差与平均绝对误差分别提升4.98%与4.70%；相较于LSTM、RNN等5种模型，改进Transformer模型对故障诊断的准确率、召回率和F1最高，分别为98.5%、98.3%和97.7%。
4) 工程应用结果表明，制粉系统故障诊断平台预测结果与实际运行值误差不超过6.43%，故障诊断准确率可达到97.2%，证明了该方法能够在工况复杂的火电机组制粉系统上，完成高精度的故障诊断。
A novel method for fault diagnosis of rolling bearings based on domain-adversarial partial transfer learning
[C]//安硕, 冯旭刚, 唐雷, 等. 基于改进Transformer的火电机组制粉系统故障诊断[J]. 中南大学学报(自然科学版), 2025, 56(9): 3748-3759.
AN Shuo, FENG Xugang, TANG Lei, et al. Fault diagnosis of pulverizing system in thermal power unit based on improved Transformer[J]. Journal of Central South University(Science and Technology), 2025, 56(9): 3748-3759.
http://dx.doi.org/10.11817/j.issn.1672-7207.2025.09.016