本 文 使 用 的 BERT 模 型 拥 有 12 个Transformer模块层，768个隐层，一共有1.1亿个参数，模型结构如图2所示。BERT模型是基于双向Transformer编码器构建的语言模型，能够发现词语间的相互关系。Transformer是由6个编码器和6个解码器堆叠而成。它接收向量序列，并输出处理后的数据序列，在经过6个编码器处理后分别传入6个解码器进行解码。而编码器和解码器的核心是注意力机制。它能够根据句子中的关键点去理解句子的整体含义。通过计算Key的注意力分布并整合到Value上，从而计算注意力价值。其原理如公式1所示。

图2 BERT模型结构图

其中Q,K,V为输入的字向量矩阵，d_k为输入向量的维度。在此计算过程中，Transformer编码器将句子中任意两个单词通过一步计算直接联系起来，并将所有单词的表示进行加权求和，以此来缩短远距离依赖之间的距离，提高特征的有效利用率。

CNN是卷积层与池化层交错出现的前馈网络，能够有效利用词序，但CNN的并行处理友好性使其在大型训练数据中增加了计算复杂度。DPCNN（深层金字塔卷积神经网络）是一种简单的网络结构，它可以在增加网络层数的同时不会大幅度增加计算成本，而且能够获得最佳的准确率。DPCNN模型结构如图3所示。

DPCNN的结构使得每层的计算时间呈“金字塔形”下降。将离散文本转换为连续表示后， DPCNN的结构仅仅是交替使用卷积层和下采样层，使得深度的神经网络降低了模型内部数据量以及每层神经网络的计算量，并且呈金字塔形减少。随着网络的不断深入，“金字塔”可以有效地发现文本中的长距离关联以及更多的全局信息，使得DPCNN可以比只能使用短距离关联的浅层卷积神经网络获得更好的准确率。每层计算量的减少过程如图4所示。

图3 DPCNN网络结构

图4 DPCNN每层计算量变化

本文选取文本Ente-pku数据集进行实验。Ente-pku数据集为定制的企业数据。首先利用网络爬虫爬取企业网站的文本信息，然后对爬取到的企业文本进行数据清洗，最后经过统计过滤生成Ente-pku数据集。Ente-pku数据集包含24万余篇结构化数据。该数据为拥有企业经营范围和经营偏好的标签数据，共分为9个行业类别。将含有标签的数据集以6：2：2的比例分为训练集、验证集和测试集。使用本文提出的方法与传统模型进行比较，验证模型的优越性。

为了验证模型有效性，本文使用精确率（Precision）、召回率（recall）和F1-score来评价模型效果。精确率是预测正确的数据量与被预测为正确的数据量之比（公式2）。召回率是预测正确的数据量与实际为正的数据量之比（公式3）；F1-score是精确率和召回率的调和平均数（公式4）。

其中Tp为实际值和预测值均为正时的数据数量。Fp为实际值为负、预测值为正时的数据数量。Fn为实际值为正、预测值为负时的数据数量。

表1 对比实验结果

选择7个算法进行对比实验，其中包含机器学习算法和神经网络算法。机器学习包括KNN和SVM，神经网络算法包括Transform、TextCNN、BiLSTM、RCNN和本文模型。实现结果如表1所示。通过7个算法结果比较，充分说明改进后的模型要优于其它模型。

由表1可以看出，神经网络算法在评价指标上要明显高于机器学习算法，其中思想简单的KNN方法精确率最低，而使用双向网络的BiLSTM在对比方法中表现最好。单向的Transformer在实验中的精确率较低，因为其无法发现文本的层次特征，导致预测精度不佳。而拥有双向Transform的BERT模型能够有效发现文本的词特征、文本特征和层次特征，提高特征稀疏文本的预测精度。本文提出的模型在三个评价指标上都优于其它机器学习模型和神经网络模型，F1-score值达到90.83%。相较于其它模型分别在精确率、召回率、F1-score上提高了1.67%、1.55%、1.59%以上，充分说明了本文模型的优越性。