基于大数据的APP软件用户评论需求分类方法.pdf

《基于大数据的APP软件用户评论需求分类方法.pdf》由会员分享，可在线阅读，更多相关《基于大数据的APP软件用户评论需求分类方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310550831.5(22)申请日 2023.05.16(71)申请人 重庆邮电大学地址 400065 重庆市南岸区南山街道崇文路2号(72)发明人 王进陈浩如袁鑫浩毛博(74)专利代理机构 重庆辉腾律师事务所 50215专利代理师 卢胜斌(51)Int.Cl.G06F 16/35(2019.01)G06F 18/2415(2023.01)G06F 18/2411(2023.01)G06F 16/31(2019.01)G06N 3/045(2023.01)(54)发明名称一种基于大数据的A。

2、PP软件用户评论需求分类方法(57)摘要本发明属于文本分类领域，具体涉及一种基于大数据的APP软件用户评论需求分类方法，包括：获取APP用户评论数据并清洗和打标；建立SVTEO模型和NBTEO模型；根据标签数据对SVTEO模型和NBTEO模型的线性层进行ML、DL同质化学习和SVTEO模型、NBTEO模型异质化和参数微调处理，并将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型；将待分类的APP用户评论数据输入用户评论需求分类模型进行分类打标处理，得到APP用户评论数据的分类标签。本发明考虑到传统机器学习与深度学习在用户评论需求分类领域的差异性，吸收其各自优点，弥补缺点，解决了文。

3、本分类在用户评论需求分类领域的困难。权利要求书3页 说明书4页 附图1页CN 116501879 A2023.07.28CN 116501879 A1.一种基于大数据的APP软件用户评论需求分类方法，其特征在于，包括：S1：获取APP用户评论数据，对APP用户评论数据进行清洗，对清洗后的APP用户评论数据根据其评论需求进行打标签处理；S2：建立SVTEO模型和NBTEO模型；所述SVTEO模型包括：提取Transformer模型中的Encoder结构部分，得到TrasformerEncoderOnly层，在TrasformerEncoderOnly层后连接池化层，池化层后并行连接线性层和支持向。

4、量层，得到SVTEO模型；所述NBTEO模型包括：提取Transformer模型中的Encoder结构部分，得到TrasformerEncoderOnly层，在TrasformerEncoderOnly层后连接池化层，池化层后并行连接线性层和朴素贝叶斯层，得到NBTEO模型；所述TrasformerEncoderOnly层包括：Embedding层以及六层Encoder层；S3：将带标签的APP用户评论数据分别输入SVTEO模型和NBTEO模型，将两模型的线性层分别向支持向量层和朴素贝叶斯层进行ML、DL同质化学习；S4：根据将带标签的APP用户评论数据分别对同质化学习后的SVTEO模型和NB。

5、TEO模型进行异质化和参数微调处理，并将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型；S5：将待分类的APP用户评论数据输入用户评论需求分类模型进行分类打标处理，得到APP用户评论数据的分类标签。2.根据权利要求1所述的一种基于大数据的APP软件用户评论需求分类方法，其特征在于，对APP用户评论数据进行清洗，包括：对APP用户评论文本数据进行大小写转换，去除停用词、非法词、暴力词及不良内容。3.根据权利要求1所述的一种基于大数据的APP软件用户评论需求分类方法，其特征在于，对SVTEO模型和NBTEO模型进行ML、DL同质化学习，包括：将APP用户评论数据文本分别输入SVTE。

6、O模型和NBTEO模型的TrasformerEncoderOnly层进行文本处理，将TrasformerEncoderOnly层中的Embedding层与六层Encoder层第六层的Last_hidden_state层的输出取出并通过权重矩阵相乘相加后，分别通过池化层进行池化操作，得到两个相异的池化输出；将池化输出分别输入SVTEO模型和NBTEO模型的线性层，先维度扩充后维度缩减到标签数量，得到线性层的概率输出；将SVTEO模型和NBTEO模型的支持向量层和朴素贝叶斯层的参数分别动态更新，每次只更新一定比例的整体权重，使其参数变化尽可能平滑；将池化输出分别送入支持向量层和朴素贝叶斯层中，分别。

7、得到其概率输出；将SVTEO模型的线性层与支持向量层得到的两个概率输出做MAE_Loss，当MAE_Loss损失最小时，得到学习到支持向量层的泛化及高纬空间分类能力的线性层；将NBTEO模型的线性层和朴素贝叶斯层得到的两个概率输出做MAE_Loss，当MAE_Loss损失最小时，得到学习到朴素贝叶斯层的泛化及基于概率分布的推理能力的线性层。4.根据权利要求3所述的一种基于大数据的APP软件用户评论需求分类方法，其特征在于，将Embedding层与Last_hidden_state层的输出取出并与权重矩阵相乘相加后，通过池化层进行池化操作，得到池化输出，包括：权利要求书1/3 页2CN 1165。

8、01879 A2OutputTanh(concat(Max(E*Wa+H*Wb),Mean(E*Wa+H*Wb)其中，Output表示池化输出，Tanh()表示Tanh激活函数，concat()表示向量拼接，Max()表示极大池化函数，Mean()表示平均池化函数，E表示Embedding层的输出，Wa表示对Embedding层的输出进行加权的权重矩阵，H表示Last_hidden_state层的输出，Wb表示对Last_hidden_state层的输出进行加权的权重矩阵。5.根据权利要求3所述的一种基于大数据的APP软件用户评论需求分类方法，其特征在于，对SVTEO模型的支持向量层的参数动态。

9、更新和平滑，包括：ParamSVTEOLayerNorm(MoveSVTEO*+*lr)其中，ParamSVTEO表示对SVTEO模型的支持向量层的参数动态更新和平滑值，MoveSVTEO表示SVTEO模型的支持向量层原始的参数动态更新值，表示参数更新值，表示参数的动态更新权重，lr表示学习率，LayerNorm()表示对参数归一化操作。6.根据权利要求3所述的一种基于大数据的APP软件用户评论需求分类方法，其特征在于，对NBTEO模型的朴素贝叶斯层的参数动态更新和平滑，包括：其中，ParamNBTEO表示NBTEO模型的朴素贝叶斯层的参数动态更新和平滑值，Move表示NBTEO模型的朴素贝叶。

10、斯层原始的参数动态更新值，表示参数更新值，表示参数的动态更新权重，lr表示学习率，LayerNorm()表示对参数归一化操作，Sum()表示参数总和操作。7.根据权利要求1所述的一种基于大数据的APP软件用户评论需求分类方法，其特征在于，分别对同质化学习后的SVTEO模型和NBTEO模型进行参数微调并异质化处理，并将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型，包括：将带标签的APP用户评论文本数据分别送入两个模型中并得到两个异质的池化输出，并分别通过同质化学习后的线性层输出APP用户评论文本数据的logits预测标签概率；将两个的同质化学习后的线性层输出APP用户评论文本数。

11、据的logits预测标签概率做kl散度计算，得到的kl_loss取负并固定模型参数，得到两个相互差异更大的异质模型；将两个模型的logits预测标签概率分别与数据自带的标签进行交叉熵损失函数计算，得到的ce_loss取正并固定模型参数，得到预测标签更接近真实标签的SVTEO模型和NBTEO模型；将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型，通过kl_loss和ce_loss构建用户评论需求分类模型的损失函数，通过损失函数进行模型训练，得到最优的用户评论需求分类模型。8.根据权利要求7所述的一种基于大数据的APP软件用户评论需求分类方法，其特征在于，所述用户评论需求分类模型的。

12、损失函数，包括：权利要求书2/3 页3CN 116501879 A3其中，表示kl_loss的损失权重，表示ce_loss的损失权重，logitsa表示SVTEO模型输出的预测权重，logitsb表示NBTEO模型输出的预测权重，epoch表示当前训练轮次，num_epoch表示总训练轮次。9.根据权利要求1一种基于大数据的APP软件用户评论需求分类方法，其特征在于，将待分类的APP用户评论数据输入用户评论需求分类模型进行分类打标处理，得到APP用户评论数据的分类标签，包括：待分类的APP用户评论数据分别通过SVTEO和NBTEO模型得到预测概率，将得到预测概率加权平均处理后集成输出预测标签，。

13、得到APP用户评论数据的分类标签。权利要求书3/3 页4CN 116501879 A4一种基于大数据的APP软件用户评论需求分类方法技术领域0001本发明属于文本分类领域，具体涉及一种基于大数据的APP软件用户评论需求分类方法。背景技术0002随着互联网的不断发展，人们逐渐习惯于将自身对产品或公司的建议、需求直接分享在互联网上。传统的电访、信访等收集用户建议、需求的方式在如今信息爆炸时代已显得效率低下，而用户评论信息分析却对公司极为重要。互联网用户评论信息是企业了解用户需求和用户反馈的重要渠道。通过分析互联网用户评论需求信息，企业可以了解用户对产品或服务的评价、对竞品的对比等信息，进而根据用户。

14、反馈进行产品服务改进。通过分析互联网用户评论需求信息，企业可以了解用户对自己品牌的评价和关注点，对于用户评价的正面反馈及时回复，对于负面评价进行处理和解决，从而提升企业品牌的口碑和声誉。通过分析互联网用户评论需求信息，可以快速地发现产品或服务可能存在的问题，及时解决问题，避免问题的扩大影响。所以，一个高效的分辨有用评论需求文本的技术就极为重要。0003基于大数据的互联网用户评论需求分类方法可以通过自然语言处理、深度学习和传统机器学习技术，自动地从各种评论信息来源收集和处理信息，并筛选出对公司发展有帮助的需求及建议。这种方法可以大大提高公司了解自身产品优缺点的效率和准确性，并且可以准确分辨功能性。

15、需求和表现性需求的区别，是互联网需求分析的重要技术手段之一。0004对于需求评论文本分类来说，传统的方法主要针对需求评论文本数据质量和分类模型两方面讨论。第一方面来说，互联网用户需求评论文本中经常夹杂着情绪语言及非法、暴力语言，失去了客观性和真实性，如何筛选出合理、理智的需求评论就显得极为重要，目前业界主要采用情感分析的手段来鉴定合适的需求评论文本；第二方面来说，文本分类模型主要分为传统机器学习模型及深度学习模型，如Bert、TextCNN、SVM等。传统机器学习模型只需要少量数据就可以得到一个不错的泛化模型，但对于大规模数据却失去了进一步的成长能力，而深度学习模型极度依赖大量的高质量文本数据。

16、，却能够深度挖掘数据集潜力。0005现有技术问题是：目前分类技术无法集成机器学习和深度学习的优点，在需求评论分类领域，机器学习拥有更高的精度，但无法排除非法语句和情绪语句的影响，深度学习拥有一定的精度，能排除非法语句和情绪语句的影响，却需要大量数据输入训练。发明内容0006为解决上述技术问题，本发明提出一种基于大数据的APP软件用户评论需求分类方法，包括以下步骤：0007S1：获取APP用户评论数据，对APP用户评论数据进行清洗，对清洗后的APP用户评论数据根据其评论需求进行打标签处理；0008S2：建立SVTEO模型和NBTEO模型；说明书1/4 页5CN 116501879 A50009所。

17、述SVTEO模型包括：提取Transformer模型中的Encoder结构部分，得到TrasformerEncoderOnly层，在TrasformerEncoderOnly层后连接池化层，池化层后并行连接线性层和支持向量层，得到SVTEO模型；0010所述NBTEO模型包括：提取Transformer模型中的Encoder结构部分，得到TrasformerEncoderOnly层，在TrasformerEncoderOnly层后连接池化层，池化层后并行连接线性层和朴素贝叶斯层，得到NBTEO模型；0011所述TrasformerEncoderOnly层包括：Embedding层以及六层Enc。

18、oder层；0012S3：将带标签的APP用户评论数据分别输入SVTEO模型和NBTEO模型，将两模型的线性层分别向支持向量层和朴素贝叶斯层进行ML、DL同质化学习；0013S4：根据将带标签的APP用户评论数据分别对同质化学习后的SVTEO模型和NBTEO模型进行异质化和参数微调处理，并将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型；0014S5：将待分类的APP用户评论数据输入用户评论需求分类模型进行分类打标处理，得到APP用户评论数据的分类标签。0015本发明的有益效果：0016本发明通过对SVTEO模型和NBTEO模型进行深度学习与传统机器，解决了从用户需求评论分辨有。

19、效信息和提取出功能性需求与表现性需求的困难点；通过SVTEO模型来学习到用户需求评论数据中高维信息，通过NBTEO模型来拟合一个用户需求评论数据合理概率分布；对于两种模型，为避免其在用户需求评论数据中学到的信息一致性，本发明通过提出对比学习的方法来加大两模型之间的异质性。基于以上所述，本发明提出的用户评论需求分类方法有效提高了公司分析产品优缺点的效率，并能进一步反馈真实用户的功能性需求及表现性需求。附图说明0017图1为本发明的一种基于大数据的APP软件用户评论需求分类方法流程图。具体实施方式0018下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的。

20、实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。0019一种基于大数据的APP软件用户评论需求分类方法，如图1所示，包括：0020S1：获取APP用户评论数据，对APP用户评论数据进行清洗，对清洗后的APP用户评论数据根据其评论需求进行打标签处理；0021S2：建立SVTEO模型和NBTEO模型；0022所述SVTEO模型包括：提取Transformer模型中的Encoder结构部分，得到TrasformerEncoderOnly层，在TrasformerEncoderOnly。

21、层后连接池化层，池化层后并行连接线性层和支持向量层，得到SVTEO模型；0023所述NBTEO模型包括：提取Transformer模型中的Encoder结构部分，得到说明书2/4 页6CN 116501879 A6TrasformerEncoderOnly层，在TrasformerEncoderOnly层后连接池化层，池化层后并行连接线性层和朴素贝叶斯层，得到NBTEO模型；0024所述TrasformerEncoderOnly层包括：Embedding层以及六层Encoder层；0025S3：将带标签的APP用户评论数据分别输入SVTEO模型和NBTEO模型，将两模型的线性层分别向支持向量层。

22、和朴素贝叶斯层进行ML、DL同质化学习；0026S4：根据将带标签的APP用户评论数据分别对同质化学习后的SVTEO模型和NBTEO模型进行异质化和参数微调处理，并将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型；0027S5：将待分类的APP用户评论数据输入用户评论需求分类模型进行分类打标处理，得到APP用户评论数据的分类标签。0028对APP用户评论数据进行清洗，包括：0029对APP用户评论文本数据进行大小写转换，去除停用词、非法词、暴力词及不良内容。0030对SVTEO模型和NBTEO模型进行ML、DL同质化学习；包括：0031将APP用户评论数据文本分别输入SVTEO。

23、模型和NBTEO模型的TrasformerEncoderOnly层进行文本处理，将TrasformerEncoderOnly层中的Embedding层与六层Encoder层第六层的Last_hidden_state层的输出取出并通过权重矩阵相乘相加后，分别通过池化层进行池化操作，得到两个相异的池化输出；0032将池化输出分别输入SVTEO模型和NBTEO模型的线性层，先维度扩充后维度缩减到标签数量，得到线性层的概率输出；0033将SVTEO模型和NBTEO模型的支持向量层和朴素贝叶斯层的参数分别动态更新，每次只更新一定比例的整体权重，使其参数变化尽可能平滑；0034将池化输出分别送入支持向量层。

24、和朴素贝叶斯层中，分别得到其概率输出；0035将SVTEO模型的线性层与支持向量层得到的两个概率输出做MAE_Loss，当MAE_Loss损失最小时，得到学习到支持向量层的泛化及高纬空间分类能力的线性层，即使线性层在对比学习中尽量学到传统机器学习方法SVM的泛化及高纬空间分类能力；0036将NBTEO模型的线性层和朴素贝叶斯层得到的两个概率输出做MAE_Loss，当MAE_Loss损失最小时，得到学习到朴素贝叶斯层的泛化及基于概率分布的推理能力的线性层，即使线性层在对比学习中尽量学到传统机器学习方法朴素贝叶斯的泛化及基于概率分布的推理能力。0037将Embedding层与Last_hidden。

25、_state层的输出取出并与权重矩阵相乘相加后，通过池化层进行池化操作，得到池化输出，包括：0038OutputTanh(concat(Max(E*Wa+H*Wb),Mean(E*Wa+H*Wb)0039其中，Output表示池化输出，Tanh()表示Tanh激活函数，concat()表示向量拼接，Max()表示极大池化函数，Mean()表示平均池化函数，E表示Embedding层的输出，Wa表示对Embedding层的输出进行加权的权重矩阵，H表示Last_hidden_state层的输出，Wb表示对Last_hidden_state层的输出进行加权的权重矩阵。0040对SVTEO模型的支持。

26、向量层的参数动态更新和平滑，包括：0041ParamSVTEOLayerNorm(MoveSVTEO*+*lr)说明书3/4 页7CN 116501879 A70042其中，ParamSVTEO表示对SVTEO模型的支持向量层的参数动态更新和平滑值，MoveSVTEO表示SVTEO模型的支持向量层原始的参数动态更新值，表示参数更新值，表示参数的动态更新权重，lr表示学习率，LayerNorm()表示对参数归一化操作。0043对NBTEO模型的朴素贝叶斯层的参数动态更新和平滑，包括：00440045其中，ParamNBTEO表示NBTEO模型的朴素贝叶斯层的参数动态更新和平滑值，Move表示NB。

27、TEO模型的朴素贝叶斯层原始的参数动态更新值，表示参数更新值，表示参数的动态更新权重，lr表示学习率，LayerNorm()表示对参数归一化操作，Sum()表示参数总和操作。0046分别对同质化学习后的SVTEO模型和NBTEO模型进行参数微调并异质化处理，并将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型，包括：0047将带标签的APP用户评论文本数据分别送入两个模型中并得到两个异质的池化输出，并分别通过同质化学习后的线性层输出APP用户评论文本数据的logits预测标签概率；0048将两个的同质化学习后的线性层输出APP用户评论文本数据的logits预测标签概率做kl散度计。

28、算，得到的kl_loss取负并固定模型参数，得到两个相互差异更大的异质模型；0049将两个模型的logits预测标签概率分别与数据自带的标签进行交叉熵损失函数计算，得到的ce_loss取正并固定模型参数，得到预测标签更接近真实标签的SVTEO模型和NBTEO模型；0050将处理后的SVTEO模型和NBTEO模型组成用户评论需求分类模型，通过kl_loss和ce_loss构建用户评论需求分类模型的损失函数，通过损失函数进行模型训练，得到最优的用户评论需求分类模型。0051所述用户评论需求分类模型的损失函数，包括：00520053其中，表示kl_loss的损失权重，表示ce_loss的损失权重，l。

29、ogitsa表示SVTEO模型输出的预测权重，logitsb表示NBTEO模型输出的预测权重，epoch表示当前训练轮次，num_epoch表示总训练轮次。0054将待分类的APP用户评论数据输入用户评论需求分类模型进行分类打标处理，得到APP用户评论数据的分类标签，包括：0055待分类的APP用户评论数据分别通过SVTEO和NBTEO模型得到预测概率，将得到预测概率加权平均处理后集成输出预测标签，得到APP用户评论数据的分类标签。0056尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。说明书4/4 页8CN 116501879 A8图1说明书附图1/1 页9CN 116501879 A9。