近日，中国电子科技集团公司第十研究所甘翼、路高勇、苏智慧、成都数之联科技股份有限公司王磊、周俊临、蒋家玮与电子科技大学陈端兵在SCI期刊《AppliedSciences》合作发表了题为《AJointDomainSpecificPreTrainingMethodBasedonDataEnhancement》的学术论文。甘翼为论文第一作者，陈端兵为论文通讯作者。该论文提出了一种基于数据增强的领域预训练方法。
　　论文下载链接：https：www。mdpi。com207634171374115
　　近年来，随着人工智能领域飞速发展，特别是在深度学习的支持下，自然语言处理技术（NLP）在各项任务中取得了巨大进展。在这些任务中，预训练技术起到了至关重要的作用。随着预训练模型越来越准确，微调所需预训练语料库规模越来越大。然而，很少有研究探讨预训练语料库的选择。
　　在传统的预训练过程往往存在两个问题：
　　1在对下游任务进行微调后，往往会忘记在预训练阶段学到的知识，导致灾难性的遗忘。
　　2预训练过程与下游微调联合训练是一种可以有效缓解灾难性遗忘问题的解决方案。然而，由于预训练语料库的规模很大，需要大量的计算资源和时间。
　　基于此，本文提出了一种基于数据增强的领域预训练方法来解决这两个问题。
　　该方法首先将预训练任务和下游微调任务进行联合训练，以缓解现有经典预训练方法产生的灾难性遗忘问题。然后，基于从下游任务反馈的难分样本，本方法从领域语料中选择相似文本来重建预训练语料库。通过对重建的预训练语料库的学习可以加深模型对无法确定的文本表达的理解，从而增强模型对领域文本的特征提取能力。在没有对预训练语料库进行任何预处理的情况下，分别对命名实体识别（NER）和文本分类（CLS）这两个任务进行了实验。
　　实验结果表明，与其他基准方法相比，学习所提出方法选择的领域语料库可以补充模型对领域特定信息的理解，并提高基本预训练模型的性能，以获得最佳结果。
　　《AppliedSciences》作为综合性期刊，提供了一个关于应用自然科学各个方面的高级论坛。发表评论，研究论文和通讯。目标是鼓励科学家尽可能详细地发表他们的实验和理论结果，目前被18个国际数据库收录和摘要。2022年影响因子JCR分区：2。838Q2。

乾隆扁壶惊艳法国拍场法国拍卖场奏响中国国歌，玩笑吧？还别疑惑，这可是真事。每年6月，巴黎的卢雅克（Rouillac）拍卖行都在法国中西部的阿尔蒂尼（ChateaudArtigny）城堡……野草野火烧不尽，春风吹又生。小草它有旺盛的生命力，也是我最喜欢的植物。春天，是小草的季节。走出家门，扑面而来的是小草的清香。田地里到处都是小草，有的刚刚探出小脑袋，打量着这个……水仙花我喜欢美丽的桃花，熹欢一支独秀的蜡梅，喜欢千姿百态的菊花但我更喜欢亭亭玉立的水仙花。水仙花在没种时，还是胖乎乎的球茎。种的时候只需要一个盆，把水仙花的球茎放入其中，然后接……宾馆大堂挤满过夜游客？穷游不是无理的挡箭牌李力（湖南大众传媒职业技术学院）近日，有视频显示，安徽黄山风景区白云宾馆的大堂有多名游客滞留，并打上了黄山穷游之睡宾馆大堂大学生穷游等标签，引发网友热议。4月3月，宾馆工……天道解密识变顺变与应变芮小丹与肖亚川剧中有一种神奇的技艺表演，叫做变脸，变脸的技巧又有抹脸、吹脸、扯脸、运气变脸这四种手法，观之令人叹服。群经之首的《周易》中阐述的核心也是一个变字，以变的眼光看那些卦象。……美术教学工作总结〔编辑〕美术教学工作总结为好范文网的会员投稿推荐，但愿对你的学习工作带来帮助。教师必须以幼儿为本，决不能把自己的意志强加于孩子，要充分理解孩子、信任孩子、欣赏孩子，挖掘他……这家正冲刺沪市主板IPO的城商行近日公开选聘行长每经记者：李玉雯每经编辑：马子卿近日，湖州银行公告称，为进一步推进湖州银行改革发展，拓宽选人用人渠道，经研究，决定面向社会公开选聘湖州银行总行行长。从任职资格来看，……头发弄湿不能马上涂洗发水？原来这是洗不掉油腻的罪魁祸首！在颜值焦虑的时代，很多女生都会特别注重自己的外貌。她们并不仅仅是依靠化妆提升自己的颜值，还会注重衣服的搭配。许多女孩都在努力想办法使自己变得更加好看。这样不仅能够让自己更加开心……小脸霜适合什么年龄价格多少钱olay小脸霜适合什么年龄适合22岁以上的需要抗皱紧致的熟龄肌肤最近种草了这款Olay小脸面霜新生塑颜臻粹面霜确实挺好用的，质地细腻很滋润，吸收起来很快，不会有黏腻……鞋子粘扣不粘了怎么办用什么方法清除上面的粘毛鞋子粘扣不粘了怎么办1、清洁魔术贴上的杂物鞋子的粘扣又叫做魔术贴，当鞋子使用久了之后钩面上面会出现很多杂物，最好使用牙签等尖锐物把上面的毛以及其他杂物挑出来。……虽然全是粮食酒，但26760和26761差别很大，弄懂再买懂酒的人知道如何在酒瓶上寻找粮食酒的身份证号，以此来筛选掉部分酒精酒。很多酒场小白也跟着学，却只学了一个皮毛，都没有注意到细节。不信我考考大家，粮食酒的标签是哪几位数字？267……SCI论文上新数之联提出了一种基于数据增强的领域预训练方法近日，中国电子科技集团公司第十研究所甘翼、路高勇、苏智慧、成都数之联科技股份有限公司王磊、周俊临、蒋家玮与电子科技大学陈端兵在SCI期刊《AppliedSciences》合作发……