1. <form id='945655'></form>
        <bdo id='569515'><sup id='122217'><div id='918071'><bdo id='464086'></bdo></div></sup></bdo>

            • 微博
            • 微信微信二维码

            广东省人民政府首页  >  要闻动态  >  广东要闻

            沙特敦促国际社会采取行动 阻止破坏海上航运自由的行为

            来源:酒店桑拿一条龙服务 中国日报网络版     时间: 2019-08-24 15:42:51
            【字体:

            郸城县酒店桑拿一条龙服务十【薇信:4738915】【推荐】全网最靠谱最快捷的全套√服务√包夜√服务√全天24小时√预约十薇√直接安排√非诚勿扰√准时安排送达目的地√


            杭州发展产业集群 建设孵化器 释放新动能----

              杭州发展产业集群

              建设孵化器 释放新动能

              本报杭州7月30日电 (武宪威)按照浙江省“凤凰行动”“雄鹰行动”要求,杭州培育创新型企业,持续推进小微企业成长计划和市场主体升级工作,实施“品字标”企业培育计划,培育了一批与创意园区、创意空间平台有关的“隐形冠军”企业、高成长科技型企业。截至2018年底,杭州累计建设市级标准化众创空间138家、市级孵化器148家。

              “实实在在为创业者服务,实实在在为创新项目服务,这是我们奉行的工作指南。”杭州市委常委、萧山区委书记佟桂莉说。

              在杭州城西科技大走廊,以梦想小镇为代表的创业孵化器显现出集聚效应,聚集了资本管理机构1400余家,汇聚创业项目1800多个。12个由旧粮仓改建而来的众创“种子仓”,如今已成为孕育科技型企业的载体,集聚人才1.7万名、市场化运作孵化器50多家。

              民营投资创意园区生机勃发。杭州纳斯实业有限公司投资1.1亿元创建的纳斯科创园,围绕“产业集群、要素集聚”的发展思路,打造了“种子仓—孵化器—加速器—产业园”的接力式产业培育链条。

              今年6月底,纳斯科创园已集聚小微科技企业188家,其中38家已实现盈利;培育认定国家级高新技术企业3家,浙江省科技型中小企业28家,萧山区中小微科技型企业32家。该园区被浙江省科技厅认定为2018年度省级科技企业孵化器,被浙江省小微企业三年成长计划工作领导小组认定为省小微企业集聚发展“十大优秀平台”。

              “我们实实在在地做好了20多项服务,为入驻企业和项目解决技术和资金难题。目前园区企业入驻率达98%。”纳斯科创园董事长徐新荣说。

            基于飞桨PaddlePaddle的NLP预训练模型百度ERNIE 2.0发布----

              中新网7月31日电 2019年3月,百度正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。

              今天,经过短短几个月时间,百度ERNIE再升级。发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型。继1.0后,ERNIE英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。目前,百度ERNIE 2.0的Fine-tuning代码和英文预训练模型已开源。(Github 项目地址:https://github.com/PaddlePaddle/ERNIE)

              近两年,以BERT、XLNet为代表的无监督预训练技术在语言推断、语义相似度、命名实体识别、情感分析等多个自然语言处理任务上取得了技术突破。基于大规模数据的无监督预训练技术在自然语言处理领域变得至关重要。

              百度发现,之前的工作主要通过词或句子的共现信号,构建语言模型任务进行模型预训练。例如,BERT通过掩码语言模型和下一句预测任务进行预训练。XLNet构建了全排列的语言模型,并通过自回归的方式进行预训练。

              然而,除了语言共现信息之外,语料中还包含词法、语法、语义等更多有价值的信息。例如,人名、地名、机构名等词语概念知识,句子间顺序和距离关系等结构知识,文本语义相似度和语言逻辑关系等语义知识。设想如果能持续地学习各类任务,模型的效果能否进一步提升?

            ERNIE 2.0:可持续学习语义理解框架ERNIE 2.0:可持续学习语义理解框架

              基于此,百度提出可持续学习语义理解框架ERNIE 2.0。该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务,能够全面捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。这也意味着,该框架可以通过持续构建训练包含词法、句法、语义等预训练任务,持续提升模型效果。

            新发布的ERNIE 2.0模型结构新发布的ERNIE 2.0模型结构

              依托该框架,百度充分借助飞桨PaddlePaddle多机分布式训练优势,利用 79亿tokens训练数据(约1/4的XLNet数据)和64张V100 (约1/8的XLNet硬件算力)训练的ERNIE 2.0预训练模型不仅实现了SOTA效果,而且为开发人员定制自己的NLP模型提供了方案。目前,百度开源了ERNIE 2.0的fine-tuning代码和英文预训练模型。

              百度研究团队分别比较了中英文环境上的模型效果。英文上,ERNIE 2.0在自然语言理解数据集GLUE的7个任务上击败了BERT和XLNet。中文上,在包括阅读理解、情感分析、问答等不同类型的9个数据集上超越了BERT并刷新了SOTA。

              ERNIE的工作表明,在预训练过程中,通过构建各层面的无监督预训练任务,模型效果也会显著提升。未来,研究者们可沿着该思路构建更多的任务提升效果。

              自2018 年预训练语言模型 BERT 提出之后,预训练语言模型将自然语言处理的大部分任务水平提高了一个等级,这个领域的研究也掀起了热潮。如今百度ERNIE 2.0 再度为行业提供了研究思路上的方法创新,可持续学习的特点亦将成为NLP领域发展里程中的注脚。


            相关文章

            热点推荐

            版权所有:中国新闻网 粤ICP备05070829 网站标识码4400000131
            主办:中国新闻网 协办:中国省经济和信息化委员会 承办:中国新闻网
            建议使用1024×768分辨率 IE7.0以上版本浏览器