大数据是哪个公司先提出来的 大数据谁开发的( 三 )


李彦宏表示,通过定向微调,可以在百度内外部各类产品上逐步展示出惊人的亲和力 , 让每一个产品离自己的用户和客户更近 。文心一言这样的大语言模型,会成为每个人必不可少的生产力工具 。不过,无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型 。深度学习、自然语言处理,需要多年的坚持和积累,没法速成 。
“人类进入人工智能时代 , IT技术的技术栈发生了根本性变化 。过去基本分为三层:芯片层,操作系统层和应用层 。现在可以分为四层:芯片层、框架层、模型层和应用层 。”他介绍说,“今天,百度是全球为数不多、在这四层进行全栈布局的人工智能公司,从高端芯片昆仑芯 , 到飞桨深度学习框架,再到文心预训练大模型,到搜索、智能云、自动驾驶、小度等应用,各个层面都有领先业界的自研技术 。”
文心一言位于模型层 。2019年 , 百度推出了文心大模型ERNIE 1.0 。目前,ERNIE 3.0每天接受数十亿次用户的搜索请求 。这让文心一言能够基于一个庞大的、高效的数据池 , 快速地学习和改进 。
“大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大 。全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化 , 大幅提升效率 。尤其是,框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并显著降低成本 。事实上,超大规模模型的训练和推理,给深度学习框架带来了很大考验 。比如,为了支持千亿参数模型的高效分布式训练 , 百度飞桨专门研发了 4D 混合并行技术 。”李彦宏介绍道 。
“另外,芯片、框架、大模型和终端应用场景,可以形成一个高效的反馈闭环 , 帮助大模型不断去调优迭代,越做越好 。更好的大模型,会让用户体验不断升级 。”
【大数据是哪个公司先提出来的 大数据谁开发的】最后,李彦宏强调:“在全球范围内,在四层架构的每一层都有领先产品的公司几乎没有 , 百度的优势非常独特,相信大家会在后续文心的迭代速度上有明显感受 。”

推荐阅读