行业要闻 > 正文
我国首个超大规模智能模型系统“悟道1.0”发布
2021/3/22 09:51   北京日报      关键字:首个 超大规模 智能模型 悟道1.0 发布      浏览量:
3月20日,北京智源人工智能研究院举办“智源悟道1.0 AI研究成果发布会暨大规模预训练模型交流论坛”,并发布我国首个超大规模智能模型系统“悟道1.0”。
  3月20日,北京智源人工智能研究院举办“智源悟道1.0 AI研究成果发布会暨大规模预训练模型交流论坛”,并发布我国首个超大规模智能模型系统“悟道1.0”。
  据悉,“悟道1.0”由智源研究院学术副院长、清华大学唐杰教授领衔,带领来自北京大学、清华大学、中国人民大学、中国科学院等单位的100余位AI科学家团队联合攻关,取得了多项国际领先的AI技术突破,形成超大规模智能模型训练技术体系,训练出包括中文、多模态、认知、蛋白质预测在内的系列模型,勇闯通用智能发展前沿,构建我国人工智能应用基础设施。同时,与龙头企业共同研发工业级示范性应用,加快大规模智能模型应用生态建设。
  北京市科委、中关村管委会副主任许心超介绍,北京将依托在人工智能领域的科技资源和产业发展优势,支持建设智源研究院等一批世界一流新型研发机构,前瞻部署人工智能基础研究,加强关键核心技术攻关,推动人工智能占先。
  北京市超前部署通用智能发展,支持智源研究院牵头建设“超大规模人工智能模型训练平台”,“悟道1.0”即为该平台的重要内容,通过研发超大规模信息智能模型和生命模型,推动电子信息、生物医药等基础科学科研范式变革,加速科学研究进程。同时,该平台将推动创新企业及个人开发者基于大模型构建智能化水平更高的场景应用,赋能实体经济智能化升级,促进经济高质量发展。
  “悟道”模型技术委员会主任、智源研究院学术副院长唐杰教授介绍了“悟道”模型的战略布局及阶段性成果。“悟道1.0”先期启动了4个大模型的研发:以中文为核心的大规模预训练模型“悟道·文源”、首个公开的中文通用图文多模态预训练模型“悟道·文澜”、我国首个具有认知能力的超大规模预训练模型“悟道·文汇”、超大规模蛋白质序列预测预训练模型“悟道·文溯”。
  其中,“悟道·文源”的目标是构建完成全球规模最大的以中文为核心的预训练语言模型,在中英文等多个世界主流语言上取得最好的处理能力,在文本分类、情感分析、自然语言推断、阅读理解等多个任务上超越人类平均水平,探索具有通用能力的自然语言理解技术,并进行脑启发的语言模型研究。目前,“悟道·文源”模型参数量达26亿,具有识记、理解、检索、数值计算、多语言等多种能力,并覆盖开放域回答、语法改错、情感分析等20种主流中文自然语言处理任务。
  “悟道·文澜”的目标是突破基于图、文和视频相结合的多模态数据的预训练理论难题,并最终生成产业级中文图文预训练模型和应用,并在多个评测应用上超过国际最高性能。目前,“悟道·文澜”模型参数量达10亿,模型性能已到达国际领先水平,并已对外开放API。
  发布会上,为了展示如何使用“悟道·文澜”模型,智源研究院联合中国人民大学高瓴人工智能学院和一览群智公司,推出了两款基于该模型的小应用,其中“赋魂”AI小程序,可以为用户上传的照片配文,“AI心情电台”小程序可以利用图片和歌词的相关性,为用户上传的照片搭配最合拍的音乐。
  “悟道·文汇”则致力于从认知的角度研究通用人工智能中一系列更本质问题,侧重进一步提升和发展预训练模型基于逻辑、意识和推理的认知能力,目标是研发出千亿至万亿级别参数量的、更通用且性能超越国际水平的预训练模型,搭建预训练模型体系,同时形成认知智能生态。目前,“悟道·文汇”模型的参数规模达113亿,在多项任务中“悟道·文汇”的表现已经接近突破图灵测试,通过简单微调就已经实现AI作诗、AI作图、AI制作视频、图文生成、图文检索、复杂推理。
  “悟道·文溯”最终目标是以基因领域认知图谱为指导,研发出十亿参数规模、可以处理超长蛋白质序列的超大规模预训练模型,在基本性能、可解释性和鲁棒性等多个方面达到世界领先水平。
  据唐杰介绍,此次发布的“悟道”大模型1.0版本,已经完成了百亿和千亿参数规模的预训练,在多个国际评测中取得世界第一,在部分任务上具有一定认知能力。今年,还将陆续发布后续迭代版本,面向产业界开放使用。
  “悟道”模型应用生态建设分为三个主要阶段,分别关注示范应用、API生态及社区运营维护等。目前,智源研究院已启动第一阶段的示范性应用搭建,正与快手、搜狗、360、阿里、智谱华章、一览群智、循环智能、新华社等机构就模型的应用进行洽谈,联合构建一批工业级示范性应用。
  下一步,智源研究院将加强用户的开发,做好用户服务,与AI龙头企业共同研发更多工业级示范性应用,并将加快推动API生态构建及社区运营迭代工作,通过举办学术交流、技术挑战赛等活动提高“悟道”模型的影响力,吸引更多AI企业、研究机构、个人开发者等开展基于模型的应用开发工作,推动构建国际领先的超大规模智能模型应用生态。

微信扫描二维码,关注公众号。