| 세계 최대 지능 모델 “우다오 2.0 발표” | ||
|
||
  2021년 6월 1일, 베이징즈위안(智源)인공지능연구원이 초대규모 지능 모델-”우다오(悟道) 2.0”을 발표했다. “우다오 2.0”은 매개변수 규모가 AI 모델 GPT-3의 10배인 1.75만억에 도달함으로써 기존에 Google Switch Transformer 사전 훈련 모델이 생성한 1.6만억의 매개변수 기록을 경신했다. 해당 기록은 중국 최초, 세계 최대의 만억급 모델이다. "대형 모델 + 높은 연산력"은 범용인공지능을 향한 실행가능한 경로이다. 대형 모델은 인공지능 개발에서 중요한 역할을 한다. 향후 대형 모델을 기반으로한 유사 전력망의 혁신적 AI 산업 인프라가 형성될 전망이다. AI 대형 모델은 데이터, 즉 "연료"를 지능 기능으로 변환하여 다양한 AI 애플리케이션을 구동하는 "발전소"와 동일하다. 대형 모델을 모든 AI 애플리케이션과 연결하여 사용자에게 통일적인 지능 기능을 제공할 경우, 전체 사회가 지능 기능의 생산 및 사용을 위한 네트워크, 즉 "지능망"을 형성 할 것이다. 대형 모델은 차세대 AI를 위한 기초 플랫폼이자 미래 AI 개발을 위한 전략적 인프라이다. "우다오" 초대형 지능 모델은 데이터와 지식 이중구동의 인지 지능을 생성하여 기계가 인간처럼 생각하고 튜링 테스트를 초월하는 기계 인지 능력을 달성하는 것을 목표로한다. 연구팀은 대규모 사전 훈련 모델의 개발에서 많은 기초적 연구을 수행하여 자체적인 초대규모 지능 모델 기술 혁신 시스템을 형성하고, 사전 훈련 이론 기술에서 사전 훈련 도구, 그리고 사전 훈련 모델 구축과 최종 모델 평가에 이르는 완벽한 체인을 보유함으로써 기술적으로 완전히 성숙되었다. “우다오 2.0”은 대규모, 스마트, 고정밀, 고효율 등 특성을 보유한다. 연구팀이 개발한 FastMoE 기술은 국제적인 기술 병목 현상을 해소하고 "만억급 모델"의 초석을 달성하는 핵심이다. 연구팀이 개발하여 오픈소스된 FastMoE는 최초로 PyTorch 프레임 워크를 지원하는 MoE 시스템으로 간단하고 사용이 편리하며 영활하고 성능이 높은 등 특성을 보유하며 대규모 병렬 훈련을 지원한다. 또한, Switch, GShard 등 복잡한 균형 전략 및 다양한 모델을 지원한다. 정보출처 : http://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2021-06/02/content_468929.htm?div=-1 |
SEARCH
- 정책동향
- 이슈리포트
- 통계DB
- 통계DB