오늘날 인공 일반 지능(AGI)은 과학 및 산업 커뮤니티에서 핵심 키워드가 되었습니다. 불과 몇 년 전만 해도 많은 사람들이 AGI를 달성하는 데 최소 10~50년이 걸릴 것이라고 믿었거나 심지어 불가능하다고 생각했습니다. 오늘날에는 그런 비관적인 견해가 드뭅니다. 그러나 대중이 이 기술 변화에 열광하는 것과 비교하면 AI 분야의 많은 최전선 학자와 산업 리더는 현재 AI가 AGI로 발전하려면 아직 갈 길이 멀다고 생각합니다.
푸단대 저명한 교수이자 상하이 인공지능연구소(SAIRI) 소장, 그리고 신뢰할 수 있는 대형 모델 회사인 "인피니트 라이트이어"의 설립자인 치 위안에 따르면, "AGI의 가장 큰 표현 중 하나는 복잡한 세계에서 알려지지 않은 법칙을 발견하는 것입니다. 간단히 말해서, 그것은 'AI 아인슈타인'이어야 합니다. 이를 위해서는 '블랙박스' 확률적 예측과 '화이트박스' 논리적 추론을 결합한 '그레이박스' 신뢰할 수 있는 대형 모델을 만들어야 합니다. 그리고 기술과 산업의 긴밀한 통합을 통해 기초 연구, 인재 양성, 실용적 응용을 촉진하여 과학 지능을 위한 혁신적인 생태계를 구축해야 합니다."
최근 2024년 세계인공지능대회(WAIC)와 글로벌 인공지능 거버넌스 고위급 회의에서 SAIRI는 "인공지능: 과학 연구와 산업 개발의 패러다임 전환"이라는 주제 포럼을 성공적으로 개최했습니다. 이는 WAIC에서 이 새로운 연구 기관이 처음 등장한 것입니다. SAIRI는 상하이가 혁신 중심의 "1+1+N" 과학 지능 생태계를 탐구하는 모델로 볼 수 있습니다. 이 모델에는 SAIRI가 전반적인 전략적 계획, 자원 통합, 핵심 기술 연구 및 혁신을 담당하는 중앙 허브로, 또 다른 "1" 푸단 대학과 여러 "N" 대학, 연구 기관, 기술 회사, 혁신 팀, 투자 기관과 협력하여 과학 연구, 인재 양성, 기술 이전, 산업 혁신 및 업그레이드를 공동으로 촉진하는 것이 포함됩니다.
AGI의 기준은 'AI 아인슈타인'을 만드는 것이어야 합니다.
기술적 관점에서, 더 많은 매개변수를 가진 점점 더 큰 모델이 AGI로 이어질까요? 지금까지 AI 기술 자체의 관점이나 에너지 소비 관점에서 볼 때 Transformer 자기 회귀 아키텍처를 기반으로 한 대형 모델은 AGI로 이어지기에 충분하지 않습니다. AI는 새로운 "회색 상자" 신뢰할 수 있는 대형 모델을 개발해야 합니다. 이 결론은 학계와 산업계에서 Qi Yuan이 수년간 쌓은 실무 경험에 근거합니다.
10년 전, "AI를 유용하게 만든다"는 생각으로 Qi Yuan은 팀을 이끌고 알리바바의 핵심 머신 러닝 시스템을 처음으로 200만 개의 매개변수에서 수억 개의 매개변수로 늘려 사업 성과를 크게 개선하고 데이터, 알고리즘, 엔지니어링 역량의 통합적 전환을 보여주었습니다. 이는 오늘날 AI 커뮤니티에서 널리 논의되고 있는 스케일링 법칙의 정확한 구현입니다.
치 위안은 팀이 실제로 스케일링 법칙의 단맛을 맛보았다고 회상합니다. 모델 매개변수를 100배로 늘린 후, 전반적인 효과가 극적으로 개선되었습니다. "하지만 지금은 왜 그때 AI 모델을 더 크게 만들지 않았을까요? 한 걸음 더 나아갈 수 있었을 때 왜 멈췄을까요?"라고 그는 말했습니다. "대형 모델에서 수십억 개의 매개변수만으로는 충분하지 않습니다. 수천억, 수조, 심지어 그 이상으로 나아가야 합니다. 당시 학계와 산업계 모두 컴퓨팅 능력이 부족했고, 산업 분야에서도 그렇게 높은 컴퓨팅 능력을 달성하려면 학계는 말할 것도 없이 매우 높은 비용이 필요했습니다."
AGI의 기준이 "AI 아인슈타인"을 만드는 것이어야 하는 이유는 효과적이고 지능적이어야 하기 때문이라고 치 위안은 설명합니다. 첫째, 아인슈타인은 몇 가지 핵심 데이터 포인트를 통해 "20세기 초 물리학의 구름"을 발견했습니다. AGI는 또한 복잡한 세계의 알려지지 않은 법칙을 발견하고 이해할 수 있어야 합니다. 그러나 현재의 대형 모델은 이를 달성할 수 없습니다. 예를 들어, 시각적 대형 모델인 SORA는 전례 없는 수준으로 물리적 세계를 시뮬레이션하지만 여전히 2차원 세계의 시뮬레이션을 기반으로 3차원 세계를 구성하며 물리적 세계를 철저히 이해하는 데는 거리가 멉니다. 둘째, 전력 소비 문제가 있습니다. 인간의 뇌는 약 15와트로 작동하는 반면 단일 GPU는 수백 와트에 달할 수 있으며 일반적인 대형 모델을 훈련하는 데 필요한 수천 또는 수만 개의 GPU 클러스터는 말할 것도 없습니다. 현재 기존 아키텍처를 계속 사용하면 필요한 전력 소비가 천문학적이어서 효과적이고 지능적이라는 목표를 달성하기 어렵습니다.
"AI 아인슈타인"은 또한 AI for Science(AI4S)의 핵심 목표입니다. 과학적 지능은 알려진 물리 방정식의 솔루션을 가속화하는 데 중요한 역할을 했지만, 데이터와 컴퓨팅 파워에 대한 심각한 의존도를 줄이고 추론 및 예측의 정확성을 개선하며 데이터 조정 지식 규칙에 기반한 새로운 과학 이론을 제안하기 위해 알려진 규칙을 데이터와 결합해야 합니다. 이는 복잡한 세계를 이해하고 알려지지 않은 법칙을 발견하기 위해 인공 지능을 사용하는 Fudan University와 SAIRI의 Qi Yuan의 장기 목표와 일치합니다.
"회색 상자" 신뢰할 수 있는 수직 도메인 대규모 모델은 다양한 산업에 힘을 실어줍니다.
대형 모델이 AI 도구에서 새로운 생산력이 되려면 어떤 문제를 해결해야 할까요? Qi Yuan에 따르면, 대형 모델 산업은 많은 공통적인 과제에 직면해 있어 기술, 제품 및 시장 요구 사항을 일치시키는 데 어려움을 겪고 있습니다.
"오늘날 대규모 모델 구현의 가장 큰 문제는 언뜻 보기에는 유용해 보이지만 실제 사용에는 실패한다는 것입니다." Qi Yuan이 설명합니다. 오늘날의 대규모 언어 모델은 주로 여러 개의 이전 단어를 기반으로 다음 단어를 예측하지만 이러한 접근 방식은 엄격한 다단계 추론에는 적합하지 않습니다. "언어는 사고를 위한 도구가 아니라 의사소통을 위한 도구입니다." 최근 MIT를 포함한 기관에서 최고의 학술 저널에 발표한 논문자연언어는 문화적 지식을 전달하는 강력한 도구이며, 우리의 사고 및 추론 능력과 함께 진화했을 수 있으며, 이는 인간 인지의 복잡성을 반영한다고 지적했습니다. 그러나 언어는 추론의 복잡성을 생성하지 않습니다.
기존 대형 모델의 신뢰성 부족, 낮은 해석 가능성, 높은 비용을 해결하기 위한 효과적인 솔루션은 확률적 신경망 추론과 논리적 기호 계산을 결합하는 것입니다. 이는 노벨상 수상자 다니엘 카네만의 저서에서 설명한 본능에 기반한 빠른 사고와 논리적 추론에 기반한 느린 사고를 결합한 것과 유사합니다.생각하기, 빠르고 느리게. "이것은 '회색 상자' 대형 모델이라고 할 수 있습니다." 치 위안은 믿습니다. "회색 상자" 신뢰할 수 있는 대형 모델에서 신경망과 기호 계산을 결합하면 AI의 "환상"을 줄이고 수직 분야의 전문적인 문제를 해결하여 다양한 산업에 힘을 실어주고 대형 모델의 생산성을 극대화할 수 있습니다.
"회색 상자" 신뢰할 수 있는 대형 모델은 무엇인가? "원래 딥 러닝은 '블랙 박스'로 여겨졌습니다. 이제 논리적 추론과 딥 러닝을 결합함으로써 '회색 상자'가 생겼습니다." 치 위안이 설명합니다. "원래 '블랙 박스'는 사람들이 데이터가 결과를 생성하는 과정을 알지 못하게 했지만, 논리적 추론의 도움을 받은 '회색 상자' 대형 모델은 사람들이 '결과와 그 이유를 모두 알 수 있게' 합니다. 다른 관점에서 보면 '회색 상자' 대형 모델은 딥 러닝을 사용하여 실제 관찰된 데이터에 맞지 않는 규칙을 줄일 수 있습니다."
치 위안은 AI가 금융 및 보험, 풍력 및 에너지, 해상 운송 및 제약 분야 등 다양한 산업의 복잡한 시나리오에서 핵심적인 역할을 하려면 체계적인 산업 지식, 추론 논리 및 의사 결정 메커니즘을 대규모 모델과 결합해야 한다고 말합니다. "회색 상자" 대규모 모델은 AGI의 방향일 뿐만 아니라 수직 분야에 깊이 침투하고 실제 문제를 진정으로 해결하기 위한 강력한 도구이기도 합니다. 치 위안은 "산업적 관점에서 이러한 이해는 매우 직관적입니다."라고 설명합니다. 의사는 변호사가 될 필요가 없고 변호사는 투자 전문가가 될 필요도 없습니다. 각 전문적 역할은 자신의 분야에 집중하고 생산성 도구를 강화해야 합니다. 기술적 관점에서 볼 때 대규모 모델이 관련 없는 작업을 과도하게 학습하면 "치명적 망각"을 경험할 수 있습니다. 예를 들어, 리바이가 시를 쓰는 대신 회계에 모든 시간을 보낸다면 그의 시적 영감은 점차 사라질 수 있습니다. "우리는 이미 수직 도메인에 대한 대규모 모델을 훈련할 때 모델이 관련 없는 기능을 너무 많이 학습하면 원래 기능을 방해할 수 있다는 것을 관찰했습니다. 따라서 수직 도메인에 대한 효과적인 '그레이 박스' 대규모 모델을 개발하는 것은 산업 구현에 큰 가치가 있습니다."
"저는 '회색 상자' 대형 모델이 AGI로 가는 길과 수직 도메인 산업의 구현에서 점점 더 중요한 역할을 할 것이라고 믿습니다. 베이지안 방법론적 관점에서, 그것은 우리의 알려진 지식과 데이터의 숨겨진 정보를 결합하여 새로운 법칙을 발견하고 과학 및 산업 문제를 해결합니다." Qi Yuan이 말했습니다. 미래에는 "AI 아인슈타인"도 "AI 버핏"이 될 수 있습니다.
혁신 체인을 연결하고 과학적 정보 혁신 생태계를 구축합니다.
올해의 세계인공지능대회에서 치위안의 팀은 수천억 개의 매개변수를 가진 신뢰할 수 있는 금융 및 의료용 대형 모델을 출시했습니다. 이러한 수직 도메인 대형 모델은 테스트에서 OpenAI의 1조 개 매개변수 모델 GPT-4 Turbo를 능가하여 다시 한번 대형 모델 구현에 대한 업계의 관심을 끌었습니다.
"오늘날의 AI 혁신은 기본 원칙의 혁신뿐만 아니라 사회적 요구를 해결하는 제품 중심 접근 방식에 의해 주도됩니다. 사회는 이론적 논문이나 비즈니스 모델 혁신의 출판뿐만 아니라 기본 원칙에 기반한 기술 및 산업 혁신의 심층적 통합을 요구합니다. 이 두 가지 요소가 결합되면 더 푸른 바닷물에 도달할 수 있습니다."라고 Qi Yuan은 말합니다.
학계와 산업은 서로 다른 사명을 가지고 있습니다. 학계는 새로운 현상을 탐구하는 반면, 산업은 주로 실질적인 문제를 해결합니다. 전 세계적으로 공통적인 문제는 연구 기관이 많은 기술 혁신 문제를 해결해야 하지만, 상품화와 사회적 요구를 간과하면 두 가지 단점에 직면하게 됩니다. 혁신 기술의 개선을 방해하는 실제 경쟁 압력의 부족과 기술 연구를 안내할 효과적인 시장 피드백의 부족입니다.
이를 위해 치위안은 오랫동안 "대학-연구소-스타트업"의 혁신 체인을 연결하여 기본 기술과 시장 요구를 모두 고려하는 좋은 혁신 생태계를 만들고자 노력해 왔습니다. 제품 방향은 시장 수요와 시나리오에 따라 안내되어야 하며, 기초 혁신을 통해 제품 핵심 경쟁력을 구축해야 합니다.
2023년에 설립된 SAIRI는 지식과 데이터를 결합한 독창적인 AI for Science 혁신에 전념하고 있습니다. 최근 SAIRI는 신에너지, 보험, 도시 관리에 응용할 수 있는 Fuxi 시리즈 기상 대형 모델 2.0를 출시하고 Smart Meteorological Innovation Ecosystem Alliance를 시작했습니다. 이 연합은 Fuxi 시리즈 기상 대형 모델 2.0의 산업적 응용을 점진적으로 촉진하는 것을 목표로 합니다. "회색 상자" 신뢰할 수 있는 대형 모델도 제품 구현에서 진행되고 있으며, Qi Yuan이 설립한 신뢰할 수 있는 대형 모델 회사인 Infinite Lightyear가 이미 설립되었습니다.
과학 지능 혁신 생태계를 더욱 촉진하기 위해 SAIRI와 복단대학이 공동으로 조직하고 상하이 과학기술위원회, 상하이 개발개혁위원회, 상하이 경제정보기술위원회, 상하이 교육위원회를 포함한 여러 부서가 주도하는 제2회 세계 과학 지능 대회가 시작되었습니다. 이 대회는 수백만 달러의 상금을 제공하여 과학 지능의 최전선 분야를 탐구할 글로벌 참가자를 모집합니다. 또한 SAIRI는 데이터 수집 및 처리에서 관리 및 모델링에 이르기까지 전체 체인을 지원하여 효율적인 데이터 처리, 신뢰성 및 안전한 통신을 보장하는 멀티모달 과학 데이터를 포함하는 과학 데이터 플랫폼을 개발했습니다. 이 플랫폼을 기반으로 SAIRI와 파트너는 생명 과학, 재료 과학, 대기 과학 및 기타 분야에 대한 여러 고품질 과학 데이터 세트를 구축하여 과학 지능 연구에 귀중한 리소스를 제공했습니다. 또한 SAIRI는 China Telecom Corporation, COSCO Shipping Insurance Captive, Shanghai Lingang New Area Cross-Border Data Technology 및 10개 이상의 다른 기관을 포함한 글로벌 과학 데이터 생태계 연합을 시작했습니다. 이 연합은 정부, 기업, 대학, 연구 기관 간의 협력을 통해 글로벌하고 다중 도메인의 연구 빅데이터 리소스에 대한 개방적이고 공유 가능한 플랫폼을 구축하는 것을 목표로 합니다.
"과학 연구든 산업이든, 혁신을 위해 혁신해서는 안 됩니다. 우리는 실제 문제를 해결하는 미래의 AGI와 애플리케이션을 구축하고자 합니다."라고 Qi Yuan은 말합니다.