구글 딥마인드, AI 훈련 속도 13배 빠르고, 10배 저렴한 ‘제스트’ 공개

구글 딥마인드가 AI 훈련의 속도를 대폭 개선하고 비용을 크게 절감할 수 있는 새로운 훈련 방법 ‘제스트(JEST)’를 공개했습니다. 이 새로운 기법은 이미지 및 텍스트 처리를 위한 멀티모달 AI 모델의 성능을 높이고 비용을 줄이는 데 초점을 맞추고 있습니다.

 

출처 = 구글

제스트(JEST)의 혁신적 접근

일반적으로 AI 모델의 성능을 결정짓는 핵심 요인은 데이터의 품질입니다. 잘 선별된 데이터셋을 활용하면 적은 데이터로도 강력한 성능을 달성할 수 있습니다. 멀티모달 AI 모델은 이미지와 텍스트 쌍의 매핑을 최대화하고 관련이 없는 쌍의 매핑을 최소화하는 방식으로 학습합니다.

기존에는 훈련 데이터를 무작위로 선택하거나, 개별 관련성을 기반으로 선택하는 방식을 사용했습니다. 반면, 제스트는 데이터를 개별적으로 선택하는 대신 고품질 데이터를 포함하는 '배치(batch)' 선택법을 도입했습니다. 배치는 전체 훈련 데이터셋을 특정 크기로 나눈 데이터 단위를 뜻합니다.

 

구글 딥마인드 챌린지 매치

 

위 버튼을 누르면 Google DeepMind Challenge Match 페이지로 안전하게 이동합니다.

고품질 소스 기반 사전 훈련

제스트는 고품질 소스에서 사전 훈련한 소형 모델을 활용해 전체 배치에 대한 데이터 품질을 평가하고 순위를 매깁니다. 소형 제스트 모델을 통해 가장 적합한 배치를 선택하여 멀티모달 AI 모델을 훈련하는 방식입니다. 연구진은 소규모의 고품질 데이터 세트로 사전 훈련한 제스트 모델이 전체적인 성능을 결정한다고 강조했습니다.

성능과 비용 절감 효과

딥마인드 연구진은 "작고 잘 큐레이팅된 데이터셋의 분포로 데이터 선택 과정을 유도하는 능력이 제스트 방법의 핵심”이라며 "이 방식은 최첨단 모델의 훈련 시간을 13배 단축하고 필요한 컴퓨팅 성능을 90%까지 줄일 수 있다"고 주장했습니다.

 

구글 딥마인드 사이트 바로가기

 

위 버튼을 누르면 페이지로 안전하게 이동합니다.

인간 큐레이팅의 중요성

제스트 방법은 훈련 데이터의 품질에 전적으로 의존합니다. 따라서 최고수준의 데이터를 큐레이팅하기 위한 전문가의 기술이 필요하며, 이는 아마추어 AI 개발자들이 따라하기 매우 어려운 방식입니다. 인간 큐레이팅을 통해 제스트 모델을 사전 훈련할 최고 품질의 데이터셋을 갖추지 못하면 유효하지 않은 방식이 될 수 있습니다.

환경에 미치는 긍정적 영향

AI 산업은 에너지 소비가 매우 큰 분야로 알려져 있습니다. 대규모 AI 시스템의 훈련에는 막대한 처리 능력과 에너지가 필요하며, 이는 환경에 큰 영향을 미칩니다. 그러나 제스트와 같은 방법을 통해 AI 훈련의 효율성을 크게 높이면 에너지 소비를 줄일 수 있습니다. 이는 AI 기술의 지속 가능성을 높이고 환경에 미치는 영향을 줄이는 데 기여할 수 있습니다.

 

구글 딥마인드의 제스트(JEST) 방법은 AI 훈련의 속도와 비용 효율성을 크게 향상시키는 혁신적인 접근 방식입니다. 고품질 데이터를 중심으로 한 훈련 방법은 최첨단 AI 모델의 성능을 유지하면서도 필요한 자원을 대폭 줄일 수 있습니다. 이러한 기술은 AI 산업의 발전과 함께 환경 보호에도 기여할 수 있는 중요한 돌파구가 될 것입니다.

 

관련기사 더보기

https://www.joongang.co.kr/article/25248116#home

구글 딥마인드 대표 “수년 내 AI가 설계한 약 투여 할 수 있어" | 중앙일보

 

https://www.aitimes.com/news/articleView.html?idxno=159481

구글 딥마인드, '알파폴드 3' 공개..."단백질 생성 넘어 생체 분자 예측으로 확장" - AI타임스

 

https://www.digitaltoday.co.kr/news/articleView.html?idxno=523053

구글 딥마인드, AI 모델 '젬마2' 공개…최대 270억개 파라미터 - 디지털투데이 (DigitalToday)