메타, 소형 온디바이스 AI 모델 ‘모바일LLM’ 정식 출시: 모바일 AI의 새 시대 열다

메타(Meta)가 모바일과 소형 장치를 위한 효율적인 온디바이스 AI 모델 ‘모바일LLM(MobileLLM)’ 제품군을 정식 출시했다. 이는 인공지능의 현장 적용성을 높이는 중요한 진전으로, 모바일 환경에서도 고성능 AI 기술을 사용할 수 있는 길을 열었다.

모바일에 최적화된 AI: 모바일LLM이란?

메타의 모바일LLM은 휴대폰과 기타 소형 기기에서 실행할 수 있도록 설계된 소형 언어 모델(sLM)이다. 이번에 공개된 모델은 모바일LLM-125M, 모바일LLM-350M, 모바일LLM-600M, 모바일LLM-1B 등 네 가지 버전으로, 매개변수(parameter) 수는 각각 1억2500만 개에서 최대 10억 개에 달한다. 이 모델들은 메모리와 전력 소모가 제한된 환경에서도 원활하게 작동하도록 최적화되어 있다.

메모리와 성능 최적화를 위한 설계

메타는 10억 개 미만의 적은 매개변수를 가진 모델을 최적화하기 위해 여러 혁신적인 기술을 적용했다. 대표적인 기술로는 네트워크 깊이 조정, 임베딩 공유, 가중치 공유가 있다.

1. 네트워크 깊이 조정: 작은 소형 모델은 레이어의 수를 늘려 성능을 향상할 수 있다. 이를 통해 모바일 환경에서도 효과적인 성능을 발휘할 수 있다.
2. 임베딩 공유: 입력 임베딩 가중치를 출력 레이어의 가중치로 재사용함으로써 모델의 구조가 더 효율적이고 컴팩트해진다.
3. 가중치 공유: 동일한 가중치를 캐시에 저장하고 이를 두 번 계산하면 SRAM과 DRAM 간의 데이터 전송이 필요 없어진다. 이를 통해 추론 실행 속도가 크게 개선된다.

이러한 기술 덕분에 모바일LLM은 소형임에도 불구하고 뛰어난 성능을 자랑한다.

 

벤치마크 테스트에서 입증된 성과

메타의 모바일LLM은 여러 벤치마크 테스트에서 인상적인 결과를 기록했다. 특히 모바일LLM-125M과 250M 버전은 제로샷(zero-shot) 작업에서 기존 최첨단(SOTA) 모델보다 2.7~4.3% 더 높은 성과를 나타냈다. ‘제로샷’은 학습하지 않은 새로운 작업에서도 모델이 성과를 내는 능력을 뜻한다. 이러한 성능 개선은 언뜻 보기에는 작은 차이로 보일 수 있으나, AI 개발 분야에서는 중요한 진전으로 평가받는다.

모바일LLM-350M: 고효율 모델의 위력

350M 버전은 메타의 더 큰 모델인 ‘라마-2 7B’와 비교했을 때 API 호출 성능에서 비슷한 수준을 기록했다. 이는 소형 모델이 잘 설계되면 적은 계산 리소스만으로도 대형 모델에 필적하는 성능을 제공할 수 있음을 입증한다. 이러한 설계는 모바일과 소형 장치의 제한된 환경에서도 뛰어난 성능을 유지할 수 있다는 점에서 큰 의미가 있다.

접근성과 활용 가능성

현재 모바일LLM은 허깅페이스(Hugging Face) 플랫폼에서 비상업적 용도로 무료로 액세스할 수 있다. 이는 다양한 개발자와 연구자들이 이 모델을 사용해 온디바이스 AI 애플리케이션을 실험하고 개선할 수 있는 기회를 제공한다.

메타는 이번 발표를 통해 AI 기술의 대중화를 가속화하고, 모바일 AI 분야에서의 경쟁력을 높이기 위한 전략을 명확히 했다.

메타의 온디바이스 AI 강화 전략

이번 모바일LLM 제품군의 출시는 메타의 온디바이스 AI 전략의 연장선에 있다. 지난 7월, 메타는 모바일LLM의 초기 논문을 공개했으며, 이후 정식 출시를 통해 이를 구현했다. 또한 지난 10월, 메타는 ‘라마 3.2 1B’ 및 ‘3B’ 모델의 새로운 버전을 출시하면서 온디바이스 AI의 발전에 더욱 집중하고 있음을 알렸다.

결론

메타의 모바일LLM 출시는 AI 기술의 활용성을 확장하고자 하는 노력의 일환으로, 모바일 장치에서도 고성능 AI 모델을 효율적으로 사용할 수 있는 길을 열어주고 있다. 이러한 기술적 진전은 모바일 환경에서의 사용자 경험을 혁신적으로 향상시킬 잠재력을 지니고 있으며, 앞으로의 AI 발전에 중요한 발판이 될 것으로 보인다.

 

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."