LLM3 허깅페이스, sLM용 테스트-타임 스케일링 기술 공개 최근 허깅페이스(Hugging Face)는 소형 언어 모델(sLM)의 추론 성능을 획기적으로 향상시킬 수 있는 기술인 '테스트-타임 스케일링(Test-Time Scaling)'을 오픈 소스로 공개했습니다. 이 기술은 대형 언어 모델(LLM)의 성능을 소형 모델에서도 활용할 수 있게 해 주며, 특히 메모리가 제한적인 환경에서 뛰어난 효과를 발휘할 수 있습니다. 테스트-타임 스케일링: 소형 모델의 한계를 넘다테스트-타임 스케일링은 추론 시 추가적인 컴퓨팅 자원과 시간을 투입해 모델의 응답 품질을 높이는 방법입니다. 이는 오픈AI의 '테스트-타임 컴퓨트(Test-Time Compute)' 방식과 유사하며, 다음과 같은 주요 특징을 포함합니다:응답 정확도 향상: 추가 컴퓨팅을 통해 복잡한 질문에 대해 더 정확한.. 2024. 12. 23. 카타네모, 'GPT-4'보다 12배 빠른 AI 모델 출시 - AI 에이전트의 새로운 가능성 AI 스타트업 카타네모가 AI 기술 분야에서 또 한 번의 혁신을 이끌어냈습니다. 카타네모는 최근 기존의 대형언어모델(LLM)보다 훨씬 빠르고 효율적인 '아치-함수' 시리즈를 오픈 소스로 출시했습니다. 이 모델은 AI 에이전트를 구축하는 데 필요한 함수 호출을 최적화하여, 기존의 LLM 모델보다 최대 12배 더 빠른 속도로 작업을 처리할 수 있다고 합니다. '아치-함수'란 무엇일까? 쉽게 설명하자면아치-함수(Arch-Function)는 복잡한 계산이나 작업을 쉽게 처리할 수 있도록 설계된 AI 모델입니다. 예를 들어, 여러분이 스마트 스피커에게 "이번 주 날씨 알려줘"라고 말하면, 스마트 스피커는 여러분의 요청을 이해하고, 인터넷에서 최신 날씨 정보를 찾아 알려주죠. 마찬가지로, 아치-함수는 사용자가 입.. 2024. 10. 19. 엔비디아, 오픈AI와 앤트로픽을 능가하는 대형 언어 모델(LMM) 출시 - AI 생태계의 새로운 패러다임 엔비디아가 AI 모델 시장에서 다시 한 번 주목받고 있습니다. 이달 초, 대형 멀티모달 모델(LMM)을 선보이며 오픈AI와 같은 주요 경쟁자들과의 모델 경쟁을 선언했던 엔비디아가 이번에는 대형 언어 모델(LLM)도 공개했습니다. 이 모델은 벤치마크 테스트에서 오픈AI의 'GPT-4o'와 앤트로픽의 '클로드 3.5 소네트'를 뛰어넘는 성능을 기록해 큰 화제가 되었습니다. 엔비디아의 새로운 LLM, '라마 3.1-네모트론-70B-인스트럭트' 공개벤처비트에 따르면, 엔비디아는 별다른 홍보 없이 허깅페이스 플랫폼을 통해 '라마 3.1-네모트론-70B-인스트럭트'를 출시했습니다. 이 모델은 엔비디아 전용 플랫폼에서 무료로 사용해볼 수 있어 많은 사용자들이 쉽게 접근할 수 있습니다. 무엇이 특별한가?이번 모델의 .. 2024. 10. 19. 이전 1 다음
