가성비 좋고 전문성 구현…데이터 보안도 적합

프린트

기술미래 ㅣ HIT! 이 기술 가성비 좋고 전문성 구현…데이터 보안도 적합 초개인화 발전…작지만 똑똑한 AI ‘소형 언어모델’이 만드는 미래상

기사입력2024-10-04 00:00

인간의 두뇌와 맞먹는 능력을 갖춘 ‘초거대’ 인공지능(AI)을 만들기 위해, 글로벌 빅테크 기업들은 대규모 언어모델(Large Language Models, LLM) 개발 경쟁을 펼쳐 왔다. 대규모 언어모델은 수많은 텍스트 데이터를 학습하고 추론해 번역, 요약, 질의응답 등 다방면에서 사용자가 원하는 답변을 제공하는 AI를 일컫는다.

하지만 최근에는 ‘초거대’가 아닌 ‘초미니’ 언어모델 역시 주목받고 있다. 생성형 AI 열풍을 주도해 온 마이크로소프트(MS)도 2024년 주목해야 할 IT 트렌드 중 하나로 ‘소형 언어모델(SLM)’을 손꼽기도 했다.

그렇다면 언어모델의 크기에 따른 차이점은 무엇이며, 소형 언어모델이 발전하면 우리의 삶이 어떻게 달라질까?

◇AI 모델의 크기를 나누는 기준은?=‘언어모델(Language Model)’이란 인간의 언어를 이해하고 문장을 생성할 수 있도록 훈련된 AI 모델이다. 언어모델은 수많은 텍스트 데이터를 미리 학습하고, 사용자가 질문한 내용을 분석한 뒤 적절한 답변을 예측하며, 문장을 생성해 사용자에게 답변을 준다. 대표적으로 챗GPT가 있다.

언어모델의 크기는 파라미터의 개수에 따라 다르다. 파라미터(매개변수)란, AI가 데이터를 학습해 패턴을 이해한 뒤 결정을 내릴 때 사용하는 수치를 뜻한다. AI는 데이터의 품질과 학습방법에 따라 성능이 좌우되지만, 파라미터의 개수도 성능에 영향을 미친다. 일반적으로 파라미터의 개수가 많을수록 AI는 더 많은 데이터를 통해 복잡한 패턴을 학습할 수 있다. 이를 바탕으로 AI는 보다 정교한 예측을 하고, 더 자연스러운 텍스트를 생성할 수 있다. 이에 여러 빅테크 기업들이 자사의 언어모델 성능을 강조할 때 파라미터의 수를 강조하기도 했다.

대규모 언어모델과 소형 언어모델(SLM, Small Language Model)을 가르는 절대적인 기준은 없다. 그러나 대략적으로 소형 언어모델은 수백만 개에서 수억 개의 파라미터를, 대규모 언어모델은 수십억 개에서 수천억 개 이상의 파라미터를 갖고 있다. 소형 언어모델은 메타의 라마3, 마이크로소프트의 파이(Phi)-3.5 미니, 오픈AI의 GPT-4o 미니 등이 있다.

소형 언어모델을 사용하더라도 일반 기업이 필요로 하는 AI 서비스를 충분히 구현할 수 있다. 비즈니스 목적과 주어진 예산을 고려해 소형 언어모델을 선택하면 합리적이다. <이미지=이미지투데이>

◇작지만 차별된 장점 있다…기업 주목=그렇다면 언어모델을 개발하고 고도화 하려면 파라미터 개수를 늘리는 것만이 중요할까? 꼭 그렇지는 않다. 소형 언어모델은 대규모 언어모델과는 차별화된 장점으로 시장의 주목을 받고 있다.

첫째, 소형 언어모델은 언어모델을 개발하는 테크 기업 입장에서도, AI를 활용하고자 하는 일반 기업 입장에서도 모두 ‘가성비’가 좋다. 대규모 언어모델은 데이터 학습에 많은 비용이 들며, 이를 유지하고 운영하기 위해 막대한 컴퓨팅 자원(컴퓨터가 데이터를 처리하고 작업을 수행하는 데 필요한 각종 장치 및 인프라)을 필요로 한다. 그만큼 대규모 언어모델을 사용하는 기업도 더 많은 비용을 지불해야 한다.

반면 소형 언어모델은 테크 기업이 보다 빠르게 훈련하고 시장에 배포할 수 있으며, 고객의 요구에 맞춰 발빠르게 업데이트할 수도 있다. 일반 기업 입장에서도 비교적 저렴한 비용으로 AI 서비스를 구축할 수 있다. 소형 언어모델을 사용하더라도 일반 기업이 필요로 하는 AI 서비스(주로 챗봇)를 충분히 구현할 수 있고, 적은 컴퓨팅 자원을 사용하고 응답 속도가 빠르며 유지보수 비용도 적게 든다. 비즈니스 목적과 주어진 예산을 고려해 소형 언어모델을 선택하면 합리적이다.

둘째, 소형 언어모델을 활용하면 특정 분야의 전문성을 지닌 AI를 구현하기 좋다. 대규모 언어모델은 광범위한 데이터를 기반으로 학습한 만큼, 특정 산업의 전문지식을 답변하거나 응용하는 데 한계가 있다. 그렇다고 맞춤 훈련을 하기에는 시간과 비용이 많이 든다. 특정 분야에 최적화된 데이터를 바탕으로 한 소형 언어모델을 만드는 것이 효율적이다.

또한 대규모 언어모델은 너무나도 많은 데이터를 처리하고 학습한 만큼, 어떤 답변을 도출할지 완벽하게 예측하거나 통제하기 어렵고 의도치 않게 부정확하거나 편향된 답변을 생성할 수도 있다. 반면 소형 언어모델은 고품질 학습 데이터만을 선별해 학습하는 만큼, 비교적 정확한 결과를 얻을 수 있다.

셋째, 소형 언어모델은 보안 문제에서 상대적으로 유리하다. 대규모 언어모델은 방대한 양의 데이터를 학습하고 처리하는 만큼 외부 서버 및 클라우드를 사용할 수밖에 없다. 외부 서버나 클라우드를 거치는 과정에서 데이터가 유출될 가능성도 있다. 기업 입장에서는 매출 자료, 민감한 고객 정보, 내부 전략 등이 자칫 외부로 전송될 수 있다는 점 때문에, 대규모 언어모델 사용을 꺼릴 수 있다.

반면 소형 언어모델은 외부 서버나 클라우드를 거치지 않고 기기에서 자체적으로 작동 및 연산이 가능하다. 이에 데이터 보안이 중요한 분야에서 활용하기 적합하다.

◇소형 언어모델, 초개인화 AI로 발전=챗GPT와 같은 대규모 언어모델이 다방면에서 궁금한 것을 해결하도록 돕는다면, 소형 언어모델은 사용자 개개인에게 꼭 맞는 초개인화 AI로 발전할 것으로 보인다.

실제로 소형 언어모델은 최근 각광받는 ‘온디바이스 AI’의 핵심이 되는 기술 중 하나다. 온디바이스 AI는 외부 서버를 거치지 않고 스마트폰, 태블릿PC 등 사용자의 기기 자체에서 AI 모델이 연산을 수행하는 것을 뜻한다. 온디바이스 AI는 사용자의 기기 내에서 실시간으로 연산 처리를 하고 저전력으로 구동하는 만큼 크기가 작을 수밖에 없다. 외부 서버나 네트워크 연결 없이 작동해 개인정보 보호에 유리하고 응답 속도가 빠르다. 온디바이스 AI는 사용자의 기기 내에 있는 데이터를 분석해 각각의 사용자에게 꼭 맞는 서비스를 제공하는 개인형 AI로 발전할 전망이다.

한편 많은 기업들이 소형 언어모델을 이용해 다양한 AI 서비스를 구축한다면, 다양한 생활 분야에서 AI가 주는 편의를 누릴 수 있을 것이다. 예를 들어 가정 내에 AI 스마트홈을 구현할 때는 저전력으로 가동할 수 있는 소형 언어모델이 주로 쓰일 것이다. 환자의 개인정보 보호가 중요하고 각 환자에게 꼭 맞는 서비스가 중요한 의료 분야에서도 소형 언어모델을 기반으로 한 AI를 통해 간단한 상담서비스를 제공할 수 있다. 중기이코노미 안수영 기자