SLM (Small Language Model)

1. 정의 및 등장 배경

• 소형 언어 모델(Small Language Model, SLM)은 파라미터 수가 수백만에서 수십억으로 대규모 언어 모델(LLM)의 수천억·수조 파라미터보다 작음
• 거대한 LLM은 뛰어난 범용 성능을 보이지만 추론 비용·응답 지연이 크고 데이터 프라이버시 우려가 존재함
• SLM은 적은 자원으로 빠르게 동작하며 온프레미스·모바일 등 제한된 환경에서도 오프라인 실행 가능
• 도메인 특화 지식을 교정하기 위한 파인튜닝 비용이 낮아 기업·개인이 자체 모델을 손쉽게 만들 수 있음
• 따라서 작지만 충분히 똑똑한 모델을 쓰자는 흐름과 함께 SLM이 각광받고 있음

---

2. 대표적인 아키텍처 및 오픈소스 SLM

아래 모델들은 공개 가중치와 코드가 제공되어 연구·서비스 모두에 활용 가능

• TinyLLaMA(1.1B)

  • LLaMA2 기반 초소형 모델
  • 약 1조 토큰 사전학습으로 동급 최고 수준 달성
  • 1억개 수준의 파라미터로 경량 PC나 스마트폰에서도 실행 가능

• Phi-2(2.7B)

  • Microsoft 연구팀 발표
  • 13B 미만 모델 중 최상위권 성능의 논리·추론 성능
  • 스케일링 기법과 데이터 큐레이션 덕분에 최대 25배 큰 모델과 맞먹거나 능가하는 성능 달성

  데이터 큐레이션 : '적지만 정제된 교재 + 검증된 웹'을 넣어 정보 밀도와 안정성 극대화

  1. Synthetic 교과서 생성 : GPT 3.5 Turbo로 과학, 수학, 일상, 상식 등 상식적 추론과 일반 지식을 가르치기 위해 연습 문제 및 해설을 생성 → 모델이 추론 패턴을 학습하도록 설계
  2. 웹 데이터 필터링 : 고품질 크롤링을 GPT-4로 문단별 평가해서 점수 낮으면 폐기
     → 노이즈 및 편향 감소, 안정성 증가
  3. 코드, 문제 풀이 보강 : The Stack, StackOverflow 일부 + 단계별 풀이가 포함된 파이썬 교재 데이터
     → 코딩, 수리 성능 강화
  4. 토큰 재활용 학습 : 250B의 고품질 데이터를 여러 pass 돌려 1.4조 토큰 분량만큼 학습
     → 데이터 증분 없이 학습량을 대형 모델 수준으로 맞춤

  스케일링 기법 : teacher-student distillation + 가중치 재사용으로 학습 효율을 극대화

  • 기존 방식 : 새 파라미터 전부 무작위 초기화 후 대규모 학습
  • Phi-2 방식
    1. Phi-1.5 (1.3B) 가중치를 2.7B 아키텍처에 패딩 및 타일링 복사
    2. distillation을 통해 Phi-1.5를 teacher 모델로 출력 분포 학습
    3. 추가 attention head와 같은 새 파라미터는 gradual unfreezing¹으로 점진적 학습

• Mistral 7B(7.3B)

  • Mistral AI 모델로 공개 당시 동급 최고 성능 기록
  • Llama2 13B를 능가하고 Apache-2.0 라이선스로 자유 사용
  • GQA (그룹 쿼리 어텐션)·SWA (슬라이딩 윈도우 어텐션) 등 추론 최적화 기술 적용해 긴 문맥 빠르게 처리

  GQA : Multi-head attention의 계산/메모리 비용 절감 및 성능 유지

  • 여러 attention head가 query는 개별적으로 key, value는 그룹 단위로 연산
  • 기존 dense attention과 거의 같은 성능을 내면서 메모리, 연산량은 대폭 감소
  • 참고

  SWA : 긴 시퀀스 입력에서 attention 연산을 효율적으로 하도록 개선

  • 각 토큰이 전체 토큰을 보지 않고, 자신을 중심으로 한 일정 크기의 슬라이딩 윈도우 내 토큰만 참조
  • 메모리, 연산량 선형으로 감소하고 긴 컨텍스트에서도 빠른 추론 가능
  • 참고

• DistilBERT(66M)

  • 구글 BERT 지식 증류 기법으로 압축하여 40% 모델 축소·60% 추론 가속에도 정확도 95 % 이상 유지
  • 문서 분류, 질의응답 등 언어 이해 작업에서 BERT에 준하는 성능을 훨씬 적은 자원으로 낼 수 있음
  • 2020년 초부터 산업계에서 많이 활용

• Gemma 시리즈(2B~27B)

  • Google이 개발한 Gemini 기반 경량 모델군
    • 1세대 : 2B/7B 파라미터로 여어와 코드/수학 데이터 위주 학습
    • 2세대 : 2B/9B/27B 등으로 성능 향샹
  • Gemma3는 10여개 언어에서 지원 범위를 140개 이상 언어로 확대, 128k 문맥·멀티모달 지원까지 확장, 모바일·웹에도 배포 가능하도록 최적화

---

3. 대형 LLM 대비 SLM의 강점·약점

대형 모델과 소형 모델을 용도별로 병행 사용하는 하이브리드 전략이 확산 중

강점 : 경량화에서 오는 효율성

• 낮은 인프라 비용과 전력 소비 → 온프레미스 서버나 단말기에서 직접 돌릴 수 있음
• 네트워크 왕복 없는 밀리초 응답 → IoT기기나 스마트폰 음성비서, 챗봇 실시간 구동에 적합
• 소량 데이터로 빠른 파인튜닝 기업 내부 지식 반영 쉬움
• 기기 내 추론으로 민감 정보 유출 최소화 → 의료, 금융 분야에서 클라우드 LLM보다는 온프레미스 SML 수요 큼

약점 : 지식 범위와 범용성 한계

• 학습 데이터 범위가 좁아 일반 상식 커버리지 한계
• Emergent capability (돌발적 능력) 부족으로 복잡한 추론 및 다단계 문제 해결 능력 열세 → 특별한 훈련 전략으로 보완 필요 (Phi-2 사례)
• 도메인 외 질문에서 환각 가능성 증가 → 특정 도메인에 과적합
• 제대로 쓰려면 모델 경량화·튜닝 기술 이해 필요 → 큰 모델은 API 바로 써도 되지만 작은 모델을 제대로 쓰려면 경량화나 파인튜닝 역량 필요

---

4. 엣지·온디바이스 활용 사례 및 기술 요건

소형 언어 모델의 가장 큰 활용처 중 하나가 엣지 컴퓨팅과 온디바이스 AI
모두 클라우드 의존 없이 동작해 저지연·프라이버시, 오프라인 가용성 측면에서 장점이 큼

• 모바일 디바이스
  • 7B 모델을 4-bit 양자화하면 3 ~ 4GB 메모리로 실행 가능해 12GB RAM 스마트폰에서 실행 가능
  • Google이 Gemma 3 등 SLM 10여 종을 온디바스이스로 구동하는 라이브러리 제공
• IoT·임베디드
  • 공장 설비가 자체 SLM으로 센서 데이터를 실시간 해석
  • 네트워크 지연이나 연결 불안에 영향 받지 않아 실시간 제어와 안정성 향상
  • SLM을 경량 프레임워크 (C++/마이크로런타임)로 구동하고, 모델을 8-bit 이하 저정밀 양자화하여 메모리 사용 줄이는 기술이 필요
• 웹 브라우저
  • WebGPU+WebLLM으로 7B 모델을 브라우저 메모리에 로드해 오프라인 챗봇 구현
  • 설치없이 동작하고 프라이버시 지키면서 AI 기능 제공
• 멀티모달·RAG
  • Gemma 3 멀티모달 variant가 온디바이스에서 이미지·음성을 직접 처리
  • 작은 모델 + RAG로 지식 보완 → 회사 내부 문서를 휴대폰에서 검색 + 질의응답 해주는 기업용 챗봇으로 활용

모델 최적화 및 경량화가 필수로 보통 4-bit 정밀도로 양자화한 ggml/GGUF 포맷 모델을 사용하고 C++ 기반 추론엔진을 통해 GPU 없이 CPU 만으로 추론할 수 있게 세팅이 필요
또한 메모리 관리와 발열도 고려해야해서 필요시 저용량 모델 (3B 이하) 을 선택하거나 프레임 단위로 로드/언로드하는 기법 활용

ggml과 GGUF

• ggml : C/C++로 구현된 경량 텐서 라이브러리
  • 메모리 절약, SIMD 최적화, 다양한 양자화 지원
  • 목적 : GPU 없이도 로컬 환경에서 LLM을 빠르게 구동
• GGUF : ggml 기반 모델을 저장하는 새로운 통합 파일 포맷
  • GGML Universal Format의 약자
  • 모델 구조/메타정보 표준화

---

5. 산업 도입 사례

• 은행 : 고객지원 챗봇에 7B 한국어 SLM+RAG를 적용해 연간 API 비용 수억 원 절감
• 지방자치단체 : 민원 Q&A를 온프레미스 7B 모델로 24시간 자동 응답
• 스타트업 : 교재 PDF 요약·문제 출제, 앱에 Mistral 7B 내장해서 사용자 데이터 외부 전송 없음
• 제조 기업 : 사내 기술 위키를 벡터 DB로 구축, 7B 챗봇이 최신 문서 기반 답변 제공
• 전자상거래 : 리뷰 데이터 학습, 300M 파라미터 쇼핑 특화 SLM 오픈소스 공개

---

6. 훈련 및 파인튜닝 전략

SLM 제작·활용을 위한 핵심 경량화 기법

• Knowledge Distillation
  • 대용량 teacher 모델의 지식을 소형 student 모델에 전달하여 성능을 높이는 기법
  • student 모델은 학습 과정에서 teacher 모델의 출력 분포 모방하도록 학습 → 큰 모델 수준의 추론 능력 갖추게 됨
  • 대규모 Pre-training 단계에서 적용되기도 하고 특정 다운스트림 태스크에 대해 미세조정할 때 사용
• Quantization
  • 모델의 가중치와 연산을 고정소수점의 저정밀도 표현 (8-bit or 4-bit)으로 바꾸는 기법
  • 학습 중 (QAT) 혹은 학습 후 (PTQ)에 적용 가능하며 PTQ의 경우 추가 학습 없이 모델 줄일 수 있고 QAT는 좀 더 복잡하지만 정확도 저하 최소화
  • 연산 시에도 캐시 적중율이 높아 추론 빨라지는 효과도 있음
  • 8-bit·4-bit 양자화는 성숙 단계이고 3-bit 양자화 연구 중
• LoRA²
  • 파인튜닝 시 모든 가중치 업데이트하지 않고 가중치 행렬을 저랭크 행렬로 분해하여 극히 일부만 학습해 파라미터 수천분의 일로 축소
  • 각 레이어의 가중치 $W$를 두 개의 작은 행렬 곱으로 나타내 $W\approx A\times B$ 로 근사하고, $A,B$만 초기화하여 학습
  • 추론 시에도 저랭크 보조 행렬만 추가 계산하면 되어 추론 속도에 거의 영향 주지 않음
• QLoRA
  • 4-bit 양자화 모델 위 LoRA 적용해서 65억~330억 급 모델도 단일 48GB GPU에서 파인튜닝 가능하며 성능은 99% 이상 유지
  • 저비용으로 거대 모델을 도메인 특화 데이터에 미세튜닝하는 표준 기술로 각광
• Pruning
  • 신경망에서 기여도 낮은 가중치를 제거해 모델 경량화 → 절대값 작은 가중치, 기여도 낮은 뉴런 제거
  • 정확도 저하가 있을 수 있지만 추가 파인튜닝으로 회복
  • 모델 추론 시 계산량을 줄이지만 현대 transformer에서는 구조적 pruning 아니면 큰 효과 없어서 N:M sparsity 등 하드웨어 친화적 기법과 연구

구조적 Pruning : 신경망의 구조 단위로 통째로 잘나내는 pruning

• 장점 : 구조 전체가 사라지므로 연산량 메모리 속도 개선 효과 매우 큼
• 단점 : 정밀하지 못하면 성능 저하 위험
• 예시
  • CNN에서 필터 (채널) 단위로 제거
  • Transformer에서 Attention head 단위로 제거
• 참고

N:M Sparsity : N 개의 파라미터 중 M개만 남기고 나머지는 0으로 만드는 패턴화된 비구조적 sparsity

• 각 weight chunk마다 고정된 N:M 규칙으로 제거
• 장점 : GPU/AI chip 등에서 전용 sparsity 가속 지원, 메모리와 연산량 확실히 감소
• 단점 : 구조적 pruning 만큼 쉬운 설계아니고 너무 큰 N:M이면 성능 저하 위험
• 참고

---

7. 핵심 툴킷 및 프레임워크

• llama.cpp
  • LLaMA 계열 모델을 CPU 상에서 돌리기 위해 만든 C++ 추론 엔진
  • 모델 가중치를 GGUF 4-bit 으로 변환해 사용하며 아주 적은 메모리로 CPU·모바일에서 LLM 추론 가능
  • 사실상 로컬 LLM 실행의 표준 도구
• ggml
  • llama.cpp에서도 활용된 고성능 텐서 라이브러리
  • 온디바이스 추론을 위한 경량 모델의 핵심
  • GGUF 포맷 도입으로 다양한 하드웨어 최적화
• Ollama
  • llama.cpp를 기반으로 한 로컬 LLM 실행/관리 플랫폼
  • 모델 다운로드·서빙을 CLI 한 줄로 처리
  • Modelfile만 작성하면 필요한 모델을 받고 로컬 inference API 열어줌 (Docker-like 운영)
  • 기업 현장에서 여러 경량 모델 운용에 유용한 도구
• Hugging Face Transformers
  • Python 기반 딥러닝 모델 라이브러리로 수천 개 이상의 모델을 쉽게 불러와 추론하거나 파인튜닝 가능
  • 대형 LLM부터 SML, LoRA·양자화·PEFT 등 최신 기능 통합
  • 연구자 개발자 커뮤니티에서 가장 널리 쓰이는 LLM/SML 툴킷

---

8. 향후 전망과 한계

• 대형 LLM과 SLM의 역할이 분화·상호보완적 구조로 정착될 전망 → 간단한 요청은 SLM, 복잡한 요구는 LLM같은 지능형 라운팅
• 고품질 데이터와 구조 혁신으로 작은 모델도 128k 문맥·멀티모달 처리 능력을 확보 중
• 대형 모델 기능의 경량화 추세 이어지고 여러 소형 모델 앙상블 및 메모리 증강으로 외부 지식 활용하는 구조 증가할 것
• 창의적 글쓰기·희귀 언어 등 고난도 과제는 대형 모델이 여전히 우위
• 오픈소스 생태계 확장으로 한국어·다국어 SLM이 계속 늘어나며 경량 AI 대중화를 가속

Footnotes

1. 파라미터의 lock을 조금씩 풀어가며 학습시키는 전략. 파인튜닝 데이터가 모델 전체에 무작정 큰 영향을 미치지 않게 안정적으로 성능 손실 없이 세밀하게 도메인 적응 유도 ↩

2. Low-Rank Adaptation ↩