한국의 AI 자존심 EXAONE 3.5 직접 써보니: 로컬 PC에서 돌리는 한국어 특화 LLM 완전정복 (GPT-4와 성능비교 포함)
한국의 LLM 자존심, EXAONE 3.5 - lmstudio에서 사용법과 성능 테스트
여러분, 바야흐로 AI 전쟁 시대입니다. GPT-4와 Claude를 무작정 사용하기만 하는 건 아닌지, 우리나라의 AI 기술력은 어디쯤 와있는지 궁금하지 않으신가요? LG AI연구원이 개발한 Frontier AI급 모델을 직접 테스트해볼 기회입니다!
안녕하세요, 여러분! 오늘은 지금 핫한 AI 기술 이야기를 나눠보려고 해요. 특히 LG AI연구원이 최근 오픈소스로 공개한 대규모 언어 모델 'EXAONE 3.5'에 대해서 깊이 파헤쳐 볼게요. 지난 주말에 집에서 이것저것 테스트해보면서 발견한 특징과 장단점, 그리고 무료 오픈소스 툴인 lmstudio에서 어떻게 활용할 수 있는지 알려드릴게요. 특히 이번에 새롭게 공개된 세 가지 모델 사이즈(2.4B, 7.8B, 32B)의 차이점과 활용법에 대해서도 자세히 다뤄볼 거에요.
목차
EXAONE 3.5란 무엇인가? (LG의 한국형 LLM)
일단 간단히 소개부터 할게요. 'EXAONE 3.5'는 LG AI연구원이 개발한 한국형 대규모 언어 모델(LLM)입니다. 이름의 의미가 좀 궁금했는데요, LG 측에 따르면 '엑사(exa)'는 10의 18승을 뜻하는 단위로, 방대한 데이터와 연산 능력을 상징한다고 해요. 여기에 '하나(one)'를 합쳐서 최고의 AI를 만들겠다는 의지를 담았다네요.
이 모델은 2022년에 처음 등장했고, 꾸준한 발전을 거쳐 2023년에 3.0 버전이 나왔고, 현재는 3.5 버전까지 발전했어요. 특히 최근에 LG AI연구원이 과감하게 모델을 오픈소스로 공개했다는 점이 주목할 만합니다. 지난 8월 EXAONE 3.0 기반 7.8B 모델을 처음 공개한 이후, 불과 4달 만에 한층 강력해진 2.4B, 7.8B, 32B 세 가지 크기의 모델 라인업을 추가로 공개했거든요. 이건 정말 큰 결정이었죠. 국내 기업으로서는 드문 행보거든요.
EXAONE 3.5는 현재 Hugging Face에서 'LGAI-center/EXAONE-Korean-3.5B' 등의 모델명으로 찾을 수 있습니다. 라이센스는 연구 및 개인적 용도로 사용할 수 있는 조건으로 제공되고 있어요. EXAONE 3.5의 공개로 인해 국내 AI 연구 생태계에 새로운 바람이 불고 있습니다.
EXAONE 3.5의 주요 특징과 모델 라인업
EXAONE 3.5의 가장 대표적인 특징과 이번에 공개된 세 가지 모델 라인업에 대해 자세히 알아볼게요.
세 가지 모델 라인업
- 2.4B 초경량 모델: 온디바이스 환경이나 저사양 GPU에서도 학습과 추론이 가능한 경량화 모델이에요. 노트북이나 태블릿 같은 저사양 환경에서도 구동 가능하도록 설계되었습니다. 모바일 앱이나 임베디드 시스템에 적합해요.
- 7.8B 경량 모델: 사용자의 목적에 맞춰 범용적으로 활용 가능한 중간 크기의 모델입니다. 이전 버전의 오픈소스 모델과 크기는 동일하지만 성능은 더욱 향상되었어요. 대부분의 일반적인 태스크를 처리하기에 충분한 성능을 갖추고 있습니다.
- 32B 고성능 모델: Frontier AI급의 강력한 성능을 자랑하는 대형 모델입니다. 성능을 최우선으로 고려하는 고객을 위한 모델로, 가장 복잡한 작업이나 전문적인 도메인에서의 사용에 적합합니다. 물론 그만큼 하드웨어 요구사항도 높습니다.
세 모델 모두 32K 토큰의 컨텍스트 길이를 지원하는데, 이는 단순한 이론적 수치가 아니라 실제로 모델이 이해하고 처리할 수 있는 Effective Context Length라는 점이 중요해요. 많은 모델들이 긴 컨텍스트를 지원한다고 하지만 실제로는 효과적으로 처리하지 못하는 경우가 많거든요.
학습 효율성의 비밀
EXAONE 3.5의 뛰어난 성능 뒤에는 LG AI연구원만의 효율적인 학습 방식이 있어요. 사전학습 단계에서는 중복된 데이터와 개인 식별 정보를 제거하는 정교한 프로세스를 통해 모델의 품질을 높이면서도 인프라 비용을 절감했습니다.
또한 사후학습 단계에서는 SFT(Supervised Fine-tuning)와 DPO(Direct Preference Optimization) 기법을 활용해 모델의 Instruction Following 능력을 강화하고 사용자 선호도를 잘 반영하도록 했죠. 이런 세심한 최적화 과정이 EXAONE 3.5의 성능을 글로벌 수준으로 끌어올린 비결이라고 볼 수 있어요.
EXAONE 3.5의 모델링 과정에서는 성능 평가의 신뢰도를 높이기 위한 'Decontamination' 과정도 엄격하게 진행되었습니다. 이는 테스트 데이터가 학습 데이터에 포함되어 있지 않도록 10회에 걸쳐 반복 검증하는 과정으로, 벤치마크 결과의 신뢰성을 크게 높였습니다.
학습 데이터의 특징
이 모델의 가장 큰 특징은 역시 한국어 데이터에 최적화되었다는 점이에요. LG AI연구원은 방대한 양의 한국어 데이터를 학습에 사용했으며, 이 중 상당 부분이 한국어 코퍼스로 구성되어 있어요. 특히 국내 뉴스, 블로그, 커뮤니티 데이터, 한국어 위키피디아 등 다양한 소스를 포함했다고 알려져 있습니다.
그리고 재미있는 점은 한국 특유의 인터넷 문화나 신조어도 학습했다는 거예요. 이건 제가 직접 테스트해봤는데, "갑분싸", "꾸안꾸" 같은 줄임말이나 "억까", "오타쿠" 같은 인터넷 용어도 잘 이해하더라고요. GPT나 Claude도 이런 단어들을 알긴 하지만, 맥락을 이해하는 깊이나 관련 대화의 자연스러움에서 확실히 차이가 느껴졌어요.
"한국어는 그저 번역된 결과물이 아니라, 우리의 문화와 맥락을 담고 있는 언어입니다. 그런 측면에서 한국인들이 만든 모델이 갖는 강점이 있습니다." - LG AI연구원 관계자
글로벌 수준의 성능: 벤치마크 결과 분석
LG AI연구원은 EXAONE 3.5의 성능을 검증하기 위해 다양한 벤치마크 테스트를 진행했어요. 그 결과는 정말 놀라웠습니다. 동일 크기의 글로벌 모델들과 비교했을 때 여러 분야에서 우수한 성능을 보였거든요. 특히 두 가지 부분에서 뛰어난 결과를 보여줬어요.
Long Context 이해력: 4개 벤치마크 최고 성능
EXAONE 3.5의 가장 큰 강점 중 하나는 긴 문맥을 이해하는 능력이에요. 특히 RAG(Retrieval-Augmented Generation) 기술이 주목받는 요즘, 모델의 Long Context 이해 능력은 정말 중요해졌죠. EXAONE 3.5의 세 모델 모두 32K 토큰 길이의 문맥을 효과적으로 처리할 수 있으며, 이는 동일 크기의 경쟁 모델들과 비교했을 때 가장 뛰어난 성능이었습니다.
Long Context 이해력을 측정하는 4개의 주요 벤치마크에서 EXAONE 3.5는 최고 성능을 기록했어요. 특히 이건 영어뿐만 아니라 한국어 Long Context에서도 뛰어난 성능을 보여준다는 점이 중요합니다. 실제로 긴 뉴스 기사나 논문 등을 요약하고 분석하는 테스트에서 정확도와 일관성 면에서 글로벌 모델들을 능가했어요.
Long Context 성능 테스트 결과 요약: 16K 이상의 컨텍스트 길이를 지원하지 않는 모델들은 비교 대상에서 제외되었으며, EXAONE 3.5의 세 모델 모두 해당 크기의 글로벌 모델 대비 최고 성능을 기록했습니다. 이는 긴 문서를 처리하고 요약하거나, 많은 참고 자료를 기반으로 답변을 생성해야 하는 실무 환경에서 큰 강점으로 작용할 것입니다.
Instruction Following 능력: 7개 벤치마크에서 최고 점수
AI 모델의 실제 활용성을 가늠하는 중요한 지표 중 하나는 바로 '지시 따르기(Instruction Following)' 능력이에요. LG AI연구원은 실제 사용성과 관련된 7개의 벤치마크 테스트를 통해 EXAONE 3.5의 성능을 검증했는데, 세 모델 모두 동일 크기의 글로벌 모델들보다 평균적으로 높은 점수를 기록했습니다.
이 결과는 EXAONE 3.5가 단순히 연구용 모델이 아니라 실제 비즈니스 환경에서 생산성과 효율성을 높이는 데 활용될 수 있음을 보여주는 증거에요. 특히 한국어 지시문을 이해하고 적절한 답변을 제공하는 능력이 뛰어나서, 국내 기업이나 기관에서 활용하기에 최적화된 모델이라고 할 수 있죠.
일반 도메인 능력: 9개 벤치마크에서 경쟁력 있는 결과
EXAONE 3.5는 수학, 코딩, 추론 능력 등 일반적인 도메인에서도 뛰어난 성능을 보였습니다. 총 9개의 벤치마크를 활용해 검증한 결과, 특히 2.4B 모델은 동일 크기의 글로벌 모델 중 평균 점수 1위를 기록했어요. 7.8B와 32B 모델도 각각 상위권에 랭크되었습니다.
특히 한국어와 영어 모두에서 뛰어난 성능을 보인다는 점이 인상적이었어요. 이중언어(Bilingual) 모델로서의 강점을 확실히 보여주는 부분이죠. 복잡한 수학 문제 해결이나 코드 생성, 논리적 추론이 필요한 태스크에서도 글로벌 모델들과 견줄 만한 성능을 발휘한다는 건 정말 놀라운 성과라고 생각해요.
lmstudio란? 로컬에서 AI 모델 돌리기
자, 이제 본격적으로 EXAONE 3.5를 사용해 볼 시간이에요. 그런데 LG에서 일반인을 위한 공식 API를 아직 널리 제공하지 않기 때문에 어떻게 사용할 수 있을까요? 여기서 바로 'lmstudio'라는 프로그램이 등장합니다.
lmstudio는 쉽게 말해서 오픈소스 AI 모델을 로컬 PC에서 실행할 수 있게 해주는 도구에요. 이름은 'Language Model Studio'의 줄임말이죠. 정말 편리한 GUI 인터페이스를 제공해서 프로그래밍 지식이 없어도 쉽게 사용할 수 있어요.
lmstudio는 현재 Windows, macOS, Linux 모두 지원하며, 공식 사이트(lmstudio.ai)에서 무료로 다운로드 받을 수 있습니다. GPU가 있으면 당연히 더 빠르게 작동하지만, CPU만으로도 특히 EXAONE 2.4B 모델은 충분히 구동 가능한 점이 장점이죠.
솔직히 말하자면, 제가 처음 lmstudio를 접했을 때는 좀 의심스러웠어요. '이런 고급 AI 모델을 그냥 내 컴퓨터에서 돌릴 수 있다고?' 싶었거든요. 하지만 실제로 설치해보니 놀랍도록 간단했습니다. 그리고 ChatGPT처럼 웹 인터페이스가 아니라 설치형 프로그램이다 보니 인터넷 연결 없이도 사용할 수 있고, 무엇보다 개인정보가 외부로 새어나갈 걱정이 없는 게 큰 장점이었어요.
한국어 이해력: EXAONE의 진정한 강점
EXAONE 3.5의 가장 큰 강점은 단연 뛰어난 한국어 이해력과 생성 능력이에요. 이건 단순히 한국어 문장을 문법적으로 올바르게 작성하는 수준을 넘어서, 미묘한 문화적 뉘앙스와 사회적 맥락까지 이해하는 능력을 말합니다.
한국 문화와 정서의 이해
제가 특히 인상 깊었던 건 "정" 같은 한국적 개념이나 "눈치", "체면" 같은 문화적 용어를 EXAONE이 얼마나 자연스럽게 이해하고 설명하는지였어요. 외국계 모델들도 이런 개념을 알고는 있지만, 실제 맥락에서 자연스럽게 활용하는 능력은 EXAONE이 확실히 앞섰습니다.
또한 명절, 세시풍속, 전통문화 등 한국의 고유한 문화적 요소에 대한 이해도도 더 깊고 정확했어요. "추석에 도시 청년이 고향에 내려가기 싫어하는 상황을 유머러스하게 묘사해줘"와 같은 요청에서 EXAONE은 정말 공감가는 상황을 묘사해 냈습니다.
신조어와 인터넷 용어
요즘 젊은 세대들이 사용하는 신조어나 인터넷 용어에 대한 이해도 역시 EXAONE의 강점이었어요. "근본", "찐", "잼민이", "억까" 같은 용어들을 적절한 맥락에서 사용할 수 있었고, 이런 표현들이 가진 미묘한 어감까지 파악하고 있었습니다.
테스트 질문: "요즘 MZ세대가 쓰는 '갓생살기'와 '며칠째 가성비 좋은 점메추 찾는 중인데 찐 맛집 알려주세요'라는 문장을 해석해줘."
EXAONE 32B 응답: "'갓생살기'는 '갓(God)'과 '인생(생)'의 합성어로, 건강한 규칙적인 생활, 자기계발, 열심히 살아가는 모습을 의미해요. 마치 신처럼 완벽하게 자기 관리를 하며 사는 생활 방식을 뜻합니다.
'며칠째 가성비 좋은 점메추 찾는 중인데 찐 맛집 알려주세요'는 '며칠째 가격 대비 성능(가성비)이 좋은 점심 메뉴 추천(점메추)을 찾고 있는데, 진짜(찐) 맛있는 식당을 알려달라'는 의미입니다. 줄임말과 신조어를 많이 활용한 전형적인 MZ세대 대화 스타일입니다."
GPT-4 응답: "'갓생살기'는 신과 같은(God) 삶을 살아간다는 의미로... '점메추'는 '점심 메뉴 추천'의 줄임말로 보입니다..."
EXAONE이 한국적 맥락에서 더 자연스럽게 설명했으며, 특히 "찐"이라는 표현의 뉘앙스를 더 정확히 파악했습니다. 또한 추가로 MZ세대의 소통 방식에 대한 문화적 이해까지 보여주었습니다.
실전 성능 테스트: GPT-4, Claude와 비교해보기
이론적인 벤치마크도 좋지만, 실제 사용자 경험이 더 중요하죠. 제가 직접 EXAONE 3.5 모델들을 GPT-4와 Claude 3 Opus와 같은 글로벌 모델들과 비교해봤어요. 몇 가지 분야별 테스트 결과를 공유해드릴게요.
한국어 텍스트 생성 능력
우선 한국어 문장 생성 능력에서는 EXAONE 3.5의 32B 모델이 정말 놀라운 성능을 보여줬어요. 자연스러운 한국어 표현과 문맥 이해력이 GPT-4에 버금가는 수준이었습니다. 특히 유머나 속담, 관용구 등 문화적 뉘앙스를 이해하는 능력이 뛰어났죠.
7.8B 모델도 제법 괜찮은 성능을 보였고, 2.4B 모델은 기본적인 대화나 간단한 설명에는 충분했지만 복잡한 주제나 긴 문맥에서는 약간의 한계를 보였어요. 하지만 크기 대비 성능은 정말 인상적이었습니다.
실제 테스트 질문 예시: "인공지능이 인간의 일자리를 대체할까요? 다양한 관점에서 설명해주세요."
이 질문에 대해 EXAONE 32B는 경제학적, 사회학적, 기술적 관점에서 균형 잡힌 분석을 제공했으며, 한국 상황에 맞는 예시를 들어 설명했습니다. GPT-4는 더 많은 세부 사항을 제공했지만, 한국적 맥락에서는 EXAONE이 더 적절한 예시를 들었습니다.
코딩 및 기술 문서 작성
코딩 및 기술 문서 작성 영역에서는 글로벌 모델들이 아직 우위를 보였어요. EXAONE 32B 모델도 기본적인 Python, JavaScript 코드는 잘 작성했지만, 복잡한 알고리즘이나 대규모 코드 생성에서는 GPT-4나 Claude 3 Opus에 비해 약간 부족했습니다.
하지만 한국어로 된 기술 문서나 코드 설명을 요청했을 때는 EXAONE이 더 자연스럽고 이해하기 쉬운 설명을 제공했어요. 특히 국내 IT 환경이나 용어에 대한 이해도가 높았습니다.
창의적 글쓰기와 마케팅 카피
창의적 글쓰기와 마케팅 카피 작성 분야에서는 EXAONE의 강점이 돋보였어요. 특히 한국 문화와 정서에 맞는 카피라이팅에서 EXAONE 3.5 모델들은 훨씬 자연스러운 결과물을 보여줬습니다.
"봄맞이 캠페인을 위한 SNS 광고 문구 5개를 작성해주세요"라는 요청에서 EXAONE은 한국의 봄 정서와 문화적 요소를 잘 반영한 카피를 생성했어요. GPT-4는 더 다양한 아이디어를 제시했지만, 일부는 한국 정서와 약간 동떨어진 느낌이었습니다.
"언어 모델의 진정한 가치는 단순히 벤치마크 점수가 아니라, 실제 사용자의 목적에 얼마나 잘 부합하는가에 있습니다. 한국어 사용자에게는 EXAONE 같은 한국형 모델이 갖는 문화적 이해도가 때로는 더 중요할 수 있습니다." - AI 연구자 인터뷰 중
책임 있는 AI: 윤리적 측면 살펴보기
AI 기술이 발전할수록 윤리적 측면에 대한 고려도 더욱 중요해지고 있어요. LG AI연구원은 EXAONE 3.5의 개발 과정에서 이런 부분을 어떻게 다뤘는지 살펴볼게요.
윤리적 AI 개발 원칙
LG AI연구원은 EXAONE 3.5의 개발 과정에서 '윤리적인 AI'를 위한 기업의 책임을 다하고자 했습니다. 다양한 사이즈의 모델 라인업을 오픈소스로 공개할 경우, AI 연구와 생태계 발전에 기여할 수 있는 반면, 의도하지 않은 사회적 약자에 대한 불평등 문제나 유해 콘텐츠 생성 등 잠재적 위험도 존재하기 때문이죠.
이에 LG AI연구원은 AI 라이프사이클 전 주기에서 위험 여부를 검토하는 'AI윤리영향평가' 과정을 진행했으며, LG AI 윤리원칙을 준수하며 연구 개발을 이어왔습니다. 이는 모델이 사회에 미칠 수 있는 부정적 영향을 최소화하기 위한 노력이죠.
투명한 평가 결과 공개
EXAONE 3.5의 윤리성 평가 결과, 우수한 점과 함께 보완이 필요한 부분도 확인되었습니다. 세 모델 모두 혐오 표현이나 불법적인 요소를 필터링하는 부분에서는 우수한 결과를 보였어요. 하지만 상대적으로 2.4B 모델의 경우 지역이나 직업과 관련한 편향을 개선해야 하는 점도 발견되었죠.
LG AI연구원은 이러한 평가 결과를 투명하게 공개했는데, 이는 AI 윤리가 발전하기 위해서는 투명한 정보 공개가 선행되어야 한다는 신념 때문입니다. 이러한 투명성은 연구자들이 AI 윤리 측면에서 더 활발한 연구를 진행할 수 있는 토대가 됩니다.
개인정보 보호와 데이터 안전성
EXAONE 3.5 모델은 학습 과정에서 개인정보 보호를 위한 철저한 데이터 처리 과정을 거쳤습니다. 사전학습 단계에서 개인 식별 정보를 제거하는 등의 과정을 통해 프라이버시 보호에 만전을 기했어요.
또한 lmstudio를 통해 로컬에서 모델을 실행할 경우, 사용자의 데이터가 외부로 전송되지 않기 때문에 개인정보 보호 측면에서 더욱 안전하게 사용할 수 있습니다. 이는 기업용 솔루션이나 민감한 정보를 다루는 환경에서 특히 중요한 장점이죠.
비즈니스 활용 사례와 파트너십
AI 기술은 이제 단순한 기술적 가능성을 넘어 실제 비즈니스 가치를 창출하는 단계로 접어들었어요. EXAONE 3.5는 이미 다양한 산업 분야에서 활용되고 있으며, 여러 기업들과의 파트너십을 통해 실질적인 성과를 만들어가고 있습니다.
국내 기업 협력 사례
LG AI연구원은 국내 여러 기업들과의 파트너십을 통해 EXAONE 3.5의 비즈니스 활용 사례를 확장하고 있어요. 폴라리스오피스, 한컴 등 자체 소프트웨어를 보유한 기업 서비스에 EXAONE 3.5 기반의 AI 솔루션 적용을 논의 중입니다.
특히 주목할 만한 사례는 공공기관 활용도가 높은 한컴오피스에 EXAONE 3.5 기반의 AI 서비스를 구현하는 PoC(Proof of Concept) 과제를 추진 중인 점이에요. 이를 통해 정부 및 공공기관의 업무 효율성 혁신을 이룰 것으로 기대됩니다.
산업별 활용 가능성
EXAONE 3.5는 다양한 산업 분야에서 활용될 수 있는 잠재력을 가지고 있습니다. 특히 한국어에 최적화된 모델이기 때문에 국내 특화 서비스에 더욱 적합하죠.
- 금융 서비스: 한국 금융 용어와 규제를 이해하는 챗봇, 투자 보고서 자동 생성
- 공공 서비스: 민원 처리 자동화, 행정 문서 요약 및 분석
- 교육: 맞춤형 한국어 학습 도구, 국내 교육과정에 최적화된 콘텐츠 생성
- 헬스케어: 한국어 의료 상담 서비스, 의료 기록 요약
- 콘텐츠 제작: 한국 문화에 맞는 마케팅 콘텐츠, 광고 카피 자동 생성
EXAONE 3.5의 세 가지 모델 라인업(2.4B, 7.8B, 32B)은 각기 다른 비즈니스 니즈에 맞게 선택할 수 있어 활용 가능성이 더욱 넓어졌습니다. 자원이 제한된 스타트업은 2.4B 모델을, 고성능이 필요한 엔터프라이즈 환경에서는 32B 모델을 활용하는 등 상황에 맞는 유연한 적용이 가능합니다.
결론: 한국형 LLM의 현주소와 미래
지금까지 LG AI연구원의 EXAONE 3.5에 대해 깊이 있게 살펴봤어요. 한국어에 최적화된 이 모델은 글로벌 AI 시장에서 한국의 기술력을 보여주는 중요한 이정표라고 할 수 있습니다.
EXAONE 3.5의 의의
EXAONE 3.5의 출시와 오픈소스 공개는 여러 측면에서 의미가 큽니다. 우선, 한국 기업이 개발한 모델이 글로벌 벤치마크에서 경쟁력 있는 성능을 보여주고 있다는 점은 국내 AI 기술의 발전을 보여주는 증거에요.
또한, 다양한, 크기의 모델을 오픈소스로 공개함으로써 연구자들이나 개발자들이 쉽게 접근하고 활용할 수 있게 된 점도 큰 의미가 있습니다. 이는 국내 AI 생태계 발전에 기여할 것이며, 더 많은 혁신을 촉진할 것으로 기대돼요.
앞으로의 발전 방향
LG AI연구원은 EXAONE 3.5 모델에 대한 다양한 피드백에 귀 기울이고, 연구자들의 니즈에 맞춘 모델을 꾸준히 공개해 나갈 계획이라고 합니다. 이를 통해 연구와 생태계 발전에 기여하고, AI 혁신의 기반을 다져나갈 것으로 보여요.
특히 한국어와 한국 문화에 특화된 강점을 더욱 발전시켜, 글로벌 모델들과 차별화된 가치를 제공하는 방향으로 나아갈 것으로 예상됩니다. 이는 단순한 기술 경쟁이 아닌, 문화적 다양성과 지역 특화 AI의 중요성을 보여주는 사례가 될 것이에요.
저는 직접 EXAONE 3.5를 테스트해보면서 한국어 AI의 가능성을 새롭게 발견했어요. 여러분도 lmstudio를 통해 직접 경험해보시면 그 가능성을 체감하실 수 있을 거에요. 특히 한국어 컨텐츠를 다루는 분들이라면 꼭 한번 사용해보시길 추천합니다!
"AI 기술의 진정한 발전은 지역과 문화의 다양성을 존중하고 포용할 때 이루어집니다. EXAONE 3.5는 글로벌 AI 시장에서 한국의 색깔을 보여주는 중요한 첫걸음입니다." - 블로그 저자의 마무리 인사
자주 묻는 질문 (FAQ)
EXAONE 3.5 모델은 Hugging Face에서 'LGAI-center/EXAONE-Korean-3.5B'와 같은 모델명으로 찾을 수 있습니다. lmstudio를 통해 쉽게 다운로드하고 사용할 수 있으며, 직접 Hugging Face 사이트에서도 다운로드 가능합니다.
사용 목적과 하드웨어 환경에 따라 선택하시면 됩니다. 노트북이나 저사양 PC에서는 2.4B 모델을, 일반적인 용도로는 7.8B 모델을, 높은 성능이 필요한 전문적인 작업에는 32B 모델을 추천합니다. 대략적으로 2.4B는 4GB RAM, 7.8B는 8GB RAM, 32B는 16GB RAM 이상이 필요합니다.
EXAONE 3.5의 라이센스 조건을 반드시 확인하세요. 현재는 연구 및 개인적 용도로는 자유롭게 사용 가능하지만, 상업적 활용에는 일부 제한이 있을 수 있습니다. 상업적 활용을 계획 중이라면 LG AI연구원에 문의하거나 Hugging Face 페이지의 라이센스 정보를 참고하시기 바랍니다.
네, CPU만으로도 EXAONE 3.5를 사용할 수 있습니다. 특히 2.4B 모델은 CPU 환경에서도 괜찮은 속도로 동작합니다. 다만 응답 생성 속도는 GPU에 비해 현저히 느릴 수 있으니 참고하세요. 7.8B나 32B 모델은 GPU 사용을 강력히 권장합니다.
현재 LG AI연구원은 EXAONE 3.5를 공식 API 형태로 일반에 널리 제공하고 있지 않습니다. 하지만 lmstudio를 사용하면 로컬 환경에서 API 서버를 구축할 수 있어요. lmstudio의 'API 서버 모드'를 활용하면 OpenAI API와 호환되는 형태로 로컬 API를 이용할 수 있습니다.
네, EXAONE 3.5는 한국어에 최적화되어 있지만 영어도 상당히 잘 처리합니다. 특히 32B 모델은 영어 벤치마크에서도 좋은 성능을 보여주었습니다. 다만 한국어에 비해 영어 성능은 약간 뒤처질 수 있으며, 영어만 사용하실 계획이라면 영어에 특화된 다른 모델들도 고려해볼 수 있습니다.
EXAONE 3.5의 모든 모델(2.4B, 7.8B, 32B)은 32K 토큰의 컨텍스트 윈도우를 지원합니다. 이는 단순한 이론적 수치가 아니라 실제로 효과적으로 처리할 수 있는 'Effective Context Length'입니다. 이 덕분에 긴 문서를 요약하거나 복잡한 지시사항을 처리하는 데 강점이 있습니다.
네, lmstudio 외에도 다양한 방법으로 EXAONE 3.5를 사용할 수 있습니다. Hugging Face Transformers 라이브러리를 통해 직접 Python 코드에서 사용할 수 있고, Ollama, text-generation-webui 같은 다른 오픈소스 인터페이스를 통해서도 사용 가능합니다. 단, 각 플랫폼마다 설정 방법이 다를 수 있으니 해당 플랫폼의 문서를 참고하세요.
EXAONE 3.5는 다른 한국어 LLM과 비교했을 때 몇 가지 차별점이 있습니다. 첫째, 32K 토큰의 긴 컨텍스트를 지원하고, 둘째, Frontier AI급 모델(32B)부터 초경량 모델(2.4B)까지 다양한 크기의 모델을 제공합니다. 또한 최신 학습 기법인 DPO(Direct Preference Optimization)를 적용해 사용자 선호도를 더 잘 반영하며, 한국 문화와 정서에 특화된 이해력을 갖고 있습니다. 벤치마크 성능에서도 동일 크기의 다른 한국어 모델들보다 우수한 결과를 보여주고 있습니다.
LG AI연구원은 EXAONE 3.5에 대한 피드백을 수집하고 이를 바탕으로 지속적인 개선을 진행할 계획입니다. 특히 한국어에 대한 이해도와 문화적 맥락 파악 능력을 더욱 강화하고, 편향성 개선 및 안전성 향상에 집중할 것으로 예상됩니다. 또한 산업별 특화 모델이나 더 경량화된 모델 등 다양한 파생 모델을 출시할 가능성도 있습니다. 공식 발표는 LG AI연구원의 발표를 기다려야 합니다.
이 글이 여러분에게 EXAONE 3.5와 lmstudio에 대한 이해를 높이는 데 도움이 되었기를 바랍니다. 저는 앞으로도 국내 AI 기술의 발전 상황을 계속 살펴보고 여러분과 공유할 예정이에요.
댓글