돌고래 AI 언어 모델, 돌핀젬마(DolphinGemma)

2 min read

 

안녕하세요! 요즘 챗GPT부터 시작해서 그림 그려주는 AI까지, 우리 생활 속에 AI를 많이 사용하고 있죠. '돌핀젬마(DolphinGemma)'라는 특이한 돌고래 언어모델이 있더라구요. "돌고래(Dolphin)" "보석(Gemma)" 이름부터 뭔가 특별한 느낌이 드는데요, 과연 이 돌핀젬마는 무엇인지 알아 보겠습니다!

돌핀젬마, 이름부터 궁금해요!

'돌핀젬마'라는 이름, 참 독특하죠? 돌고래와 반짝이는 보석 보는것같은 느낌을 줍니다.

돌핀젬마는 인공지능 언어 모델 중 하나입니다. 여기서 '언어 모델'이란, 우리가 쓰는 말을 이해하고, 또 우리처럼 말을 만들어낼 수 있는 AI를 뜻합니다. 우리가 챗GPT에게 질문하면 대답해주고, 글을 써달라고 하면 멋진 글을 만들어주는 것처럼 말이죠.

이 돌핀젬마는 크게 두 부분으로 나눠서 생각할 수 있습니다.

  1. 젬마(Gemma): 이 부분은 바로 그 유명한 구글(Google)에서 만든 최신 기술의 인공지능 모델입니다. 구글은 '제미나이(Gemini)'라는 아주 강력한 AI 모델을 개발했는데, 이 제미나이를 만들 때 사용된 기술과 연구를 바탕으로 '젬마'라는 오픈소스 모델을 공개했습니다.
    (참고: Google AI Blog, "Gemma: Introducing new state-of-the-art open models" - https://blog.google/technology/ai/dolphingemma/) '젬마'는 라틴어로 '보석'이라는 뜻을 가지고 있다고 하니, 이름처럼 귀한 기술이 담겨있겠죠?

  2. 돌핀(Dolphin): 이 부분은 '에릭 하트포드(Eric Hartford)'라는 개발자가 이끄는 '코그니티브 컴퓨테이션스(Cognitive Computations)'라는 곳에서, 구글의 '젬마'를 바탕으로 특별한 훈련(파인튜닝)을 더해서 더욱 똑똑하게 만든 버전에 붙인 이름입니다. 마치 잘 다듬어진 보석(젬마)을 더욱 빛나게 세공한 것과 같다고 할 수 있습니다. '돌핀' 시리즈 모델들은 사용자의 지시를 더 잘 이해하고, 좀 더 자유롭고 창의적인 답변을 하는 경향이 있는 것으로 알려져 있습니다.

즉, 돌핀젬마는 구글의 LLM '젬마' 모델에, 에릭 하트포드의 특별한 노하우가 더해져 탄생한 업그레이드 버전 AI라고 생각하시면 됩니다!

 

 

잠깐! 기본 용어부터 알아볼께요

돌핀젬마를 더 잘 이해하기 위해, AI 이야기에서 자주 나오는 몇 가지 기본 용어들을 아주 간단하게 짚고 넘어가겠습니다.

  • 거대 언어 모델 (LLM, Large Language Model):
    마치 아주 많은 책과 글을 읽고 똑똑해진 인공지능 도서관 사서와 같습니다. 수많은 데이터를 학습해서 사람처럼 말을 이해하고, 글을 쓰고, 대화할 수 있는 능력을 가진 AI를 말합니다. 챗GPT가 대표적인 LLM이죠.

  • 오픈 소스 (Open Source):
    "설계도가 모두에게 공개된 착한 기술"이라고 생각하면 쉽습니다. 누구나 그 기술의 내부 구조(소스 코드)를 보고, 가져다 쓰고, 심지어 고쳐서 더 좋게 만들 수도 있게 열어둔 것을 말합니다. 많은 사람들이 함께 발전시킬 수 있다는 큰 장점이 있습니다. 리눅스(Linux) 운영체제나 안드로이드(Android) 운영체제 일부가 오픈 소스에 해당합니다.

  • 파인튜닝 (Fine-tuning):
    "AI에게 하는 특별 과외"라고 비유할 수 있습니다. 이미 많은 것을 배운 AI(LLM)에게 특정 분야의 지식을 더 가르치거나, 특정 작업을 더 잘하도록 추가로 훈련시키는 과정을 말합니다. 예를 들어, 일반적인 글쓰기를 잘하는 AI에게 의료 분야 용어나 논문 스타일을 더 학습시켜 의료 분야 전문 AI로 만드는 것이 파인튜닝의 한 예입니다.

이 세 가지 용어만 기억하셔도 앞으로 AI 관련 이야기를 들을 때 훨씬 이해하기 쉬우실 겁니다!

 

그래서, 돌핀젬마는 뭐가 특별한가요?

자, 그럼 이제 주인공인 돌핀젬마가 다른 AI 모델들과 비교해서 어떤 점이 특별한지 구체적으로 알아보겠습니다.

1. 젬마의 강력한 기본기 + 돌핀의 섬세한 튜닝

돌핀젬마의 가장 큰 특징은 구글의 최첨단 기술로 만들어진 '젬마' 모델을 기반으로 한다는 점입니다. 젬마 모델은 구글의 주력 AI 모델인 '제미나이'와 동일한 연구 및 기술을 바탕으로 개발되어, 그 자체로도 뛰어난 성능을 자랑합니다. 예를 들어, 텍스트를 이해하고 생성하는 능력, 기본적인 추론 능력 등이 매우 우수합니다.

여기에 에릭 하트포드의 '돌핀' 시리즈 파인튜닝 노하우가 더해졌습니다. 에릭 하트포드는 이전에도 '돌핀-미스트랄(Dolphin-Mistral)', '돌핀-라마(Dolphin-Llama)' 등 다양한 오픈소스 LLM을 특정 목적에 맞게 파인튜닝하여 공개해 왔습니다. 그의 파인튜닝은 주로 모델이 사용자의 지시를 더 잘 따르고, 더 유용하며, 때로는 검열이나 제약 없이 더 솔직하고 창의적인 답변을 생성하도록 하는 데 초점을 맞추는 경향이 있습니다. (참고: Hugging Face, cognitivecomputations - https://huggingface.co/cognitivecomputations 에서 다양한 Dolphin 모델들을 확인할 수 있습니다.)

2. 사용자의 의도를 잘 파악하고, 더 자유로운 답변 경향

많은 AI 모델들은 안전상의 이유나 윤리적인 문제 때문에 답변 내용에 여러 가지 제약을 두는 경우가 많습니다. 하지만 돌핀젬마를 포함한 '돌핀' 계열 모델들은 이러한 제약에서 비교적 자유로운 편이라고 알려져 있습니다. 이것은 "검열되지 않았다(uncensored)" 또는 "필터링이 적다(less filtered)"고 표현되기도 합니다.

이것이 의미하는 바는, 돌핀젬마가 사용자의 질문이나 지시에 대해 더 솔직하고, 때로는 틀에 박히지 않은 창의적인 답변을 내놓을 가능성이 높다는 것입니다. 물론, 이러한 특성 때문에 사용자는 생성된 내용을 비판적으로 검토하고 윤리적으로 활용해야 하는 책임도 따릅니다. 하지만 연구나 창작 활동 등에서 기존 AI의 정형화된 답변에 아쉬움을 느꼈던 사용자들에게는 새로운 가능성을 열어줄 수 있습니다.

3. 논리적 추론 능력

돌핀젬마는 특히 논리적인 추론 능력에서 좋은 성능을 보이는 것으로 평가받고 있습니다. 이는 젬마 모델 자체가 수학이나 과학적 추론, 코딩 능력을 강화하여 개발되었기 때문이기도 합니다. (참고: 앞서 언급된 Google Blog의 Gemma 소개 게시물)

개발자들에게는 프로그램 코드를 짜는 데 도움을 받거나, 복잡한 알고리즘에 대한 아이디어를 얻는 데 유용할 수 있습니다. 일반 사용자들도 복잡한 문제에 대한 설명을 듣거나, 논리적인 글쓰기를 할 때 도움을 받을 수 있습니다. 예를 들어, "파이썬 언어로 간단한 웹 크롤러를 만들어줘"라고 요청하거나, "기후 변화의 주요 원인과 그 해결책을 논리적으로 설명해줘" 같은 질문에 대해 수준 높은 답변을 기대해 볼 수 있습니다.

4. 오픈 소스라는 강력한 힘!

돌핀젬마는 오픈 소스 모델입니다. 이는 앞서 설명했듯이 누구나 이 모델을 가져다가 연구하고, 개선하고, 자신의 서비스에 활용할 수 있다는 뜻입니다. 이러한 개방성은 AI 기술의 발전을 더욱 빠르게 만들고, 더 많은 사람들이 AI의 혜택을 누릴 수 있게 합니다.

많은 개발자와 연구자들이 돌핀젬마를 활용하여 새로운 아이디어를 실험하고, 특정 분야에 더욱 특화된 모델로 발전시킬 수 있습니다. 이는 마치 레고 블록처럼, 기본 블록(돌핀젬마)을 가지고 각자 원하는 창의적인 작품을 만드는 것과 같습니다. 이러한 오픈 소스 생태계는 AI 기술의 민주화에도 크게 기여합니다. (참고: 로렌스 레식, 『코드 2.0』 - 오픈 소스 및 디지털 저작권의 중요성을 다룬 책으로, 오픈 소스 정신을 이해하는 데 도움이 될 수 있습니다.)


 


돌핀젬마는 어떻게 만들어졌을까요?

돌핀젬마, 특히 'Dolphin-3.0'와 같은 모델은 어떻게 탄생했을까요? 그 과정을 간단히 살펴보면 다음과 같습니다.

  1. 기반 모델 준비: 먼저 구글이 공개한 젬마(Gemma) 모델 중 특정 크기의 모델(예: 70억 개의 매개변수를 가진 Gemma 7B)을 준비합니다. 매개변수(parameter)는 AI 모델이 학습을 통해 얻게 되는 지식의 조각들이라고 생각할 수 있는데, 이 숫자가 클수록 보통 더 복잡한 내용을 학습하고 더 똑똑한 성능을 낼 수 있습니다.
  2. 특별 학습 데이터셋 구성: 에릭 하트포드는 기존의 유용한 데이터셋들을 조합하거나 새롭게 구성하여 파인튜닝에 사용합니다. 예를 들어, 'Orca' 스타일의 데이터셋(지시사항과 그에 대한 상세한 답변으로 구성), 'Platypus' 데이터셋(다양한 학문적 질문과 답변), 'OpenHermes' 데이터셋(대화형 데이터) 등 다양한 고품질 데이터셋을 활용하여 모델이 특정 방식으로 생각하고 응답하도록 훈련합니다. (참고: 특정 돌핀젬마 모델의 Hugging Face 모델 카드(예: https://huggingface.co/search/full-text?q=dolphin%20gemma)를 보면 어떤 데이터셋이 사용되었는지 간략한 정보를 얻을 수 있습니다.)
  3. 파인튜닝 진행: 준비된 젬마 모델에 위에서 구성한 특별 학습 데이터셋을 넣고 추가 학습(파인튜닝)을 진행합니다. 이 과정에서 모델은 사용자의 지시를 더 잘 이해하고, 더 유용하며, 때로는 기존 모델보다 덜 제약적인 방식으로 답변하도록 학습됩니다. 개발자는 어떤 종류의 답변을 생성하는 모델을 만들고 싶은지에 따라 학습 데이터와 방식을 조절합니다.
  4. 평가 및 공개: 파인튜닝이 완료되면, 모델이 얼마나 지시를 잘 따르는지, 답변의 품질은 어떤지 등을 평가합니다. 그리고 그 결과를 바탕으로 모델을 공개하여 다른 사람들도 사용할 수 있도록 합니다.

이러한 과정을 통해 '젬마'라는 원석이 '돌핀젬마'라는 더욱 빛나는 보석으로 재탄생하는 것입니다.

 

 

돌핀젬마, AI의 새로운 가능성을 열다

지금까지 AI계의 떠오르는 별, '돌핀젬마'에 대해 함께 알아보았습니다. 구글의 탄탄한 기술력(젬마)과 에릭 하트포드의 섬세한 튜닝(돌핀)이 만나 탄생한 돌핀젬마는, 뛰어난 성능과 유연함, 그리고 오픈 소스라는 날개를 달고 우리 곁으로 다가오고 있습니다.

물론 아직 해결해야 할 과제들도 있고, 사용자의 현명한 활용이 중요하지만, 돌핀젬마와 같은 오픈 소스 AI 모델들은 앞으로 우리의 삶과 사회에 많은 긍정적인 변화를 가져올 잠재력을 가지고 있습니다. 

돌핀젬마를 시작으로 다른 동물과 소통할 수 있는 언어 모델도 나와서 소통하는 날도 오겠군요.

 

 

참고자료

 


다음 이전