대형 언어 모델의 일반화 능력: 미세조정 시 역전 관계에 취약한 AI

대형 언어 모델(LLM)은 흥미로운 능력을 보여주지만, 미세조정에서는 놀라울 정도로 제한된 일반화 능력을 보여준다. 예를 들어, 모델이 학습한 관계의 단순한 역전이나 학습된 정보를 기반으로 한 간단한 논리적 추론에 실패하는 경우가 있다. 이러한 미세조정에서의 일반화 실패는 모델의 실용적 적용을 방해할 수 있다. 반면에 언어 모델의 문맥 내 학습(in-context learning)은 서로 다른 귀납적 편향을 보이며, 일부 경우에는 더 나은 일반화 능력을 보여준다.

구글 딥마인드 연구진은 문맥 학습과 미세조정 기반 학습 사이의 일반화 차이를 탐구하기 위해 여러 새로운 데이터셋을 구축했다. 이 데이터셋들은 사전 학습 데이터에서의 지식과 분리하여 일반화에 대한 깨끗한 테스트를 만들도록 설계되었다. 연구팀은 사전 학습된 대형 모델을 이러한 데이터셋의 정보 하위 집합(문맥 내에서 또는 미세조정을 통해)에 노출시키고, 다양한 유형의 일반화가 필요한 테스트 세트에서 성능을 평가했다.

문맥 학습, 미세조정보다 최대 100% 가까이 향상된 역전 관계 이해력 보여

연구 결과, 데이터가 일치하는 설정에서 문맥 학습이 미세조정보다 더 유연하게 일반화할 수 있는 것으로 나타났다. 다만 이전 연구 결과의 일부 제한점도 발견되었는데, 예를 들어 더 큰 지식 구조에 포함된 역전에 대해서는 미세조정이 일반화할 수 있는 경우가 있었다.

이 연구는 특히 '역전 저주(reversal curse)'라고 불리는 현상에 주목했다. Berglund 등(2024)의 연구에서 발견된 역전 저주 현상에서는 "B의 어머니는 A이다"라는 문장으로 미세조정된 언어 모델이 "A의 아들은 누구인가?"라는 질문에 일반화하지 못하는 것으로 나타났다. 그러나 모델들은 문맥 내에서 이러한 유형의 역관계 질문에 쉽게 답할 수 있다.

연구진은 이러한 발견을 바탕으로 미세조정에서의 일반화를 향상시키는 방법을 제안했다: 미세조정 데이터에 문맥 내 추론을 추가하는 것이다. 연구진은 이 방법이 데이터셋의 다양한 분할과 다른 벤치마크에서 일반화를 향상시킨다는 것을 보여주었다.

'역전 저주' 해결책 발견: 미세조정 데이터에 문맥 내 추론 추가하면 일반화 능력 대폭 향상

연구에서는 여러 종류의 데이터셋을 구축하여 실험을 진행했다. 단순 역전과 삼단논법 데이터셋은 역전 관계와 삼단논법적 추론에 대한 독립적인 예제들을 포함한다. 예를 들어, "femp는 glon보다 더 위험하다"라는 문장의 학습 후 "glon은 femp보다 덜/더 위험하다"라는 역전 관계에 대한 테스트를 포함한다. 역전 저주 데이터셋은 Berglund 등(2024)이 제안한 가상의 유명인에 대한 한 문장 설명을 포함한다.

예를 들어 '대프니 배링턴'이라는 이름이 설명("시간을 통한 여행"의 감독) 앞에 오거나 그 반대로 제시될 수 있다. 의미 구조 벤치마크는 연역적 추론과 추상화를 허용하는 관계형 의미 계층을 중심으로 구축되었다. 이 계층은 실제 세계 범주와 관계를 기반으로 하며, 110개의 동물 및 객체 범주와 속성(범주당 1-6개, 상속된 것 제외) 및 관계를 포함한다. 사전 학습 데이터와의 잠재적 중복을 제거하기 위해 모든 명사, 형용사, 동사를 무의미한 용어로 대체했다.

문장 분할로 미세조정 효과 높이는 새로운 방법 제안

연구의 주요 결과로는 역전 저주 데이터셋에서 순방향 방향으로 미세조정하는 것이 역방향에 대한 일반화를 생성하지 않는다는 이전 연구 결과를 재현했다는 점이 있다. 전체 데이터셋을 문맥에 제시하며 체계적으로 이를 연구한 결과, 모델이 역전 관계에서 거의 최대치에 가까운 성능을 보였다. 이는 미세조정보다 문맥 내 학습의 이점을 강력하게 보여주는 결과다.

또한, 문맥 내 추론으로 보강된 데이터로 미세조정하는 것도 비슷하게 높은 테스트 성능을 산출했다. 단순 무의미 역전 테스트에서도 문맥 학습이 미세조정보다 약하지만 여전히 눈에 띄는 이점을 보였으며, 보강된 미세조정에서 더 강한 이점이 있었다.

단순 삼단논법 데이터셋에서는 사전 학습 모델이 우연 수준으로 작동하여 오염이 없음을 나타냈다. 데이터셋에 대한 미세조정은 일부 비자명한 일반화를 산출했으나, 문맥 내 학습이 훨씬 더 강한 성능을 보였다. 문맥 내 학습을 사용하여 학습 데이터셋을 보강하면 전반적인 성능이 향상되었다.

의미 구조 벤치마크 테스트에서는 더 풍부한 학습 환경에서 여러 종류의 일반화를 통합했다. 이 환경에서 학습된 진술문의 재구성, 역전, 삼단논법적 추론, 제외된 범주에 대한 명제를 평가했다. 이러한 설정에서 전반적으로 미세조정보다 문맥 내 학습의 이점이 있었지만, 그 정도는 분할에 따라 달랐다. 학습에서 재구성된 정보에 대한 일반화에서도 개선이 있었고, 역전과 삼단논법에서는 더 극적인 개선이 있었다.

사고를 통한 학습: AI도 추가 입력 없이 계산만으로 새로운 지식 습득 가능

연구진이 제안한 핵심 접근법은 모델의 문맥 내 일반화를 활용하여 미세조정 데이터셋의 범위를 개선하는 것이다. 이는 여러 방법을 통해 접근했지만, 모두 학습 시간 컴퓨팅을 문맥 내 추론에 사용하여 더 많은 미세조정 데이터를 생성함으로써 테스트 시간(즉, 문맥에 추가 정보 없이)에 문맥 외 일반화를 개선하는 목표를 갖고 있다.

구체적으로 두 가지 유형의 보강을 고려했다. 지역(문장) 보강은 모델이 각 학습 데이터 포인트(예: 문장)를 보강하여 모델이 더 유연하게 인코딩할 수 있도록 했다. 이 접근법에서는 재구성과 역전의 예를 포함하는 프롬프트를 사용했다. 전역(문서) 보강은 전체 학습 데이터셋을 문맥으로 연결한 다음, 특정 문서를 제공하고 해당 문서와 문맥 내 다른 문서 간의 연결을 통해 추론을 생성하도록 모델에 프롬프트를 제공했다.

이는 관련 추론의 더 긴 추적을 생성했다. 또한, 일부 데이터셋에는 논리적으로 또는 의미적으로 연결된 여러 문장으로 구성된 문서가 포함되어 있다. 연구진은 이러한 문서를 문장 수준에서 분할하여 여러 미세조정 예제로 만드는 것이 미세조정 성능을 크게 향상시킨다는 것을 발견했다.

무의미 단어 사용 시 문맥 학습 성능 저하, 현실 데이터에서는 더 큰 차이 예상

이 연구는 언어 모델이 문맥 학습과 미세조정이라는 서로 다른 모드에서 어떻게 다르게 학습하는지에 대한 중요한 통찰을 제공한다. 문맥 내 학습과 미세조정의 구별되는 귀납적 편향에 관한 여러 연구가 있었으며, 본 연구는 이러한 연구 흐름에 기여하지만, 일반적으로 고려되는 입력-출력 작업을 넘어 다른 유형의 지식을 고려한다.

Lombrozo(2024)는 "사고를 통한 학습"이 인지 과학과 AI의 최근 발전 전반에 걸친 통합 주제임을 강조했다. 시스템은 추가 입력 없이 순전히 계산을 통해 새로운 정보와 기술을 습득할 수 있다. 표면적으로는 역설적으로 보일 수 있지만, 이 추가 계산은 정보의 접근성을 증가시켜 실제로 성능을 향상시킬 수 있다. 원본 데이터를 넘어 미세조정 성능을 향상시키기 위한 문맥 내 추론 사용은 이 패턴을 따른다.

최근 여러 연구들이 성능 향상을 위한 테스트 시간 추론 확장을 탐구하고 있으며, 이러한 발견은 더 큰 모델이나 더 많은 데이터를 통해 학습 컴퓨팅을 확장하는 것이 성능을 향상시키는 방법을 탐구한 이전 연구를 보완한다. 본 연구 결과는 문맥 내 추론 방법을 통해 학습 시간 컴퓨팅을 확장하는 것이 모델 일반화의 일부 측면을 개선하는 데 도움이 될 수 있음을 보여준다.

미세조정 데이터 보강 기법으로 AI의 추론 능력 혁신적 향상 가능

이 연구에는 몇 가지 한계가 있다. 주요 실험은 무의미 단어와 비현실적인 연산에 의존한다. 이러한 반사실적 작업은 데이터셋 오염 가능성을 피할 수 있게 해주지만, 어느 정도까지 모델의 성능을 방해할 수 있다. 예비 실험에 따르면 역전 저주 데이터셋의 이름을 무의미한 것으로 대체하면 모델의 문맥 내 학습 성능이 저하된다. 또한 연구진은 결과의 일반성을 높이기 위해 다른 언어 모델과의 실험을 수행하지 않았다. 그러나 기존 연구에서 미세조정시 역전 저주와 같은 현상이 여러 모델에서 관찰되었기 때문에, 이 결과들이 다른 환경으로도 합리적으로 확장될 것이라고 판단된다.

이 연구는 대형 언어 모델의 학습과 일반화의 이해에 기여하고, 이를 다운스트림 작업에 적응시키는 실용적인 방법을 제시한다. 특히, 문맥 내 추론을 미세조정 데이터에 추가하는 간단한 방법이 여러 유형의 일반화 작업에서 성능을 크게 향상시킬 수 있음을 보여준다. 이러한 발견은 모델을 적응시키거나 새로운 작업이나 정보에 맞춰 모델을 조정하는 방법에 대한 중요한 시사점을 제공한다. 연구진이 제안한 방법은 최근의 여러 연구와 관련이 있다.

일부 동시 진행 연구들은 언어 모델이 추가적인 추론 방향을 생성하고 이를 학습 데이터 보강에 사용하면 추론 작업의 성능이 향상될 수 있다고 제안한다. 이는 본 연구에서 제안한 방법과 유사한 접근법이다. 또한, Yang 등(2024)은 언어 모델을 사용하여 학습 문서에서 엔티티를 추출하고, 이들 엔티티 간의 링크에 대해 추론하는 합성 데이터를 생성하는 방법을 사용했다. 본 연구 결과와 마찬가지로, 그들은 이런 방식으로 지식을 "재배열"하는 방법이 다운스트림 성능을 향상시키는 데 도움이 된다는 것을 발견했다.

FAQ

Q: 미세조정된 언어 모델이 단순한 역전 관계에서 일반화하지 못하는 이유는 무엇인가요?

A: 언어 모델은 미세조정 과정에서 제시된 특정 패턴과 관계에 과도하게 적응하는 경향이 있습니다. "B의 어머니는 A이다"와 같은 문장으로 미세조정될 때, 모델은 이 정확한 관계만 학습하고 "A의 아들은 B이다"와 같은 논리적 역관계로 일반화하는 데 어려움을 겪습니다. 문맥 학습은 모델이 더 유연하게 정보를 처리하고 다양한 관점에서 관계를 고려할 수 있게 합니다.

Q: 문맥 내 학습이 미세조정보다 더 나은 일반화 능력을 보이는 이유는 무엇인가요?

A: 문맥 내 학습은 모델이 제공된 예제들을 더 유연하게 해석하고 다양한 패턴을 인식할 수 있게 합니다. 미세조정은 특정 데이터 분포에 모델의 가중치를 최적화하는 반면, 문맥 내 학습은 모델이 즉석에서 패턴을 추론하고 다양한 추론 방식을 적용할 수 있게 합니다. 이로 인해 역전 관계나 삼단논법과 같은 도전적인 일반화 작업에서 더 나은 성능을 보입니다.

Q: 이 연구 결과가 AI 개발자와 사용자에게 갖는 실질적인 의미는 무엇인가요?

A: 이 연구는 언어 모델을 새로운 작업이나 도메인에 적응시킬 때 단순히 원본 데이터로 미세조정하는 것보다 더 효과적인 접근법을 제시합니다. 문맥 내에서 추론된 정보를 사용하여 미세조정 데이터를 보강하면 모델의 일반화 능력을 크게 향상시킬 수 있습니다. 이는 AI 시스템이 새로운 정보를 더 포괄적으로 학습하고 다양한 관점에서 적용하는 데 도움이 됩니다. 또한, 모델 학습에 필요한 데이터의 양을 효율적으로 줄일 수 있는 가능성도 제시합니다.

■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)