최근 연구에 따르면 대규모 언어모델(LLM)이 초기 데이터에서 발견된 미미한 우연적 패턴을 실제 의미 있는 정보로 오인하여, 존재하지 않던 새로운 사회적 편향을 스스로 만들어내는 것으로 나타났습니다. 이는 LLM이 새로운 정보를 탐색하기보다 기존에 학습한 선택을 활용하려는 경향이 강하기 때문이며, 이러한 특성은 사람의 의사결정에 LLM을 활용할 때 심각한 사회적 문제를 야기할 수 있음을 시사합니다.
가상의 도시에서 4개 집단 출신 지원자를 20개 직종에 채용하는 실험에서, 참가자에게 알리지 않은 채 모든 집단의 직종별 성공 확률을 동일하게 설정했습니다. 40회에 걸쳐 채용 결과를 즉시 알려주고 성공 횟수에 따라 실제 보너스를 지급하자, 인간 참가자는 초반에 성공한 조합을 반복하며 집단별 직업 계층화를 만들었습니다. 놀랍게도 최신 LLM은 이러한 경향을 인간보다 더 강하게 보였습니다. 이는 LLM이 적은 표본에서 우연히 나타난 군집을 의미 있는 패턴으로 착각하고, 이를 확신하여 기존 선택을 고수하는 특성 때문으로 분석됩니다. 즉, LLM은 초기 자료를 더 확신하고 탐색보다 기존 선택의 활용을 선호하는 경향이 강하다는 것입니다.
이러한 현상은 단순히 기존 편향을 반영하는 것을 넘어, LLM이 편향을 '형성'한다는 점에서 심각합니다. 프롬프트에 가상의 부족 이름처럼 무의미한 텍스트가 들어가더라도, LLM은 이를 패턴으로 인식하고 특정 집단에 대한 선호를 만들어낼 수 있습니다. 이는 모델의 작동 구조, 특히 어텐션(attention) 메커니즘이 적은 표본이라도 특정 정보가 자주 등장하면 그 패턴을 포착하기 때문입니다. 이러한 편향은 대화로 모델의 가중치가 갱신되지 않는 한 지속되며, 외부에서 우연히 생긴 패턴인지 실제 성공 확률이 어떤지 확인할 방법도 없습니다.
결론적으로, 이 연구는 LLM이 실제 결정을 내리는 시스템에 도입될 때 발생할 수 있는 위험성을 경고합니다. 사람 채용과 같이 중요한 결정에 LLM을 맡길 경우, 모델이 의도치 않게 인종이나 성별 등 사회적 편향을 지속시키거나 심지어 새로 만들어낼 수 있습니다. 따라서 LLM의 공정성을 확보하고, 편향을 줄이기 위한 명확한 지침과 문맥 관리의 중요성이 더욱 강조됩니다. 단순히 '편향을 보이지 말라'는 지시만으로는 부족하며, 성공적인 결과에 대한 구체적인 정의를 제시하는 등 보다 정교한 접근 방식이 필요합니다.