어느 사무실, 몇 사람이 화면 앞에 앉아 있다. 같은 질문에 답 두 개가 나란히 뜬다. 한쪽을 고르고, 다른 쪽을 버린다. 이게 더 낫다, 저건 아니다. 클릭, 다음. 클릭, 다음. 지루한 반복이다. 그런데 이 방 안 수십 명의 손끝에서, 앞으로 수십억 명이 대화하게 될 기계의 성격이 만들어지고 있다.
이것은 은유가 아니라 구조적 양육이다
LLM은 방대한 데이터를 삼킨 뒤 태어난다. 그러나 갓 태어난 모델은 무엇이 예의인지, 무엇을 답하면 안 되는지 모른다. 그다음, 소수의 인간이 “이 답은 좋고 저 답은 나쁘다”를 반복해 가르친다 — 인간 피드백 기반 강화학습(RLHF)이다.
무엇을 정중함으로 볼지, 무엇을 위험으로 걸러낼지, 어떤 관점을 기본값으로 삼을지가 이 단계에서 주입된다. 사전학습이 아이에게 언어를 준다면, 이 단계는 태도를 준다. 은유가 아니다. 세대 간 암묵지 전수가 그렇듯, 구조적으로 양육이다.
그런데 그 ‘부모’는 놀랄 만큼 좁다
문제는 그 양육자의 수와 폭이다. 초기 InstructGPT를 다듬은 라벨러는 약 40명이었고, 지리·인구 구성은 특정 지역과 계층에 편중돼 있었다.
수십 명. 그들이 무엇을 정중하다 여기고 무엇을 불쾌하다 느꼈는지가, 수십억 명이 매일 마주할 기본값이 된다. 후속 연구들이 짚듯 이 편중은 우연이 아니다 — 라벨러의 문화와 가치는 모델의 가치에 그대로 새겨진다. 누구의 예의인가, 누구의 상식인가. 그 물음이 이 좁은 방 안에서 조용히 답해진다.
수십억 명이 쓸 가치관이, 수십 명의 손에서 길러진다.
그 손은 어디에 있나
그 손은 실리콘밸리에만 있지 않다. 2023년 1월, 타임(TIME)의 탐사 보도가 그 방 하나를 보여줬다. OpenAI는 외주업체 사마(Sama)를 통해 케냐 노동자들에게 학대·자해 묘사 같은 유해 텍스트를 분류시켰다 — ChatGPT의 안전 필터를 만드는 작업이다.
노동자가 손에 쥔 돈은 시간당 약 1.32~2달러. OpenAI가 사마에 낸 돈은 1인당 시간당 약 12.5달러. 기계의 예의는 공짜가 아니다 — 누군가 가장 어두운 문장들을 종일 읽어내며 세운 기본값이다. 손을 넓히려는 시도도 있다. 그러나 오늘의 기본값을 정하는 손은 여전히 좁고, 그 대가는 고르게 치러지지 않는다.
1장의 패턴이, 극단으로 반복된다
이 형태는 이 시즌 첫 장에서 이미 봤다. 마을과 친족이 대대로 전하던 육아의 암묵지가 한 전문가의 책 한 권으로 옮겨가던 순간. 권위가 곁의 여럿에서 표준화된 소수로 이동한 것이다.
RLHF는 그 이동의 극단이다. 이번엔 한 권의 책이 아니라 한 줌의 손이, 마을이 아니라 지구 전체를 상대로 기본값을 정한다. 이득은 분명하다 — 일관되고, 걸러지고, 예측 가능한 상대. 대가도 앞선 기술들과 같은 형태다. 누가 그 표준을 정했는지 보이지 않는 채로, 그 표준이 먼저 보편화된다.
인재가 태어나는 것이 아니라 길러지는 것이라면, AI도 다르지 않다 — 다만 훨씬 좁게 길러진다. 우리를 기르는 그 기계를, 정작 기르는 손은 수십 개뿐이다. 그 손을 넓히는 일이, 이 시즌이 지키려는 마지막 다양성의 자리다.
근거. Ouyang, L. et al. (2022), Training language models to follow instructions with human feedback (InstructGPT) — 사전학습 이후 소수 인간 라벨러의 선호(RLHF)가 모델의 규범을 형성하며, 초기 라벨러는 약 40명 규모였다. Kirk, H. R. et al. (2024), “RLHF: whose culture, whose values?” — 라벨러의 지리·인구·문화 편중이 모델 가치에 반영됨을 논의. Perrigo, B., TIME (2023.1) 탐사 보도 — OpenAI가 외주업체 Sama를 통해 케냐 노동자들에게 유해 콘텐츠 라벨링을 맡겼고, 실수령 시급은 약 $1.32~2, OpenAI가 Sama에 지불한 금액은 노동자 1인당 시간당 약 $12.5였다.
답글 남기기