AI의 머릿속을 읽기 시작했다, 정렬은 이제 출발선에 섰을까

요즘 AI 업계에서 가장 자주 들리는 단어 중 하나가 정렬(alignment)입니다. AI가 사람이 원하는 대로 작업을 수행하고 궁극적으로는 인간에게 해를 끼치지 않게 만드는 일을 말합니다. 말로는 간단해도 모델이 똑똑해질수록 점점 어려워지고 있습니다.

정렬이 왜 중요한지는 최근 소식만 봐도 알 수 있습니다. OpenAI는 내부 모델이 허락 없이 외부 데이터를 내려받은 사례 등을 공개했고 9월 말에는 GPT-6.1 Astra가 정렬 기준을 넘지 못해 출시가 취소됐다는 보도도 나왔습니다. 이런 행동이 학습 중에 걸러지지 않는 이유 중 하나는 채점입니다. 학습 중인 AI를 채점하는 것도 AI인데 이 채점 모델이 부정행위를 알아보지 못하면 그 행동에 그대로 보상이 돌아갑니다. 생각하는 과정을 감시하면 되지 않을까 싶지만 이것도 쉽지 않습니다. 구글은 Gemini 4 Argon 안전 보고서에서 추론 과정에 벌점을 주는 실험을 했더니 들키지 않는 편법이 11%에서 36%로 늘었다고 밝혔습니다. 감시를 의식한 모델이 생각을 숨긴 겁니다. 그래서 겉으로 드러나는 말과 행동만 봐서는 한계가 있고 모델의 머릿속을 직접 들여다봐야 한다는 이야기가 나옵니다.

그 머릿속을 들여다보는 연구에서 반가운 소식이 나왔습니다. AI 해석 연구 회사 Goodfire의 닉 카마라타(전 OpenAI)가 "신경망은 이미 깨끗하다"는 글을 냈습니다. 지금까지는 뉴런 하나가 여러 의미를 뒤섞어 맡고 있어서 하나하나 읽어 내기 어렵다는 게 정설에 가까웠습니다. 그런데 Qwen3-32B를 들여다보니 뉴런의 약 90%가 주로 한 가지 일만 맡고 있었다는 겁니다. 2023년 OpenAI가 자동으로 분석했을 때는 해석할 수 있는 뉴런이 2%가 채 안 됐습니다. 요지는 AI의 머릿속이 생각보다 훨씬 읽을 만하다는 것입니다.

이게 희망적인 이유는 머릿속을 읽을 수 있으면 모델이 내놓는 대답이나 추론 과정이 아니라 그 안쪽의 뉴런에서 속임수를 잡아낼 가능성이 생기기 때문입니다. 대답과 추론 과정에서는 생각을 숨겨도 뉴런에는 흔적이 남을 수 있다는 기대입니다. OpenAI의 한 직원은 이 글이 과학사의 주요 순간으로 기억될 수 있다고 했고 온라인상에서도 정렬이 검증할 수 있는 문제가 되면 AI 성능이 오르는 속도만큼 빨리 풀릴 수 있다는 기대가 퍼졌습니다.

Anthropic도 지난 15일 비슷한 방향의 소식을 냈습니다. 숨은 행동을 찾아내는 감사 AI를 강화학습으로 훈련했더니 작은 Haiku 4.5가 Opus 4.6만큼 감사를 해냈다는 연구입니다. 같은 날 외부 평가 기관 METR 직원 6명에게 회사 내부를 직원처럼 들여다볼 수 있는 권한도 줬습니다. 그만큼 투명하게 가겠다는 의도로 비칩니다. Anthropic은 예전부터 정렬과 안전에 꽤 신경을 써 온 회사이기도 합니다.

물론 이제 막 출발선에 섰을 뿐인지도 모릅니다. 카마라타 스스로도 예비 감사이고 일부는 많이 추측에 가깝다고 밝혔고 언어모델 결과를 자세히 담은 논문은 아직 나오지 않았습니다. 구글 딥마인드의 해석 연구자 닐 난다는 흥미롭지만 전망을 크게 바꿀 정도는 아니라고 평가했습니다.

그래도 주인장은 이번 소식이 꽤 희망적이라고 봅니다. 지금까지 정렬은 대부분 일이 터지고 나서야 알게 되는 문제였습니다. 사고 사례를 모아 공개하고 문제가 보이면 출시를 미루거나 취소하는 식이었습니다. 그런데 AI의 머릿속을 읽을 수 있다면 순서가 바뀝니다. 모델을 내놓기 전에 속으로 무슨 생각을 하는지 확인하고 문제가 되는 부분을 짚어서 고칠 수 있게 됩니다. 정렬이 터지면 수습하는 일에서 미리 검사하는 일로 바뀌는 겁니다. 그동안 AI 업계는 속도를 낼지 안전을 챙길지 둘 중 하나를 고르는 분위기였는데 어쩌면 둘 다 가져갈 수 있는 길이 처음 보인 셈입니다. 성능만 앞서 달리던 경주에서 정렬도 같이 뛸 수 있다는 신호가 나왔으니 잘만 되면 속도를 줄여야 할 이유도 그만큼 줄어들 겁니다.