수학을 푸는 AI, 연구의 방식도 바뀔까

수학은 AI가 쉽게 다루기 어려운 영역이라고 생각해왔습니다. 계산을 못 해서가 아닙니다. 계산은 기계가 오래전부터 잘하던 일입니다. 더 어려워 보였던 부분은 수학적 사고를 AI가 알아들을 수 있는 형태로 옮기는 일이었습니다. 증명에는 직관이 있고, 문제를 바라보는 감각이 있고, 긴 시간 쌓인 수학자의 경험이 들어갑니다. 그래서 수학은 단순히 텍스트를 많이 읽는다고 따라 할 수 있는 영역은 아닐 것처럼 보였습니다.

그런데 알고 보면 수학은 기호와 조건, 명제와 증명으로 이루어진 체계이기도 합니다. 사람에게는 추상적으로 보이는 수학도, 일정한 형식으로 정리하면 AI가 읽고 탐색할 수 있는 구조가 됩니다. 결국 핵심은 AI가 수학을 “감으로 이해하느냐”가 아니라, 수학적 문제를 AI가 다룰 수 있는 언어와 코드, 논리 구조로 얼마나 잘 옮길 수 있느냐에 가까웠습니다. 이 지점이 이번 이야기를 흥미롭게 만듭니다.

OpenAI는 최근 자사 모델이 1946년 폴 에르되시가 제기한 평면 단위거리 문제와 관련해 오래된 추측을 반박하는 구성을 찾아냈다고 발표했습니다. 문제 자체를 길게 설명할 필요는 없을 것 같습니다. 간단히 말하면, 평면 위에 점들을 놓았을 때 거리가 정확히 1인 점 쌍이 얼마나 많이 나올 수 있는지를 묻는 조합기하 문제입니다. 중요한 부분은 문제의 세부 내용보다 과정입니다. OpenAI는 이 결과가 특정 문제만을 위해 만든 전용 시스템이 아니라, 범용 추론 모델에서 나왔다고 설명했습니다. 외부 수학자들이 증명을 검토했고, 관련 증명과 해설 자료도 공개됐습니다.

AI가 수학 문제를 다룬 사례가 이번이 처음은 아닙니다. Google DeepMind 쪽에서도 연구 에이전트가 에르되시 문제 데이터베이스를 살펴보고 일부 열린 문제에서 결과를 낸 사례가 있었습니다. 그중에는 새 풀이처럼 보이는 것도 있었고, 이미 문헌에 있었지만 데이터베이스에는 반영되지 않은 해법을 찾아낸 경우도 있었습니다. 이번 OpenAI 사례는 오래된 기하 문제에서 기존에 널리 받아들여지던 방향과 다른 구성을 제시했다는 점에서 눈에 띕니다.

수학에서 중요한 것은 답만이 아닙니다. 어떤 구조를 떠올리고, 그 구조가 왜 성립하는지 설명하고, 다른 사람이 검증할 수 있는 형태로 남기는 일이 중요합니다. AI가 이 과정에 들어오기 시작했다면 앞으로의 연구 방식도 달라질 수 있습니다. 수학뿐 아니라 물리학, 화학, 생명과학처럼 복잡한 가설과 검증이 얽힌 분야에서도 비슷한 변화가 생길 수 있습니다. AI는 논문을 찾고, 가능한 반례를 만들고, 여러 조건을 조합해보고, 사람이 미처 떠올리지 못한 후보를 던지는 역할을 맡게 될 가능성이 있습니다.

그렇다고 인간 연구자의 역할이 사라진다는 뜻은 아닙니다. 질문을 고르는 능력, 결과를 검증하는 능력, 그럴듯한 오류와 진짜 가능성을 구분하는 능력이 더 중요해집니다. AI가 더 많은 후보를 만들어낼수록 사람은 그중 무엇을 믿고 무엇을 버릴지 판단해야 합니다. 앞으로의 연구자는 혼자 문제를 푸는 사람이라기보다, AI가 넓게 펼쳐놓은 가능성 속에서 방향을 잡고 검증하는 사람에 가까워질 수 있습니다.

주인장은 여전히 AI의 지수적 발전을 기대하는 쪽입니다. 수학처럼 까다로운 영역에서도 AI가 새로운 구성을 찾아낼 수 있다면, 앞으로의 변화는 꽤 멀리 갈 가능성이 있습니다. 과학과 연구, 개발 현장 모두에서 AI가 맡는 역할은 지금보다 훨씬 커질 수 있습니다. 결국 남는 질문은 단순히 AI가 어디까지 갈 수 있느냐만은 아닙니다. 우리가 그 AI에게 어떤 문제를 맡기고, 어떤 방식으로 질문하고, 나온 결과를 어떻게 검증할 준비가 되어 있느냐도 함께 중요해지고 있습니다.