NSP통신

제이슨 박 오산대 교수 (사진 = 본인 제공)

(서울=NSP통신) = 우리는 모두 학창시절 두 종류의 학생을 봤을 것이다. 한 명은 수학 문제를 풀 때 '1 더하기 1은 2고, 그다음은 2 더하기 3이니까 5...' 하며 중간 과정을 입 밖으로 내뱉는다. 다른 한 명은 조용히 앉아 머릿속에서 계산을 끝내고는 답만 써 내려간다. 흥미롭게도 현재 우리가 사용하는 대부분의 AI는 첫 번째 학생과 닮아있다.

ChatGPT나 Claude 같은 대형 언어모델들은 문제를 해결할 때 반드시 '말'을 해야 한다. 이를 전문가들은 사고 사슬(Chain-of-Thought, CoT) 방식이라 부르는데 단계별로 추론 과정을 언어로 표현하며 답에 도달하는 방식이다. 물론 이 방법은 사람이 이해하기 쉽고 직관적이라는 장점이 있다. 하지만 치명적인 약점도 있다. 마치 도미노처럼 한 단계만 틀려도 전체가 무너지고, 매번 길고 복잡한 설명을 생성해야 하니 시간과 에너지가 많이 든다.

그런데 최근 등장한 HRM(Hierarchical Reasoning Model)은 완전히 다른 접근을 시도한다. 이 모델은 두 번째 학생처럼 조용히 머릿속에서 생각한다. 겉으로는 말수가 적지만 내부에서는 놀라운 일이 벌어진다.

HRM의 구조: 계층적·병렬적 추론
HRM의 핵심은 두 개의 서로 다른 '뇌'가 협력한다는 점이다. 빠른 뇌(L 모듈)는 마치 반사신경처럼 짧은 주기로 세밀한 연산을 반복한다. '이 방법으로 풀어볼까?' '저 공식을 써볼까?' 하며 다양한 가능성을 빠르게 시도해본다. 한편 느린 뇌(H 모듈)는 일정한 간격으로 이런 시도들을 종합해서 '지금 방향이 맞나?' '다른 접근이 필요한가?'를 판단한다.

이 과정에서 정말 중요한 변화가 일어난다. 기존 AI가 언어라는 '다리'를 통해 단계별로 사고했다면 HRM은 언어를 거치지 않고 직접 내부 공간에서 계산한다. 마치 우리가 복잡한 수학 문제를 풀 때 굳이 모든 과정을 말로 하지 않고 머릿속에서 직관적으로 처리하는 것과 같다. 연구자들은 이런 방식을 계층적 수렴(hierarchical convergence)이라 부른다.

결과적으로 HRM은 대화할 때는 말을 하지만 생각할 때는 말이 필요 없는 AI가 되었다. 이는 단순한 기술적 개선이 아니라, AI가 사고하는 방식 자체의 패러다임 전환이다.

학습 메커니즘: 효율과 에너지의 혁신
HRM이 가져올 변화는 학습 과정에서 더욱 극명하게 드러난다. 기존의 신경망들이 긴 시퀀스를 학습하려면 역전파(Backpropagation Through Time, BPTT)라는 복잡한 과정을 거쳐야 했다. 이 과정은 마치 거대한 도미노를 뒤에서부터 하나씩 점검하는 것과 같아서 시퀀스가 길어질수록 연산량과 메모리 사용량이 기하급수적으로 늘어났다.

HRM은 이 문제를 1-step gradient approximation이라는 영리한 방법으로 해결했다. 전체 과정을 되짚어가는 대신, 최종 결과 주변에서만 국소적으로 기울기를 계산하는 것이다. 이렇게 하면 복잡도가 일정하게 유지되면서도 장기적인 의존성을 가진 문제들을 효과적으로 학습할 수 있다.

여기에 Deep Supervision 기법까지 더해져 중간 과정 하나하나에도 학습 신호를 준다. 마치 학생이 문제를 푸는 도중에도 선생님이 '이 부분은 잘했어', '여기서 방향을 바꿔봐'라고 피드백을 주는 것과 같다. 덕분에 적은 데이터로도 안정적인 학습이 가능해진다.

이런 혁신이 왜 중요한가? 지금까지 AI 발전은 '더 크게, 더 많이'의 논리를 따랐다. 더 큰 모델, 더 많은 데이터, 더 강력한 컴퓨팅 파워. 그 결과 AI 산업은 엄청난 에너지 소비 산업이 되었다. 전 세계 데이터센터들이 24시간 가동되며 막대한 전력을 소모하고, 이를 식히기 위한 냉각 시설들이 추가 에너지를 요구한다. 실제로 일부 지역에서는 AI 데이터센터의 전력 수요가 지역 전력망에 부담을 주며 사회적 갈등의 원인이 되고 있다.

하지만 HRM은 이 패러다임을 뒤집는다. 수십억 개의 데이터가 아닌 단 몇 천 개의 예제만으로도 전문가 수준의 성능을 낸다. 학습 시간도 기존 모델의 수백 분의 일 수준이다. 만약 HRM이 널리 활용된다면 AI는 더 이상 에너지를 대량 소비하는 산업이 아니라 환경 친화적이고 지속가능한 기술로 거듭날 수 있다.

적응적 연산 시간: 똑똑하게 멈추는 능력
HRM의 또 다른 혁신은 바로 '생각을 멈출 줄 아는' 능력이다. 적응적 연산 시간(Adaptive Computation Time, ACT)이라 불리는 이 기능은, 문제의 난이도에 따라 연산량을 조절한다.

이는 우리 인간의 사고 방식과 매우 유사하다. 1+1 같은 간단한 계산은 즉시 답이 떠오르지만 복잡한 미적분 문제는 여러 단계를 거쳐 신중히 풀어나간다. HRM도 마찬가지로 쉬운 문제는 빠르게 처리하고, 어려운 문제는 더 오래 고민한다. 이 과정을 강화학습의 Q-learning 알고리즘으로 최적화해서, 언제 멈춰야 할지를 스스로 학습한다.

이런 '똑똑한 멈춤' 능력은 에너지 효율성을 한층 더 높인다. 모든 문제에 동일한 연산을 투입하는 기존 방식과 달리 상황에 맞는 최적의 자원 배분이 가능해진 것이다.

실험 성과: 소형이 거인을 이기다
숫자로 보는 HRM의 성과는 정말 놀랍다. 불과 2700만 개의 파라미터만을 가진 HRM이 ARC-AGI 벤치마크에서 40.3%의 정확도를 기록했다. 이는 OpenAI의 o3-mini-high(34.5%)는 물론이고 Anthropic의 Claude 3.7 Sonnet(21.2%)을 크게 앞서는 수치다.

특히 Maze-Hard(30×30) 미로 찾기 문제에서는 단 1000개의 학습 예제만으로 74.5%의 정확도를 달성했다. 이는 수십억 개의 데이터로 훈련된 거대 모델들도 제대로 풀지 못한 문제를 소규모 데이터로 해결해낸 것이다.

이 결과가 시사하는 바는 명확하다. AI의 성능이 반드시 모델 크기에 비례하지 않는다는 것, 그리고 올바른 구조와 학습 방법이 있다면 작은 모델로도 큰 성과를 낼 수 있다는 것이다.

전망: AI와 산업, 환경의 미래
HRM의 등장은 AI 산업에 근본적인 질문을 던진다. 과연 우리는 계속해서 더 크고 더 많은 에너지를 소비하는 AI를 만들어야 할까?

지금까지 AI 발전의 역사를 보면 성능 향상은 대부분 규모의 확장으로 이뤄졌다. 더 많은 데이터, 더 큰 모델, 더 강력한 하드웨어. 그 결과 AI 훈련과 운영에 필요한 에너지 소비량은 천문학적으로 늘어났다. 일부 전문가들은 이런 추세가 계속될 경우 AI 산업의 전력 소비가 전 세계 전력 생산량의 상당 부분을 차지할 것이라고 경고하기도 했다.

하지만 HRM은 완전히 다른 길을 제시한다. 이 모델은 크기가 아닌 구조의 혁신으로 성능을 높였다. 결과적으로 같은 성능을 내면서도 에너지 소비는 기존 모델의 수백 분의 일 수준에 그친다. 이는 단순한 기술적 개선을 넘어서는 의미를 갖는다.

첫째, 접근성의 민주화다. HRM 수준의 효율성이 확산되면 거대 기업이 아니어도 고성능 AI를 개발하고 활용할 수 있게 된다. 스타트업이나 연구기관, 심지어 개인 개발자도 전문가급 AI를 만들 수 있는 시대가 올 수 있다.

둘째, 환경적 지속가능성이다. AI가 더 이상 환경 파괴의 주범이 아니라 친환경 기술로 자리잡을 수 있다. 탄소 발자국을 줄이면서도 인류에게 도움이 되는 기술, 이것이야말로 우리가 꿈꿔온 이상적인 AI의 모습이 아닐까.

셋째, 실용적 활용도의 확대다. 로봇 제어, 실시간 물류 최적화, 과학 연구, 전략적 의사결정 등 지금까지 컴퓨팅 자원의 한계로 제약받았던 분야들에서 AI 활용이 본격화될 수 있다.

결국 HRM은 단순히 '더 빠르고 저렴한 AI'가 아니다. 이는 머릿속에서 직접 생각하는 AI, 환경을 보호하는 AI, 그리고 모든 사람이 접근할 수 있는 AI로 가는 길을 보여주는 이정표다.

어쩌면 우리는 지금 AI 역사의 전환점에 서 있는 것일지도 모른다. 지난 몇 년간 '더 크게, 더 많이'라는 구호 아래 달려온 AI 산업이 이제는 '더 똑똑하게, 더 효율적으로'라는 새로운 철학을 받아들여야 할 때가 온 것이다. HRM이 그 첫 신호탄이 될 수 있을까? 앞으로의 행보가 기대된다.

기고자가 밝힌 자료 출처 인용 : 논문Guan Wang, Jin Li, Yuhao Sun, Sing Chen, Changling Liu, Yue Wu, Meng Lu, Sen Song, Yasin Abbasi Yadkori, Hierarchical Reasoning Model, csAI

본 기고는 한국의 경제뉴스통신사 NSP통신의 편집방향과 일치하지 않을 수 있으며 모든 책임은 정보 제공자에게 있습니다.

NSP인사

ⓒ한국의 경제뉴스통신사 NSP통신·NSP TV. 무단전재-재배포 및 AI학습 이용 금지.