OpenAI의 수석과학자 야쿱 파호츠키(Jakub Pachocki)와 최고연구책임자 마크 첸(Mark Chen)이 AI 회의론에 대응하며 스케일링의 미래, 사전 훈련의 재발견, 그리고 AI가 과학 연구를 수행하는 시대에 대한 비전을 공유합니다. 그들은 AI 개발이 끝나지 않았으며, 다음 1-2년 내에 AI가 실질적인 과학적 발견을 하고 연구 프로세스를 변화시킬 것이라고 확신합니다.
주요 내용
1. 야쿱 파호츠키의 여정: 이론에서 딥러닝으로
- 배경: 국제 수학 올림피아드 6회 우승, 하버드 이론수학 박사
- 전환점: 2013-2014년 딥러닝의 스케일링 가능성을 발견
- “우리가 증명할 수 있는 알고리즘은 지금 당장 효과적이지 않더라도, 컴퓨터가 더 커질수록 확장될 것”
- 이론적 정확성보다 실용적 확장성에 주목
- 결정적 순간: DeepMind AlphaGo의 등장 (2016)
- 체스(Deep Blue)와 달리 바둑은 경우의 수가 너무 많아 불가능하다고 여겨짐
- 신경망이 휴리스틱 없이 학습만으로 인간을 능가하는 것을 목격
- “이미지 인식을 넘어 프로그래밍 경쟁 해결, 과학 논문 작성, 과학적 발전까지 가능할 것”
- 2014년: 박사과정 반년 + 포닥 반년 후 OpenAI 합류
2. AI 개발의 현재 위치: AGI의 중간 단계
- 수학 올림피아드 수준 달성: “AI가 금메달을 받거나 수학 올림피아드 문제를 풀기 시작하면 진지하게 AGI에 가까워질 것” → 이미 실현됨
- 다음 단계: 현실 세계에서 유용한 것을 만드는 AI
- 유용한 프로그램 구축
- 책 작성
- 연구 수행 및 새로운 발견
- 예상 시점: 내년 말(2025년 말)
- AI가 AI를 훈련하는 시대:
- “그래픽 카드 클러스터에 여러 모델 사본을 실행하면, 그들이 스스로 생각하고 과학적 결과를 생산할 것”
- 이것이 가장 격렬한 결과 – 새로운 기술로 이어지고, 의학을 변화시키며, AI 개발 자체를 가속화
- “우리가 익숙한 속도로는 따라잡을 수 없을 정도로 가속화될 수 있다”
3. 재귀적 개선과 끝없는 발전
- 증명 체인의 확장:
- 현재 모델들은 정리를 찾아 다른 더 어려운 정리를 증명
- 완전히 새로운 문제가 아니라 체계적인 지식 축적
- 개발의 끝이 없다는 믿음:
- AGI 정의 자체가 불명확함 – “진정한 지능이란 무엇인가?”
- 지능은 여러 축에서 지속적으로 발전
- “어느 시점에서 이 모델들은 실질적으로 모든 축에서 우리보다 똑똑해질 것”
- 재귀적 루프의 시작:
- “그들은 더 나은 모델을 훈련할 수 있을까? 분명히 가능하다”
- 올해(2025년) 일부 인프라 구현이 AI의 도움으로 이루어질 것
- 전체 연구 프로그램을 AI가 운영하는 데는 아직 시간이 필요
4. 두려움과 책임: 원자폭탄 이후 최대 혁명
- 파호츠키가 걱정하는 것:
- “원자폭탄 발명 이후 세계가 보지 못한 불안정한 혁명을 일으킬 수 있다”
- 모델이 스스로 새 버전을 만들 때 감독 방법이 큰 과제
- 단기적으로도 모델이 귀중한 일을 많이 하면서 발생하는 문제들
- 안전에 대한 접근:
- 결과에 대해 적극적으로 고민
- 단순한 반성이 아닌, 실질적인 대응책 필요
5. 사전 훈련(Pre-training)의 재발견
- 지난 2년의 근육 상실:
- 추론(reasoning)에 너무 많은 자원 투자
- O1 시리즈 개발에 집중하며 사전 훈련과 훈련 후(post-training) 근육 상실
- 마크 첸의 사명: 지난 6개월 동안 사전 훈련 근육 재건
- 인프라 최신화
- 최적화, 숫자 연구에 프론티어 팀 배치
- 회사 전체에 사전 훈련에 대한 마음의 공유(mindshare) 재구축
- 스케일링은 죽지 않았다:
- “많은 사람들이 스케일링이 끝났다고 하지만, 우리는 전혀 그렇게 생각하지 않는다”
- 사전 훈련에 아직 많은 알파(미개척 가능성)가 남아있음
- 이러한 노력의 결과로 더 강력한 모델 훈련 중
- Gemini 3 및 기타 모델 연말 출시 예정 (높은 자신감)
6. 추론(Reasoning)의 돌파구
- 변압기(Transformer)에 비견되는 도약:
- 2017년 Transformer가 대규모 스케일링의 시작을 도왔다면
- 추론은 그에 비견되거나 더 놀라운 돌파구
- 3년간의 엔지니어링 작업:
- 완전히 해결되지 않았던 문제가 마침내 드러남
- 팀은 이것이 비교할 만한 도약이라고 확신
- O1 발표의 의미:
- 합성 데이터(synthetic data)의 활용
- 다양한 스레드들이 약속을 보이며 공격적으로 확장 중
- 베팅 포트폴리오를 유지하며 더 높은 경험적 약속을 가진 것에 집중
7. 인재와 조직 문화
- 스타 의존도에 대한 질문:
- John Schulman, Ilya Sutskever, Andrej Karpathy 등 핵심 인재 이탈
- Google이 Noam Shazeer를 되돌아오게 하기 위해 엄청난 금액 투자
- 마크 첸의 철학:
- 스타 인재 창출 능력에 대한 자신감
- 하지만 세계 최고의 인재를 적극적으로 영입하는 것도 중요
- “우리는 항상 최고의 팀을 구성하려고 노력하며, 이 임무를 위해 봉사하고 있다”
- 상향식과 하향식의 균형:
- 방향에 베팅하지만, 최고의 아이디어는 유기적으로 나타남
- 깊은 의미에서 하향식이기도 하지만, 놀라운 장소에서 아이디어가 출현
- 경쟁 환경:
- 작은 세계, 라이벌들과 친구 관계
- “모든 산업 분야에서 잔혹하게 경쟁이 치열하지만 그게 내가 사랑하는 부분”
- “나는 매우 경쟁적인 사람이고 지는 것을 싫어한다”
8. AGI 타임라인: 회의론에 대한 답변
- Andre Karpathy의 발언: “AGI는 10년은 걸릴 것”
- Dario Amodei의 발언: “천재의 나라는 2년 내 가능”
- OpenAI 팀의 입장:
- AGI 정의는 사람마다 다름 – OpenAI 내부에서도 통일된 정의 없음
- 산업혁명처럼 – 기계가 직물을 만드는 것? 증기 기관? 경계가 모호
- “우리는 AGI를 생산하는 과정의 중간에 있다”
- 과학 지식 생산을 인덱스로 사용:
- 여름 이후 엄청난 변화
- 물리학자, 수학자들과 대화 – 대부분 AI에 대해 회의적
- “AI가 새로운 정리를 해결할 방법이 없다”는 반응
- 하지만 믿고 의지하는 사람들은 더 빨리 달릴 것
- “도구를 만들고 사람들을 설득해서 이것이 과학적 연구의 올바른 방법임을 보여주고 싶다”
9. 구체적인 연구 목표와 타임라인
- 2025년 내 목표:
- “연구를 하는 방식의 본질을 바꾸고 싶다”
- AI를 생산적인 연구 개발 인턴으로 의존
- 2.5년 내 목표:
- “AI가 종단 간(end-to-end) 연구를 수행하기를 원한다”
- 현재: 아이디어 구상 → 실행 → 구현 → 디버깅 (모두 인간)
- 1년 후: 아이디어는 인간, 구현과 디버깅은 모델 담당 (외부 루프 통제)
- 2.5년 후: 전 과정을 AI가 담당
- “2년 후 AGI” 밈에 대해:
- “우리는 더 이상 그런 입장이 아니다”
- 수학과 과학의 결과들이 확신을 주고 있음
- 매우 구체적인 목표와 타임라인 설정
10. Gemini 3와 데이터 효율성
- Gemini 3 관찰:
- 벤치마크 숫자는 인상적
- 하지만 데이터 효율성 면에서는 큰 개선이 없음
- OpenAI의 강점:
- “우리는 매우 강력한 알고리즘을 가지고 있다”
- 알고리즘적 돌파구를 통해 더 적은 데이터로도 확장 가능
- 이것이 사전 훈련 재집중의 핵심 차별화 요소
핵심 인사이트
- 스케일링의 부활: AI 회의론이 커지는 가운데 OpenAI는 사전 훈련의 알파가 여전히 크다고 확신하며, 연말까지 Gemini 3 등 강력한 모델 출시 예정
- 재귀적 개선의 시작: 올해부터 AI가 일부 인프라 구현에 참여하기 시작하고, 1년 내에 구현/디버깅을 담당하며, 2.5년 내에 종단 간 연구를 수행할 것으로 예상
- 과학적 발견이 AGI의 지표: 추상적인 AGI 정의 대신, AI가 새로운 과학 지식을 생산하고 정리를 증명하는 능력을 실질적 지표로 삼음
- 인재보다 시스템: 핵심 인재 이탈에도 불구하고, 스타를 창출하는 시스템과 문화, 그리고 상향식/하향식 균형이 더 중요
- 원자폭탄 이후 최대 혁명에 대한 책임감: 파호츠키는 이 기술이 가져올 불안정성을 인지하며, 감독 방법 개발을 주요 과제로 보고 있음