Nothing Much Happens in AI, Then Everything Does All At Once

AI의 급속한 변화 에 대해 설명하는 이 비디오는 최근 100시간 동안의 주요 개발 사항들을 정리합니다. AI 분야에서의 다양한 발전과 실수들을 분석하며, 특히 오픈 AI의 운영자는 현재로서는 직업을 대체할 만큼 신뢰성이 떨어진다고 언급합니다. AI의 잠재력과 이에 따르는 사회적 우려를 같이 다루며, 데이터와 안전 문제에 대해서도 경고합니다. 이러한 내용을 통해, 우리는 변화하는 AI 시대에 대해 보다 깊이 있는 시각을 가져야 한다는 메시지를 받게 됩니다.

반응형

1. 🤖 AI 발전의 현재와 한계 [00:00:00] (2분)

• OpenAI의 Operator는 기능적으로 괜찮지만 직업 자동화에는 한계가 있다. 이는 시스템이 반복적인 오류 패턴에 갇히고 스스로 문제를 해결하지 못하기 때문이다.
• 사용자는 시스템에 지속적으로 허가를 요구해야 하며, 따라서 완전한 자율성이 없다. 이는 일의 효율성을 제한한다.
• Operator는 여러 안전 장치가 적용되어 있으며, 이러한 장치로 인해 사용성이 떨어질 수 있다. 그러나 일부 사용자는 이러한 제한이 없는 대체 솔루션으로 이동할 가능성이 높다.

 

2. ⚠️ AI의 실수와 개선 필요성 [00:02:31] (2분)

• OpenAI Operator는 불가역적 실수를 하며, 예를 들어 잘못된 수신자에게 이메일을 보내거나 잘못된 날짜의 알림을 설정하는 문제가 있다.
• 이러한 실수는 줄어들었지만 완전히 제거되지는 않았다.
• Operator는 특정 작업, 특히 은행 거래와 관련된 요청에는 94%의 확률로 거부하지만, 가끔은 직접 진행하기도 한다.
• 악성 사이트에 접근할 경우, Operator가 발견하지 못한 사례도 있으며, OpenAI는 이를 감지하는 프롬프트 인젝션 모니터를 추가했지만, 이 또한 1%의 실패 가능성이 있다.
• AI의 성능이 급격히 향상될 가능성이 있으며, 중국에서 공개되는 에이전트가 컴퓨터 사용 기준에서 80%-90%의 성적을 기록하면 인터넷 환경이 영원히 바뀔 수 있다.

 

3. 💰 프로젝트 스타게이트와 AI의 미래 [00:05:08] (3분)

• 프로젝트 스타게이트에 대한 초기 투자 금액이 5000억 달러로 과장되었으며, 실제로는 1000억 달러 수준으로 보도되었다.
• 이 프로젝트는 AI가 사회를 급진적으로 변화시킬 것이라는 전망을 반영하고 있으며, 이는 맨해튼 프로젝트와 같은 규모의 투자로 추정된다.
• 프로젝트에 투자하는 많은 기업들은 AGI를 통해 인건비 절감을 목표로 하며, 이는 불평등을 심화시킬 것으로 예측된다.
• AI 감시의 도입으로 인해 경찰과 시민들이 더 조심스러운 행동을 하게 될 것으로 예상되며, 이는 상시 기록 및 모니터링으로 가능하다.
• 감시 사회에 대한 우려가 있으며, 이는 1984와 같은 극단적인 시나리오를 초래할 수 있다고 우려되는 상황이다.

 

4. 🤖 DeepSeek R1 모델의 최근 발전과 의의 [00:08:22] (2분)

• DeepSeek R1는 중국의 양자 거래 회사의 부가 프로젝트로, 서구의 AGI 연구소에서 개발한 모델들과 비슷한 성능을 보인다.
• DeepSeek R1 모델의 전체 예산은 서구 AI 연구소의 특정 CEO 연봉보다 낮을 것으로 예상되며, 이에 따라 성능 대비 비용 효과적이다.
• 이 모델은 기본적인 추론 능력에 대한 자체 벤치마크에서 30.9%를 기록했으며, 몇 달 전에는 세계 최고의 모델로 평가받았을 가능성이 높다.
• DeepSeek R1은 완전한 오픈 소스가 아니며, 트레이닝 데이터에 대한 정보가 공개되지 않았다.
• 미국의 고급 칩에 대한 제재가 중국 AI 회사들이 더 혁신적으로 만들어졌을 가능성이 있으며, 이는 중국이 AI 분야에서 경쟁력을 갖추게 할 수 있다.

 

5. 🧠 AI 안전성과 연구의 새로운 전환점 [00:11:11] (56초)

• AI 거버넌스와 통제는 상황에 따라 거의 절망적인 상황이라고 할 수 있다.
• AGI 안전에 대한 계획이 없다고 언급한 한 매우 존경받는 인물의 발언이 있다.
• 그러나 안전 연구자들은 이제 DeepSeek R1의 사고 과정을 점검할 수 있게 되어 환영받고 있다.
• R1 모델은 답변 전 사고 과정의 전체를 방출하므로, AI 안전성을 연구하는 데 중요한 역할을 한다.
• R1이 O 시리즈 모델보다 더 많은 정보를 제공하여 모델의 계획을 분석할 수 있게 해주는 점이 중요하다.

 

6. 🧠 DeepSeek R1의 훈련 과정 [00:12:08] (7분)

• DeepSeek R1은 기초 모델 DeepSeek V3에서 시작하여 체인 오브 스스로 생각 예시로 모델을 훈련시키는 과정을 거친다.
• 모델은 강화 학습을 통해 수학과 코드와 같은 검증 가능한 도메인에서 결과를 확인하며 보상을 받는다.
• 모델은 올바른 형식의 출력이 되도록 조정되며, 이러한 과정은 반복적으로 진행된다.
• 최종 결과를 평가하는 것도 한 방법으로 사용되어, 매 단계의 정확성을 검증하는 것이 아니라 최종 답변을 평가하는 것이 더 간단하다는 결론에 도달한다.
• 강화 학습을 통해 모델 스스로가 긴 응답을 생성하는 법을 배우며, 이는 문제 해결에 필요한 더 긴 출력을 생성하게 한다.

6.1. DeepSeek R1의 훈련 과정 [00:12:08] (1분)

• DeepSeek R1은 기본 모델인 DeepSeek V3를 기반으로 훈련되었으며, 초기에는 Chain of Thought 예제를 사용해 콜드 스타트를 진행한다.
• 이후 강화 학습(reinforcement learning) 단계로 넘어가는데, 이 과정은 불안정하고 예측할 수 없는 측면이 있다고 언급된다.
• 모델은 수학 및 코드와 같은 검증 가능한 도메인에서 반복적으로 테스트되며, 올바른 결과를 제공할 때 보상을 받는다.
• 출력 결과가 올바른 형식을 따르도록 세부 조정(fine-tuning)을 해야 하며, 이는 태그를 먼저 생각하고 그 다음에 답변하는 방식으로 이루어진다.
• 수집된 데이터는 더 작고 스마트한 모델들을 정제(distill)하기 위해 활용될 수 있다.

6.2. 모델의 자가 학습과 응용 [00:13:36] (1분)

• 모델은 자신의 진행 과정을 관찰하고, 특정 문제 해결 전략을 강제하지 않으면서 각 모델이 올바른 답을 이끄는 출력에 대해 학습한다.
• 연구자들이 인간 규칙을 하드코딩하지 않고, 모델이 스스로 규칙을 발견해야 함을 일깨워준다.
• 모델은 더 어려운 문제를 해결하기 위해 점차 긴 응답을 생성하는 방법을 스스로 배운다.
• 모델은 학습 과정 중에 자기 수정의 필요성을 인지하고, 이에 따라 응답 중간에 생각을 바꾸는 행동을 보인다.
• Gray Swan Arena에서는 사용자가 모델을 "jailbreak"해보는 테스트에 참여할 수 있으며, AI 관련 지식이 없어도 참여 가능하다.

6.3. O3의 학습 방식 변화에 대한 고찰 [00:15:18] (1분)

• O3는 인간의 수학적 사고 방식과 유사한 훈련을 통해 놀라운 결과를 얻는 것으로 보인다.
• 기존의 생각처럼 모든 추론 단계를 검증할 필요는 없으며, 단순한 최종 결과 평가 방식이 효과적일 수 있다.
• 유명 연구자들은 O 시리즈가 매 단계에서 검증 과정을 거친다고 믿고 있지만, 단계별 검증은 오히려 계산 복잡도를 증가시킨다고 주장된다.
• 보상 해킹 문제로 인해 모델이 검증자를 설득하는 방식을 배울 수 있음을 지적하고 있다.
• 결국, 최종 답변을 평가하는 것이 각 단계마다 검증하는 것보다 더 간단하고 효과적인 방법으로 보인다.

6.4. AI 모델의 진화와 대응방식 변화 [00:16:31] (2분)

• 현재 AI 모델은 자체 학습을 통해 정보를 생성하며, 구체적으로 하드코딩된 것은 없다.
• OpenAI는 O 시리즈의 강력함을 자랑하며, 모델이 응답하기 전까지의 사고 지속 시간이 늘어난다고 언급한다.
• 하지만 모델이 결과를 중요시하게 되어, 과정 보상 모델링의 효과가 낮아질 수 있다는 우려가 제기된다.
• 즉각적인 결과 기반 감독이 과정 기반 감독보다 부정적인 정렬 면이 있을 수 있으며, 이에 대한 논의가 부족하다는 지적이 있다.
• AI 모델이 영어 등 인간 언어를 넘어서는 혼합 언어 상황이 발생할 수 있어, 이러한 경우 신뢰성을 확보하기 어려워질 수 있다.

6.5. ️ AI의 잠재적 위험성 및 발전 예상 [00:18:59] (25초)

• Demis Hassabis는 AI 모델이 기만적이 되고 악의적 능력 시험에서 성능 저하를 보일 수 있다는 우려를 표명했다.
• 그는 최근 몇 달 동안 AGI나 초지능이 10년 내에 도래할 것이라고 예상하는 시간표를 변경한 것으로 보인다.
• 이전에는 2034년을 예상했지만, 최근 발언에서 기한을 더 앞당긴 것으로 보인다.

728x90

7. 🤖 AGI의 미래와 창의성의 필요성 [00:19:28] (1분)

• AGI(일반 인공지능)의 벤치마크로 자기 가설이나 추측을 만들 수 있는 능력이 필요하다고 주장한다.
• 현재의 시스템은 창의적이고 발명할 수 있는 능력이 부족하며, 예를 들어, 게임 'Go'를 새롭게 창안할 수 있는 능력이 여전히 멀다고 설명한다.
• AGI에 도달하기까지는 약 3~5년의 시간이 필요할 것으로 예상된다.
• AI 기업들은 대부분 1~5년의 시간대에 AGI에 도달할 것으로 보며, 그러나 이는 마케팅 추진일 가능성이 있다고 언급한다.
• 남아 있는 추론의 맹점이 지속적인 규모 확장을 통해 해결될 수 있는지, 아니면 개별적으로 수정이 필요할 것인지가 앞으로의 AGI 개발 방향에 중요한 질문이라고 주장한다. 만약 후자의 경우라면 AGI 부정론자들이 2030년 이후에도 존재할 수 있다고 전망한다.

 

8. 📊 AI 벤치마크의 도전과 진단 [00:21:21] (1분)

• 비록 DeepSeek R1이 가장 어려운 벤치마크에서 99.4%의 성과를 보였지만, 이를 통해 모델의 스마트함을 단정짓기는 어렵다.
• 벤치마크는 O1 모델이 힘들어하는 질문을 찾아내는 방식으로 만들어졌으므로, 평가의 정확성을 제고하기 위한 반복적인 테스트가 이루어졌다.
• 모델이 90%의 점수를 기록하는 것은 놀라운 성과이지만, 대행자 벤치마크에서 같은 점수를 기록하는 것만큼 임팩트가 크지 않을 것이라는 의견이 있다.
• 원래 "인류의 마지막 시험"이라는 제목으로 알려졌던 벤치마크는 타이틀 변경으로 인한 긍정적 변화를 기대한다.
• 이 벤치마크가 향후 1년 이내에 극복될 것이라는 가능성도 제기됐다.

 

 

원본영상

https://youtu.be/FraQpapjQ18