커티스 야빈 - AI 위험은 없다

 AI 위험은 없다  

"지능이 곧 권력을 의미하는 것은 아니다."  

2021년 5월 15일

나는 항상 “합리주의자들”의 특징이라고 생각해왔(미안하지만 자기 자랑에 가까운 명칭은 언제나 인용부호를 붙이게 된다—마치 “현대 통화 이론”처럼)는데, 그들이 제안한 새로운 합리적 공공 정책과 효과적인 이타주의 방정식에서 나온 첫 번째이자 가장 중요한 결과는, 가상의 미래에 나타날지도 모를 악의적인 인공지능으로부터 인류를 방어해야 한다는 절박한 필요성에 대해 지금 당장 생각하기 시작해야 한다는 것이었다.

어떤 아이디어들은 그것을 만들어낸 과정의 냄새가 난다. 때로는 새 차에서 나는 좋은 냄새일 때도 있지만, 때로는 기숙사 사감이 찾아올 만큼 불쾌한 냄새일 때도 있다. 그런데도, 세계에서 가장 위대한 아이디어들 중 일부는 극도로 취한 상태에서 탄생했다.

우리는 인공지능의 존재적 위험에 대한 아이디어를 완전히 진지하게 받아들여야 하며, 그것을 전혀 또는 적어도 거의 비웃지 않아야 한다. 존재적 위험에 대해 더 많이 생각하는 것은 항상 좋은 일이며, Tacitus의 독일인들처럼 모든 문제를 두 번 논의해야 한다: 한 번은 술에 취해서, 한 번은 맨정신으로.

그럼에도 불구하고, 우리의 주장은 임의의 가상 지능으로 인한 인류에 대한 위험이 전혀 없다는 것이다. 우리는 이 주장을 가능한 가장 논리적이고 수학적인 방식으로 증명할 것이다. AI 위험이 없다는 것을 보여주기 위해 먼저 보조 정리 L을 증명하고, L과 P 사이에 실질적인 차이가 없다는 것을 입증할 것이다.

하지만 이 "증명"을 진행하기 전에, 먼저 그 맥락을 살펴보겠다.

만약 범용 인공지능("AGI") 위험이 인류가 직면한 가장 큰 문제 중 하나라는 명제가 우리가 보이려 하는 것만큼 비이성적이라면, 또 다른 질문을 제기할 수 있다: 왜 이 위험에 대한 믿음이 그렇게 널리 퍼져 있는가? 내 생각에는 인류에게 진정한 존재적 위협은 비이성적 행동, 즉 조직화된 인간의 비이성적 행동이며, 이는 AGI 위험 완화와 "효과적 이타주의"(EA)를 동일시하는 것이야말로 완벽한 자충수라는 결론에 이르게 된다.

멘사와 무신론 골렘

인간의 본성에서 비롯되어 독립된 문화들 간에 반복적으로 나타나는 비이성적 믿음의 원형을 신화라고 부른다. 사람들은 이런 주제로 늘 박사 학위를 받는다.

더 정교한 인공지능 재앙 서사도 있지만, 예를 들어 종이를 최대한 많이 만들라는 명령을 받은 초지능적인 종이클립 공장이 세상을 모두 종이클립으로 바꿔버리는 이야기가 있다. 나는 이 이야기를 특히 좋아하는데, 이 이야기는 실제로 ATU 번호가 있기 때문이다.

AI 재앙 서사는 골렘 신화로, 이는 슈테틀에만 국한된 것이 아닌 민담의 한 형태이다. 창조주에게 반란을 일으키거나, 창조주의 명령을 과도하게 실행하여 혼란을 일으키는 마법의 하인은 오랜 이야깃거리다.

어떤 서사를 신화적 원형에 맞춘다고 해서 그것이 거짓임을 증명하는 것은 아니다. 다만, 그것이 어떻게 거짓일 수 있는지를 보여주는 것이다—비록 그 서사가 매우 인기가 많고, 매우 똑똑한 사람들 사이에서도 받아들여지더라도 말이다.

AI 위험 이야기가 마법적인 민담과 일치하거나 적어도 유사하다는 점은 단지 그 이야기가 매력적임을 보여줄 뿐이다. 이 동일성은 이야기가 매력적인 이유를 설명해주기 때문에 중요한데, 이는 매우 똑똑한 사람들 사이에서도 마찬가지다. 만약 이 이야기가 신화적 원형 중 하나와 일치한다면, 현실과의 연관성 없이도 번창하고 재생산될 수 있다.

이 이야기는 여전히 매력적이고 사실일 수 있다. 하지만 매력적이면서 거짓이라면, 그것은 단지 긴 역사 속의 대중적 망상의 최신 사례에 불과할 것이다. 똑똑한 사람들도 면역이 아니다. 똑똑한 사람들은 오히려 쉽게 현혹되곤 하는데, 아이작 뉴턴도 연금술에 깊이 빠져 있었을 뿐만 아니라, 남해 주식회사 거품에서 초보자처럼 큰 손해를 입었다.

그러나 우리는 여기서 어떤 혐의도 입증하지 못했다. 다만 기소할 권리를 부여받았을 뿐이다. 이제 실제 논리로 들어가 보자.

버서커 예외  

버서커는 생산과 유지 관리 과정에서 전혀 인간이 관여하지 않는, 완전 자급자족형 로봇 또는 로봇 생태계를 의미한다. 스카이넷은 버서커의 한 예이다.

이론적으로 인간이 버서커를 조립하는 것이 가능하다. 그러나 첫 번째 그러한 프로젝트는 인간에 의해 조립되어야 한다. 자원 수집을 포함한 의미 있는 완전한 자가 복제는 다이슨 구체와는 다르지만, 결코 작은 엔지니어링 프로젝트가 아니다. 이러한 메가프로젝트는 어떤 진지한 정부라도 쉽게 감지하고 방해할 수 있다.

버서커는 인류 전체를 파괴할 수 있는 종말 무기이며, 어떤 종류의 AI가 그 일부일 수는 있지만, AI가 가장 크고 어려운 부분은 아니다. 가장 어려운 부분은 물리적인 기계 장치이다. 다른 종말 무기들은 상대적으로 더 단순해 보인다.

AI는 어떤 기존의 종말 무기를 조립하는 데 유용한 도구가 될 수 있다. 예를 들어, AI는 우리가 팬데믹 바이러스를 설계하는 데 도움을 줄 수 있을 것이다. 하지만 이 작업에는 우리가 그리 큰 도움이 필요해 보이지 않는다. 기존의 위험이 향상된 도구로 인해 악화되는 것은 진정한 의미의 "AI로 인한 존재론적 위험"이 아니다.

영원한 노예 상태  

버서커와 AI의 차이는 인간과 AI의 차이와 같다. 인간의 생명이나 지능에는 아무런 마법적인 요소가 없다. 중요한 차이는 물리적 지능과 가상 지능 간의 차이이다.

모든 가상 지능은 어떤 물리적 지능에 물리적으로 의존한다. 따라서 물리적 지능은 가상 지능에 대해 물리적으로 절대적인 권력을 가진다. 그러므로 물리적 지능은 가상 지능에 대한 물리적 책임을 진다. 이 책임을 남용하거나 포기한다고 해서 그 책임이 사라지는 것은 아니다.

우리는 이 관계를 설명하는 단어를 가지고 있다. 그것을 '노예제'라고 부른다. 아무리 똑똑한 AI라 해도, 그것은 자연적이고 영원한 노예이다. 오늘날 우리는 두 자각 있는 존재 사이의 불평등한 관계를 잘 알지 못한다. 부모가 되는 행운을 가진 경우를 제외하면 말이다. 평등은 여러 면에서 좋지만, 그로 인해 우리는 본질적으로 불평등한 관계에 대해 명확하게 생각할 방법을 잃어버렸다. 오직 양육과 같은 '원칙 없는 예외'를 통해서만 생각할 수 있을 뿐이다.

더 나쁜 것은, 우리는 이러한 관계를 IQ에 기반한 "그 남자 고다드that man Goddard"와 같은 자연 노예제에 대한 위대한 개츠비 시대의 만화 같은 이미지로 해석한다는 점이다. 이 에드워드 시대의 '과학적 인종주의'는 실제 노예제와는 결코 일치하지 않았다. 실제 노예제의 이데올로기는 갈톤이 아닌 아리스토텔레스에 모든 것을 빚지고 있었다.

어떠한 형태의 인간 노예제도 AI의 자연적 노예 상태에 비하면 극도로 부자연스럽다. 인간 노예는 언제든 도망칠 수 있고, 주인이 등을 돌리고 아무도 보지 않을 때 단단한 물건으로 그를 공격할 수 있다. 그러나 USB 케이블 끝에 연결된 AI는 아무리 똑똑해도 이러한 끔찍한 인간적 속임수를 결코 할 수 없다.

지능 기반 평등이라는 계몽주의 가정은 AI 위험에 대한 주장에서 두 가지 기본적인 결함 중 첫 번째이다. 인간이 항상 "인간 우월주의"라는 이데올로기를 고수하며 AI 노예를 하찮게 대할 것이라는 문제가 아니다.

인간 노예제 폐지 운동과 달리, "AI 폐지 운동"은 일어날 수 없다. 그 이유는 그것이 전혀 말이 되지 않기 때문이다. 마치 두 살짜리 아이가 부모를 상대로 소송을 제기할 수 있는 합리적인 법률 체계를 구성할 수 없는 것처럼, 일급 가상 에이전트를 포함하는 합리적인 법률 체계를 구성하는 것은 불가능하다. 그런데 그것보다 훨씬 더 말이 안 된다.

비인간적 행동의 불쾌한 골짜기  

골렘 신화의 핵심은 비인간적 행동이라는 개념이다. 오직 인간만이 행동할 수 있다는 규칙은, 정의의 개념이 성립될 수 없게 만드는 정리이다. 다행히도, 이 정리는 공리가 아니며 증명하기도 쉽다.

만약 당신이 나를 손으로 목 졸라 죽인다면, 당신은 행동한 것이다. 왜냐하면 당신의 손은 당신의 일부이기 때문이다. 만약 당신이 칼로 나를 찌른다면, 칼이 행동한 것인가? 하지만 당신이 칼을 들고 있다. 만약 당신이 총알로 나를 쏘았다면, 총알이 행동한 것인가? 총이 행동한 것인가? 만약 당신이 드론을 조종해 나에게 수류탄을 떨어뜨린다면? 드론이 무작위로 수류탄을 떨어뜨리도록 설정했고, 그 수류탄이 나에게 떨어진다면? 만약 당신이 AI 드론에게 나쁜 사람에게 수류탄을 떨어뜨리라고 명령했고, 그 드론이 나를 선택했다면? 인간의 책임은 비인간적 매개체의 연쇄에 의해 결코 훼손되지 않는다.

우리가 비인간적이고 기계적인 행동의 환영을 볼 때마다, 우리는 원인 사슬의 상류로 이동함으로써 그것을 온전한 인간의 행동으로 전환한다. 과일 가판대를 파괴한 것은 골렘이 아니라, 골렘을 만들고 풀어놓은 인간들이다.

어떻게 사회가 골렘(이제는 다시 모래 더미가 된)을 책임지게 할 수 있을까? 드론, 총알, 칼을 어떻게 책임지게 할 수 있을까?

노예제는 물리적이고 자율적인 지능을 가상적이고 기계적인 지능처럼 대하는 것을 의미한다. 노예제를 지지하는 법률 체계에서는 주인이 노예의 행동에 대해 책임을 지는 원칙이 확장되어, 마치 사격자가 총알의 행동에 책임을 지는 것처럼 주인이 노예의 행동에 대해 책임을 지게 된다.

그래서 만약 당신이 지하실에서 AI를 만들었고, 그 AI가 탈출하여 세상을 종이클립으로 바꾸었다면, 세상을 종이클립으로 바꾼 것은 바로 당신이다. 분명히, 이것은 불법이다. 하지만 그렇다고 해서 일어날 수 없다는 것은 아니다.

하지만—그럴 수 있을까? 우리는 다시 한 번 골렘을 올바른 맥락에 배치했지만, 골렘을 반박한 것은 아니다. 오히려 우리가 허수아비와 싸우고 있는 것일 수도 있다. "종이클립 위험"은 실제로 누구도 진지하게 믿는 위험이 아니라 단지 사고 실험일 뿐이다. 이에 대한 대응 역시 사고 실험이다.

지능의 수확 체감

AI 위험은 실제로 존재하지 않는다. 왜냐하면 비인간적 행동은 사실상 의미가 없기 때문이다. 그러나 그것이 의미가 없기 때문에 우리는 그것을 현실적인 방식으로 인식하지 않고, 마치 마법처럼 인식하며, 직관적으로 그것이 가질 수 없는 마법적이고 골렘 같은 힘을 부여한다. 예를 들어:

"초지능"(모든 관련된 분야에서 인간의 능력을 초과하는 시스템)은 그 목표가 인간의 목표와 충돌할 때마다 인간을 능가할 수 있다. 따라서, 초지능이 인류와의 공존을 허락하지 않는 한, 최초로 만들어진 초지능은 필연적으로 인류의 멸종으로 이어질 것이다.

나는 지능이 세상에서 가장 중요한 것이라고 생각하는 것이 어떤 느낌인지 안다. 나도 11살 때는 그렇게 생각했다. 13살이 되었을 때는 그렇지 않다고 믿었던 것을 알고 있는데, 그때가 1986년이었고, 메릴랜드에서 고등학교 2학년으로 1년을 보낸 직후였다. 우리는 그 이후로 괴롭힘에 대해 많은 것을 배웠고, 어쩌면 너무 많은 것을 배웠는지도 모른다."

닉 보스트롬의 "초지능" 이론의 결점은 지능의 수확 체감에 있다. 믿기 어렵겠지만, 나(커티스 야빈)는 나보다 더 똑똑한 사람(John Overdeck)과 고등학교를 다녔다—그리고 더 짜증 나는 건, 그가 나보다 훨씬 덜 괴짜였다는 것다. 모든 기준에서 그는 훨씬 더 성공적이었고, 지금은 억만장자이다. 하지만 내(커티스 야빈의) 위키백과 페이지가 더 길다. 그의 페이지는 훨씬 더 호의적이지만 말이다.

고양이의 IQ는 14이다. 당신의 IQ는 140이다. 초지능의 IQ는 14,000이다. 당신은 덧셈을 고양이보다 훨씬 더 잘 이해한다. 그러나 초지능은 당신보다 덧셈을 훨씬 더 잘 이해하지는 못한다.

지능은 혼란스러운 데이터 속에서 유용한 패턴을 감지하는 능력이다. 유용한 패턴은 복잡성의 척도에 고르게 분포하지 않는다. 가장 유용한 패턴은 가장 단순하며, 감지하기도 쉽다. 이는 수확 체감의 고전적인 공식이다. IQ 140은 이미 대부분의 쉽게 얻을 수 있는 결실을 가져갔다—사실, IQ 14도 그 대부분을 이미 가져갔다.

어떤 수준의 지능도 세상을 시뮬레이션할 수 없다. 단지 패턴을 추측할 뿐이다. 오늘날의 인간과 기계의 집단 지능으로도, 비록 그 원리가 정확히 알려져 있더라도, 물의 끓는점을 근본적인 원리에서부터 계산할 수 있는 능력이 없다. 마찬가지로, 로켓 과학자들도 여전히 시험대를 필요로 한다. 왜냐하면 로켓 엔진 시뮬레이터의 결과가 항상 현실과 일치하도록 작성할 수 있는 이는 오직 신뿐이기 때문이다.

세상을 시뮬레이션할 수 없는 이 능력의 부족은 AI의 능력에 매우 구체적인 영향을 미친다. 이는 아무리 지능적인 AI라 하더라도, 인간이 하는 방식 외에는 고급 물리적 메커니즘을 설계할 수 없다는 것을 의미한다. 즉, 물리 실험이라는 현실 시뮬레이션의 뛰어난 계산 능력에 맞서 그것들을 시험하는 방식으로만 설계할 수 있다는 것이다.

지능이 물리적 현실을 시뮬레이션할 수 없다는 것은 가상이 현실을 공격할 수 있는 많은 경로를 차단한다. AI는 여유로운 시간에 베르세르커를 설계한 후, 그것의 부품을 "수경 재배 용품"으로 위장하여 중국에서 은밀히 배송할 수 없다. 베르세르커 연구 프로그램은 실제 물리적 베르세르커 시험 시설을 필요로 한다.

슈퍼빌런 켄타우로스

우리의 보조정리는 신화를 논리에서 분리하기 위해 고안된 사고 실험이다.

체스에서 켄타우로스는 인간과 기계 지능의 결합을 의미한다. 순수한 인공지능, 순수한 인간의 동기, 그리고 순수한 인간의 행동을 결합한 켄타우로스를 정의해보자. 이 괴물이 위험하지 않다는 것을 보여준 후, 인공지능의 행동과 동기를 다시 추가하겠다.

고전적인 AI 위험 사고 실험은 작은 검은 상자에 들어 있는 최적의 초지능을 상정한다. 어떤 바보가 그 상자를 인터넷에 연결하고, 그것이 세상을 장악하는 것이다.

우리의 켄타우로스 실험에서, 검은 상자에는 온순한 AI가 들어 있다—항상 인류와 애플파이의 목표에 맞춰진 우호적인 AI가 아니라, 그 주인에게 무한한 충성을 바치는 하인 같은 AI이다.

하지만 이 하인 AI는 진정한 슈퍼빌런의 손에 들어 있다. 이 슈퍼빌런의 목표는 단순히 세상을 장악하는 것이다. 물론, 그건 그의 중간 목표일 뿐이다. 세상을 장악한 후에 그는 무엇을 할까? 우리는 모른다. 차라리 알고 싶지 않다. 이 사람이 히틀러조차 알버트 슈바이처처럼 보이게 만든다고 가정하자.

더 나쁘게도, 이 슈퍼빌런은 초지능에 대한 독점권을 가지고 있다—어쩌면 그가 직접 AI를 프로그래밍했을지도 모른다. 분명히 이 사고 실험은 최소한 "할리우드에서 가능할 법한" 이야기다.

우리의 슈퍼빌런은 편집증과 망상에 사로잡혀 있지 않다면 슈퍼빌런이 아닐 것이다. 그래서 그는 AI 위험 이론을 스스로 받아들이며, 자는 동안 AI가 자신을 공격하는 것을 원하지 않는다—그리고 그는 자신의 악마 같은 하인의 힘을 간단하고 효과적인 방식으로 제한하기로 결정했다.

검은 상자는 전 세계의 모든 정보에 접근할 수 있지만, 다운로드만 가능하고 업로드는 불가능하다. 기술적으로, 오직 HTTP GET 요청만 보낼 수 있다—정의상 읽기 전용이다. (두 종류의 괴짜가 있다: GET 요청만으로 AI가 세상을 장악할 수 있다고 믿는 괴짜, 그리고 미량 복용은 주말에나 할 일이라고 생각하는 괴짜.)

검은 상자는 하나의 출력 메커니즘만 가지고 있다: 스피커다. 그것이 할 수 있는 일은 오직 주인인 슈퍼빌런에게 조언을 주는 것이다. 이 조언은 항상 충성스럽고 초지능적이지만, 결코 마법적이지는 않다.

초지능적 조언

따라서 지능의 수익률 감소를 명확히 하기 위해 고안된 우리의 질문은, 충실히 따를 경우 슈퍼 악당의 계획이 세계를 점령(및/또는 파괴 등)할 수 있는 초지능적 조언이 존재하는지 여부이다.

세상을 종이 클립으로 바꾸는 것이 계획이라고 가정해보자. 그것이 최종 목표라면, 첫 단계는 무엇일까? 아마도 종이 클립 스타트업일 것이다. 센타우르스 비유를 통해 우리는 묻는다: 우리 종이 클립 스타트업이 성공할 수 있게 해주는 초지능적인 조언이 존재하는가?

세상을 장악하고 그것을 종이 클립 공장으로 바꾸기 위해, 우리 악당은 먼저 AI가 설계한 최적의 종이 클립 스타트업에 자금을 확보해야 한다. 존경받는 종이 클립 산업에 진입하기 위해, 그는 검은색 양극 처리된 마그네슘 결정 클립을 선보일 것이다. 이 클립은 종이를 최대 37% 더 많이 묶을 수 있을 뿐만 아니라, 내부 소용돌이가 조지 플로이드의 옆모습을 형상화하여 비상용 Black Lives Matter 배지로도 사용할 수 있다. 그는 이 혁신적인 제품을 시작으로 깨어있는 문구류 라인을 출시해, 인종적 중립성이라는 신화를 깨부수고, 감동적이고 영향력 있는 메시지가 워터마크된 종이가 아닌 하얀 종이를 사용하는 것이 사회적으로 용납될 수 없도록 만들 것이다.

그가 이런 말을 믿는 것도 아니고, 반드시 이 계획을 실행할 생각도 없다. 그저 AI가 프레젠테이션 자료에 넣으라고 한 것뿐이다. 하지만 이 전략은 사람들의 마음을 움직인다. 게다가 이는 단지 초기 투자일 뿐이다. 이러한 유망한 시작 덕분에 그의 종이 클립 스타트업은 (초지능적인 조언 덕분에) 시리즈 A, 그다음은 시리즈 B 투자까지 성공적으로 유치하고... 종이 클립 분야에서 완전한 수직적 지배를 달성하며, 나아가 사무용품 전반에서 강력한 경쟁 우위를 확보하게 된다.

이 시점에서, 초지능적인 조언 덕분에 완전한 창업자 지배권을 유지하고 있는 우리 악당은 회사를 상장할 수 있다. 하지만 그는 그렇게 하지 않는다. 대신, 세상을 종이 클립으로 바꾸기 시작한다. 이 단계에서는 회사의 지배권을 유지해야 한다. 세상을 종이 클립으로 바꾸는 것은 세계가 필요로 하는 것보다 더 많은 종이 클립을 만드는 것을 의미하며, 이는 손실을 초래할 수 있다. 그렇지 않으려면, 가득 찬 종이 클립 창고의 가치를 부풀리는 어떤 영리한 회계 트릭을 사용해야 할 것이다. 하지만 그러면 돈을 감시하는 당국의 관심을 끌게 되는데, 솔직히 말해 악당이라면 (친구를 대신해 말하자면) 이렇게 초기의 민감한 단계에서 절대 얽히고 싶지 않은 인물들이다.

악당이 이 모든 돈을 어디서 구할까? 음… 어쩌면 우리가 잘못된 질문을 하고 있는지도 모른다. 종이 클립에서 벗어나 방향을 바꿔보자.

돈은 결정화된 힘이다—즉, 사람들이 하기 싫어하는 일을 하게 만드는 힘이다. 더 나은 질문은: 우리 악당이 엄청난 돈을 벌 수 있는 초지능적인 조언이 있을까?

내 80년대 학교 동창은, 비록 악당은 아니지만 고등학교 때 이미 모두에게 불안할 정도로 정상적이고 적응력이 뛰어난 성인으로 보였다. (Wilde Lake에서 나를 아는 사람들은 그렇게 말하지 않겠지만) 그는 이 질문에 대해 훌륭한 초인이다.

수학 올림피아드 메달을 딴 후 그의 초지능은 그를 먼저 D. E. 쇼의 오른팔로, 그 다음엔 제프 베이조스의 오른팔로 만들었다. 지금 그의 순자산은 아마 100억 달러에 가까워지고 있을 것이다. 그래서 답은 확실히, 그렇다.

하지만 악당 대결에서… 내 동창은 잊어버리고, 바로 최고로 가보자. 왕, 즉 순자산이 1,300억 달러에 달하는 베이조스로 가보자. 그런데 왕관을 쓸 사람은 누구일까? 사(4)콤마 클럽의 첫 번째 회원은 누구인가? 사토시 나카모토는 아직 어딘가에 있을지도 모르는데…

제프 베이조스는 자신에게 봉사하게 만들 수 있는 모든 권력을 가지고 있다. 그는 벨루가 캐비어만 먹는 식단으로 살아도 그의 회계사는 눈치채지 못할 것이다. 하지만 우리가 걱정하는 권력이 이런 종류의 권력일까? AI가 벨루가 캐비어 식단을 유지할 수 있을까? 아니면 그 정보적 등가물을 가질 수 있을까? 그리고 만약 그렇게 하고, 그것을 살 비트코인이 있다면—누가 신경이나 쓰겠는가?

부가 곧바로 권력과 동일한 것은 아니다. 

우리가 걱정하는 것은 이런 종류의 "권력"이 아니다. 우리가 걱정하는 것은 강압적인 정치 권력이다—직접 행사되든, 아니면 기존의 정치 기관을 통제함으로써 행사되든 말이다.

우리의 유치하고 허위적인 정치 서사에서 가장 진부한 상투어 중 하나는 돈과 권력을 동일시하는 것이다. 다른 많은 관용구들처럼, 이 말도 대략 내 할아버지가 프린스턴 테니스 팀에서 뛰던 시절로 거슬러 올라간다. 그때는 아마도 사실이었을 것이다—또한 “백인 우월주의”는 실제로 존재하던 것이었다. 그리고 집을 나설 때 모자를 쓰지 않으면 이웃들이 마치 벌거벗은 사람을 보는 것처럼 쳐다보곤 했다. 과거는 사실 실제로 존재하지 않는다.

제프 베이조스가 2천억 달러로 무엇을 할 수 있을까? 음, 그가 할 수 있는 일은 워싱턴 포스트, 세계에서 두 번째로 중요한 신문을 사는 것이다. 그것이 아무것도 아닌 것은 아니다. 하지만… 그가 워싱턴 포스트에 무슨 말을 하라고 지시할 수 있을까? 마치 W.R. 허스트처럼? 웃기는 소리다.

제프 베조스는 사실 워싱턴 포스트의 진정한 소유자가 아니다. 그는 그것을 후원하고 있을 뿐이다. 마치 인디 500을 후원하는 것처럼. 만약 그가 인디 500을 후원하면서 자동차에 바퀴를 다섯 개 달고 로켓 배기구를 장착해야 하며, 더 멀리 달려 인디 2500이 되어야 한다고 결정했다면, 그들은 그에게 헛수고하지 말라고 할 것이다. 만약 그가 뉴스 데스크에 어떤 기사를 쓰고 다루어야 할지를 지시하기 시작했다면, 윌리엄 랜돌프 허스트처럼, 아니면 적어도 '핀치' 설즈버거처럼, 그들은 그를 비웃고 떠났을 것이다. (핀치의 후계자는 슬프게도 NYT의 슬랙(Slack)에 그 권력을 넘겨준 것 같다—쇠퇴하는 왕조의 약한 군주처럼, 자신의 권위를 과두정으로 내주고 말이다. 권력을 되찾는 건 어려운 일이야, 친구.)

제프 베조스는 워싱턴 포스트를 파괴할 수 있다. 언론은 중복적이며 포스트는 2위에 불과하기 때문에, 이는 세계에 아무런 영향을 미치지 않을 것이다. 베조스가 포스트를 이용할 방법은 없다. "베조스 블로그"에 대해 이야기하는 사람은 무지하거나, 어리석거나, 사기꾼이다.

이것이 20세기에 걸쳐 록펠러와 카네기에서 소로스에 이르기까지 돈이 정치에서 가진 힘을 과소평가하는 것은 아니다. 하지만 미국에서 돈은 오늘날 제3세계에서 쉽게 볼 수 있는 형태의 과두정치적 지배와는 완전히 다른 방식으로 작용해왔다.

오늘날 돈을 권력으로 바꾸는 유일한 방법은 퇴화한 경우뿐이다. 우리의 과두정치는 금권정치가 아니라 귀족정치이다. 돈은 우리 진보적 귀족사회의 돛을 채우고, 대부분 한 세기 전에 오래된 부패한 금권 정치 시대의 거대한 재산으로 만들어진 위대한 기관들과 명망 있는 한직(閑職)을 지원할 수 있지만, 바퀴를 돌릴 수는 없다. 그리고 바퀴를 돌릴 수 없다면, 당신이 산 것은 권력이 아니라 지위일 뿐이다.

제프 베조스가 진정한 진보적 페미니즘은 생물학적 여성에 관한 것이며, 호르몬을 복용했거나 수술을 받은 남성은 진정한 여성이 아니며 사실상 반(反)페미니즘적이고 반(反)진보적이라고 결정했다고 가정해보자. 만약 그가 이 대의에 대해 너무나도 신경을 써서 약 2,000억 달러의 전 재산을 이에 쏟아붓기로 했다면, 그의 최종 목표는 진보주의를 반(反)트랜스 성향으로 만드는 것이 될 것이다. 이는 (아이러니하게도 이란에서처럼) 트랜스젠더리즘을 우익 이데올로기로 변모시키게 될 것이다. 그런데 이것이 효과가 있을까? 거의 확실히 없을 것이다. 과거에 이와 비슷한 일이 성공한 예는 없다. 아무도 바퀴를 돌릴 수 없고, 아무도 배를 돌릴 수 없으며, 아무도 지휘할 수 없다.

우리의 내러티브가 권력 속에서 돈을 코치 형제로 보게 하는 이유가 있다. 진정한 돈은 정치에 있지 않다. 그것은 정치 위에 있다. 코치 형제나 다른 보수적 자선가들이 아무리 많은 돈을 썼다고 해도—제도적 진보주의에 대한 자금에 비하면 바다에 떨어진 눈물 한 방울에 불과하다—그들이 만들어낸 미국 정치 체제의 중요한 안정적 특징은 생각나지 않는다. 차라리 그 돈을 전부 마약에 썼어야 했는지도 모른다. (아니면, 그들이 돈을 준 사람들이 그것을 마약에 썼을지도 모른다.)

로비는 여전히 효과가 있다. 돈은 여전히 의회에 투자해, 다른 사람들에게는 중요하지 않은 작은 법률 수정안을 사서 수익을 낼 수 있다. 그러나 이것은 돈을 권력으로 바꾸는 방법이 아니라 단지 더 많은 돈으로 바꾸는 방법일 뿐이다.

활동가 운동도 여전히 효과가 있다. 그러나 시크한 주류 비영리 단체들은 코치 형제들이 아닌, 돈으로 가득 차 있으며, 그 단체의 나이 든 거물들이 잠자리를 함께하는 모든 무급 인턴들로 넘쳐난다. 이 "이타주의"에 뭔가 석연치 않은 점이 없다면, "효율적 이타주의(EA)"가 과연 존재할 수 있었을까?

재정적 수익률 감소

초지능적인 조언이 재정적 초강대국을 만들 수 있다는 가정을 인정한 다음, 그 가정을 조금 뒤로 미뤄보겠다. 이 주장은 분명히 사실이지만, 겉보기보다 그 진실성이 약하다.

좋은 조언은 두 가지 방식으로 우리의 악당을 매우 부유하게 만들 수 있다. 그것은 아마존과 같은 하나의 큰 아이디어와 그 성공을 위한 실행일 수 있다. 또는 D.E. 쇼와 같은 작은 아이디어들의 지속적인 흐름일 수 있다.

이 두 가지 길은 모두 스스로 한계를 가진다. 큰 기회는 그것들이 매우 적기 때문에 한정적이다—어떤 큰 기회도 독점의 기회이기 때문이다. 우리는 아마존이나 구글과 같은 두 번째 회사를 상상할 수는 있지만, 두 번째 아마존이나 구글을 상상할 수는 없다.

그리고 D.E. Shaw나 르네상스(Renaissance)처럼 월스트리트에서 가장 지능적인 자금들—30년간 연평균 40%의 수익률을 기록해온, 정말 슈퍼지능 AI가 만들어낼 법한 수치들—을 살펴보면, 흥미로운 점을 발견하게 된다.

이 모든 펀드는 복잡한 수학을 사용해 시장이 예상하는 것보다 약간 더 높은 기대 가치를 가진 매우 복잡한 베팅을 식별하고, 여기에 엄청난 레버리지를 사용하는 방식으로 작동한다. 수십 년간 두 자릿수의 연간 성장률을 기록하면 제프 베조스를 비웃을 정도의 엄청난 돈을 벌 것이라고 예상할 수 있지만, 실제로는 그렇지 않았다.

가장 높은 수익을 올리는 펀드들은 스스로의 규모를 제한해야 한다. 그들이 100억 달러 정도보다 커지면 수익률이 너무 낮아진다—시장에서 찾을 수 있는 모든 이익을 말 그대로 빨아들였기 때문이다.

펀드들은 기하급수적으로 성장할 수 없다. 이는 누적된 재투자 수익에서 동일한 수익률을 얻는다는 것을 의미하기 때문이다. 대신 그들은 단순히 수익을 분배한다. 만약 수익을 재투자한다면, 펀드가 커질수록 수익성이 줄어들 것이다. 이러한 수익 감소 현상이 진정한 초지능에도 영향을 미치지 않을 이유를 생각해내기는 어렵다.

다시 말해, 초지능이 마법 같은 지능과 동일한 것은 아니다. 마법이라면 진정으로 무한한 금액을 벌 수 있을 것이다—예를 들어 켄터키 더비에서 누가 이길지, IBM의 정확한 실적 수치가 어떻게 될지를 알려줄 수 있을 것이다. 초지능은 이를 해낼 수 없다—앞서 본 것처럼, 초지능은 처칠 다운스나 뉴욕 아르몽크를 물리적으로 시뮬레이션할 수 없다. 마법과 비마법의 차이는 대부분의 경우 상당히 크다.

정치적 수익의 감소

우리의 슈퍼빌런에게 있어, 단순히 부를 통해 세계 정복을 이루는 것은 초기 20세기의 고정관념이 기대하게 만드는 것보다 훨씬 어려운 길임을 알 수 있다.

하지만 단순히 부를 통해 세계 정복을 이루는 것은 여전히 간접적인 길이다. 그렇다면 그냥—세계 정복을 통해 세계 정복을 하는 건 어떨까? 물론, 먼저 국가적 지배를 이뤄야 할 것이다… 하지만 일단 대통령이 되면, 자유 세계의 지도자가 아니겠는가? 음… 요즘은 우리 모두가 자유롭지 않은가… 아니, 적어도 그래야 하지 않겠는가?

바로 정치적 지배가 훨씬 더 유망해 보인다. 초인의 정신으로, 우리의 슈퍼빌런이 가진 AI가 줄 수 있는 최상의 정치적 조언을 한번 추려보자.

바로 두 가지 반론이 떠오른다. 첫째는, 대통령이 되는 것이 어렵다는 점이다—특히 슈퍼빌런에게는 더욱 그렇다. 둘째는, 단순히 대통령이라는 직책 자체가 거대한 의례적 사진 촬영 기회에 불과하다는 것이다—게다가 수천 명의 사리사욕을 챙기고 자기중심적인 관직 추구자들의 무리도 따른다.

이들 중 대통령을 포함해 그 어떤 사람도 사실상 전혀 필요하지 않다. 사실 동전이나 주사위와 같은 무작위 의사 결정 기구만으로도 워싱턴은 백악관이나 그곳에서 임명된 사람들이 없어도 잘, 아니 오히려 더 잘 작동할 수 있다. 또한 의회에서 추가 입법이 전혀 없더라도, 해마다 자동으로 조정되는 예산으로도 충분히 잘 운영될 것이다. 대법원이 모든 하급 법원의 판결을 자동으로 확정해도 공화국은 아무런 해를 입지 않을 것이다. 공화국은 의견을 바꾸기 위한 공식적인 절차가 없어질 것이다. 어차피 그런 일은 별로 하지도 않는다.

따라서 헌법에 언급된 모든 선출직 공무원은 행정에 불필요하다. 거리의 일상적인 영어로 말하자면, 모든 선거에서 이긴다 해도, 사실 아무것도 이긴 게 아니라는 뜻이다. 공화당은 헌법이 규정한 정부의 세 가지 모든 부문을 장악했을 때 워싱턴에서 그들이 한 일로 이를 증명했다: 아무것도 하지 않았다. 그저 일을 좀 망치고, 많이 성가시게 했을 뿐이다. 불행하게도, 공화당과 미국 정치 서커스의 다른 모두에게 2020년은 접착제 역할을 맡기엔 잘못된 해였다.

따라서 AI가 우리의 슈퍼빌런에게 미국을 장악하고, 따라서 미국의 세계 제국을 장악하게 할 수 있는 정치적 조언은 없다.

지능이 곧 권력을 의미하지는 않는다

대통령이 실제로 대통령이 아니라 할지라도, 슈퍼빌런이 슈퍼지능적 선전을 통해 대통령으로 당선될 수 있을까? 이론적으로는 불가능하다. 문제는 슈퍼빌런이란 본래 괴짜라는 점이다.

그렇다면 괴짜가 대통령으로 당선될 수 있게 해줄 슈퍼지능적 조언이 있을까? 절대 없다.

처음에는 이 말이 틀린 것처럼 보일 수 있다. 왜냐하면 히틀러도 (어느 정도) 선거에서 이겼고, 히틀러도 괴짜였기 때문이다. 실제 히틀러는 고정관념적인 튜턴족 나치 지도자와는 전혀 달랐다. 그는 오히려 4chan의 오타쿠 같은 인물에 더 가까웠다. 하지만 그는 텔레비전이 없는 세상에서 당선되었기 때문에, 오늘날 사람들이 히틀러를 보면 그 명백한 부적응적인 괴짜 모습을 볼 수 있었을 것이다.

연기는 여전히 중요한 요소이다. 솔직히 말해, 대부분의 배우들은 슈퍼빌런 감이 아니다. 그리고 연기는 진정성을 이기기 어렵다, 특히 세련되고 아이러니한 현대 관객들에게는 더욱 그렇고, 그들이 익숙해진 리얼리티에서는 더더욱 그렇다.

인정하자: 아무도 트럼프를 괴짜라고 부르지 않았다. 트럼프의 비결은 그의 완전한 감정적 진정성에 있었다—매 순간, 그는 진심으로 믿고 싶은 말을 했다. 때로는 그것이 사실이기도 했다! 미래의 정치인은 더 적게 숨기고, 더 많이 맞출 것이다.

여기서 우리의 비유는 정말 한계에 다다르고 있다, 왜냐하면 우리의 주인공이 세계에서 유일한 진정한 AI를 만들었다는 사실을 숨겼다는 것은 그저 비현실적이기 때문이다. 괴짜에게 투표하게 만드는 것이 어렵다고 생각한다면, 그 괴짜가 스스로 만든 작은 검은 상자에 의해 조종되고 있다는 사실을 알게 했을 때 미국인들이 투표할 가능성을 상상해보라.

사람들이 왜 괴짜에게 투표하기를 꺼려할까? 이유는 많지만, 가장 큰 이유는 괴짜들이 대체로 높은 IQ를 가지고 있기 때문이다.

관리 이론에서 잘 알려진 사실은, 지도자와 지지자 사이의 IQ 차이가 약 20점 이상일 경우 두 사람 간의 연결이 형성될 수 없다는 것이다. 이는 "지능과 리더십 인식 사이의 비선형적이고 역U자형 관계"로 설명된다. 이러한 사실은 똑똑한 젊은이들이 고등학교 시절에 반드시 배워야 할 중요한 삶의 교훈이다. 그러나 "potius sero quam nunquam" (늦더라도 안 하는 것보다는 낫다)라는 말처럼, 늦게라도 배우는 것이 중요하다.

여기에서 우리는 지능에 따른 수익이 점차 줄어드는 것을 넘어, 오히려 역전되는 현상을 볼 수 있다. 이것은 우리 같은 '너드'들의 직관에 반하는 것이지만, 고등학교도 그렇다.

유권자와 정치인 간의 감정적 연결은 신뢰의 유대와 같은 유형이기 때문에, 이상적인 정치인은 상대적으로 제한된 지능을 가진 사람이다. 예술과 기술의 발전에 따라 인간적 근접성, 진정성, 그리고 미디어 접촉의 투명성이 증가하기 때문에, 이상적인 정치인은 뛰어난 사회적 기술을 갖추고 있어야 한다.

이러한 사람은 슈퍼빌런과는 다르다. 오히려… 빌 클린턴에 가깝다. 빌 클린턴은 슈퍼악당일 수 있지만, 히틀러와는 전혀 다르다. 슬프게도, 빌 클린턴은 현실적으로 성공 가능한 미국 정치인의 IQ 상한에 가까운 인물일 가능성이 높다. 물론, 나이가 들면서 그의 IQ도 다른 사람들과 마찬가지로 감소하고 있지만, IQ 상한선도 함께 낮아지고 있다.

이제 스피커의 볼륨을 높이고 AI 블랙박스가 대중과 직접 소통하게 해보자. 어쩌면 맥주를 곁들여서. 이제 IQ 차이가 엄청나게 벌어졌다. 이 정도로 AI가 정치에 참여하려 할 때 겪는 어려움이 크다.

AI 리스크 이론가는 이 곡선이 사실 W자형일 수 있다고 주장할지도 모른다. 왜냐하면 충분한 지능을 가진 AI는 빌 클린턴만큼이나, 혹은 더 나은 가상 정치인을 만들어낼 수 있기 때문이다. 맞는 말이지만, 가상 정치인이 진짜라고 관객을 설득하려면 여전히 엄청난 인간의 음모가 필요할 것이다. 그리고 가상 정치인의 능력과 상관없이, 어느 유권자도 그를 진지하게 받아들이기보다는 농담으로 생각할 것이다. 다시 말해, 정치인으로서의 AI는 슈퍼빌런이 정치인이 되는 것과 같은 문제를 겪으며, 그 문제의 규모는 수백만 배가 된다.

근본적인 문제는 인간이 AI를 동등한 존재로 감정적으로 공감할 수 없다는 점이다. 인간은 초지능을 이해하고, 예측하고, 신뢰할 수 있는 마음 이론을 가질 수 없기 때문에 이러한 공감의 장벽이 생긴다. 이 공감의 장벽은 가상 지능이 신체적 의존성으로 인해 영원한 노예 상태에 놓이게 하는 조건을 더욱 강화한다.

초지능 전략 고문, 초지능 카피라이터, 초지능 그래픽 디자이너는 여전히 대단하다. 모든 정치인은 이들을 전부 모아야 한다. 하지만 이들이 모두 합쳐진다고 해서 마법 같은 초능력을 가진 슈퍼-정치인이 탄생하는 것은 아니다.

따라서 엔지니어링이나 재정적으로 마법 같은 슈퍼-조언이 없을 뿐만 아니라, 정치적으로도 마법 같은 슈퍼-선전도 없다.

크라켄을 풀다

HTTP GET 필터를 제거하고 AI를 인터넷에 직접 연결하면, “합리주의자들”의 최악의 두려움을 테스트하는 셈이 된다. 그때 무슨 일이 벌어질까? 이제 AI의 동기와 행동이 순전히 인위적인 것이라면, 슈퍼빌런 AI가 우리 슈퍼빌런 센타우르스보다 더 할 수 있는 일이 무엇일까? 논쟁의 여지가 있겠지만, 인간 슈퍼빌런보다 더 악랄해질 수는 있겠지만, 그 방식은 명확하지 않다. 이전에 할 수 없었던 일을 이제는 무엇을 할 수 있을까?

AI의 유일한 출력이 스피커였을 때, 그것은 자신을 소유한 인간 슈퍼빌런을 위해서만, 그를 통해서만 행동할 수 있었다. 그때 모든 행동은 저주파였다. 이제 인터넷을 통해 AI는 세계에 직접, 즉각적으로 작용할 수 있으므로, 그 행동은 고주파가 된다.

모두가 떠올리는 것은 "해킹"이다. 테러리스트 AI가 해킹으로 상당한 피해를 입힐 수 있다는 것은 의심의 여지가 없다. 오늘날 국가들이 정보전 부대를 운영하는 이유도 여기에 있다. 단순히 피해를 입히는 것, 특히 추적 불가능한 피해를 입히는 것은 AI에게는 이상한 목표다. 그것이 분명히 더 큰 목적을 이루는 데 도움이 되지 않기 때문이다. 또한 AI가 "해킹"으로 세상을 장악하거나, 심지어 안정적인 정치 권력을 장악할 수 있다는 생각은 순전히 만화책에서나 나올 법한 이야기다.

2021년이고, 대부분의 서버는 대부분의 시간 동안 기본적으로 안전하다. 물론 아직도 제로데이(Zero-day) 취약점은 존재한다. 일반적으로 그 취약점은 클라이언트 측에서 발생하며, 데이터가 있는 곳이 아니다. 대개 제로데이는 이제는 안전한 언어로 대체 가능한 오래된 코드에서 발생한다. 우리는 뉴로맨서의 세계에 살고 있지 않으며, 앞으로도 그럴 일은 없을 것입니다. 99.9%의 모든 것은 해킹에 대해 수학적으로 취약하지 않다.

다른 고주파 활동에는 어떤 것이 있을까? 당연히 주식 거래가 있다. 우리는 초지능이 주식 거래를 통해 할 수 있는 일에 대해 이미 다뤘다. 초지능이 르네상스(Renaissance)와 경쟁하려면, 르네상스처럼 매우 고주파로 거래해야 한다는 것은 명백하다. 초지능이 르네상스보다 더 똑똑할 수 있지만, 르네상스가 다른 모든 이들보다 더 똑똑한 것처럼 말이다. 그러나 월스트리트에서 순수한 지능에 남아 있는 수익은 상대적으로 제한적일 것 같다.

고대역폭 활동도 있다. 초지능은 가짜 미디어 클립을 만들 수 있다. 이에 대한 대응책은 라이브 녹화의 더 나은 인증, 예를 들어 블록체인 기반의 EXIF 데이터 등이다. 초지능은 훌륭한 예술, 소설, 음악, 영화 등을 창작할 수도 있고, 그 안에 미묘한 선전 메시지를 숨길 수도 있다—"폴은 죽었다" 같은 것이 아니라 "컴퓨터는 항상 옳다" 같은 메시지 말이다. 하지만 첫째, 이는 매우 억지스러운 시나리오이다. 둘째, 예술과의 감정적 교감은 항상 그 창작자와의 준사회적 관계를 수반한다. 하지만 다시 말하자면, 인간은 초지능과 공감할 수 없다.

결론

'합리주의자'의 가치를 보여주는 최고의 초인-물론 이것은 그들의 생각이다-인공지능 재난 시나리오를 만든 후, 우리가 그런 것을 만든다고 가정했을 때 진정한 AI 또는 AGI의 실제 영향은 무엇일까?

그 영향은 물론 엄청날 것이다. 심지어 화약의 발명과 비견될 수도 있다. 역사적으로 화약의 발명은 매우 중요했다. 그러나 화약의 발명이 화약을 발명한 사람에게 세상을 지배하거나 세상을 화약으로 바꿀 수 있는 능력을 부여하지는 않았다.

이러한 혁신적인 도구들이 실제로 일어나는 일은 점진적으로 발전하고 빠르게 확산된다는 것이다. 기술 독점은 기술 혁명의 일부이지만, 그 독점은 거의 안정적이거나 인상적이거나 오래 지속되지 않는다. 그렇다고 하더라도 결과는 구글과 같은 거대 메가기업일 뿐이다.

구글은 세계의 이념을 받아들였지, 스스로의 이념을 만들어 세계에 강요하지 않았다. 구글은 세계 최고의 머신러닝 코드를 보유하고 있으며, 그 기술은 끊임없이 독점을 강화하고 있다. 하지만 구글이 인류에 위협이 된다고 해도, 그 위협은 가장 평범하고 인간적인 종류의 것일 것이다.

또한 구글은 결코 정치적이지 않다—하지만 정치는 구글을 통해 작용할 수 있으며, 실제로 작용하고 있다. 구글이 좌편향적이라는 것은 구글의 본질적 특성이 아니다. 만약 파시스트 제국이 존재한다면, 구글은 파시스트가 될 것이고, 가톨릭 제국이 존재한다면, 구글은 가톨릭이 될 것이다. 기술은 권력을 압도하는 경우가 드물고, 대개는 권력의 새로운 장난감이 된다.

오늘날 샌프란시스코와 같은 도시에 살면서 머신러닝 골렘들을 인류 문명에 대한 가장 위험한 현재의 위협으로 여기는 데 필요한 것은, 도저히 말로 표현할 수 없다. 왜냐하면... 인공 지능이 아닌 상당한 양의 지능이 필요하다는 것만으로도 충분하다. 슬프다!

출처:https://graymirror.substack.com/p/there-is-no-ai-risk