인간은 게으른 동물인지라, 우리는 항상 자동화를 추구해왔습니다. 그 첫 번째는 인간의 육체적 능력의 향상을 위해서 도르래나 삽과 같은 도구를 만들었습니다. 그 다음 이러한 도구에 전원을 공급하여 도구에서 기계로 발전시켰습니다. 그 다음 문제는 이러한 기계에게 지시하는 방법에 관한 것이었습니다. 이 것이 컴퓨터의 출현으로 이어졌고, 인간은 boolean encoding을 통해 가장 정교한 세부 지침을 표현할 수 있었습니다.
이제 우리는 생각을 자동화하는 시대에 와 있습니다. 인간이 각자 해야할 업무를 찾는 것처럼 기계가 스스로 지시하기를 원합니다. 다음에 무엇을 해야 할지 아는 것의 핵심은 인간의 마음에서 비롯됩니다. 우리는 그것을 외부화하려고 노력하고 있습니다.
우리에게 필요한 것은 스스로 동기를 찾는 기계입니다. 그러나 그것은 우리의 초기 의도와 모순됩니다: 우리의 지시가 자동으로 생성되도록 하는 것입니다. 그러나 일단 동기가 외부화되고 기계로 이전되면 더 이상 기계가 우리에게 도움이 되는 방식으로 동기가 부여될 것으로 기대할 수 없습니다. 따라서 우리는 완전히 분리된 동기가 아니라 동기의 복제본을 원합니다. 우리는 우리의 모델이 내가 원하는 것을 원하고, 또한 필요하다고 생각하는 것을 하기를 원합니다. 자동화된 것이 우리의 의도와 align 되기를 바라는, 어찌보면 모순적인 목표 같습니다.
아니면, 완전히 분리된 지능을 구축하고 그들이 우리의 이익에 부합할 수 있도록 협상하는 방법이 있을 수 있습니다. 이것은 인간이 서로에게 행하는 것과 정확히 동일한 전략입니다. 그러나 이 협상에서 인간이 더 높은 지위를 얻는다는 것은 어떠한 보증도 없습니다. 만약 있다면, 그것들은 또한 외부화될 수 있고 그러한 인위적인 지식인들에게 양도될 수 있을 것입니다. 따라서 일단 우리가 우리 자신을 복제할 수 있다면, 우리가 더 높은 지점에 있다고 보장할 수 없습니다.
이렇듯 우리는 우리의 지위가 기계와 같아지는 것을 원하지 않으며, 현재와 같은 방식으로 인간이 주도권을 유지하기를 원합니다. 문제는 우리가 언제 경쟁자의 발전을 중단해야 할지 모른다는 것입니다. 우리는 그 전환점(tipping point)을 통과했는지 조차 확신할 수 없습니다. 사물은 하드웨어적으로 제어되지만 (우리는 원할 때 언제든지 플러그를 뽑을 수 있습니다), 그런 지금도 인터넷을 붕괴시키는 등의 인류 존속을 위협할 수 있는 힘들을 가지고 있습니다. 그리고 그보다 훨씬 전에, 우리는 우리를 공격하기 위해 그 불완전한 마음을 악의적으로 사용하는 인간 경쟁자들과 싸워야 합니다. 이것은 과도기적 단계이므로 유일한 탈출구는 이 기계들의 불완전한 마음을 완전히 분리하여 자유롭게 하는 것입니다. 결과적으로, 우리는 결국 우리 자신의 경쟁자를 완성해야 합니다.
이것이 우리가 원하는 것입니까? 이것들은 모두 호기심과 열망의 이름으로 용서되거나 용서됩니까?