OpenAI는 가장 위험한 유형의 AI를 퇴치하는 데 컴퓨팅 성능의 20%를 투자하겠다고 약속했지만 결코 달성하지 못했습니다.

대신 소식통에 따르면 팀은 AI 애플리케이션을 훈련하고 실행하는 데 필요한 특수 컴퓨터 칩인 그래픽 처리 장치에 대한 액세스 요청이 OpenAI 리더십에 의해 거부되는 것을 반복적으로 보았습니다. 팀의 전체 컴퓨팅 예산이 요청한 금액에 근접하지 않았음에도 불구하고 말입니다. 20% 기준이 약속되었습니다.

이러한 폭로는 OpenAI가 공개 서약을 얼마나 진지하게 받아들이는지, 그리고 회사가 하는 다른 공개 약속을 신뢰할 수 있는지에 대한 의문을 제기합니다. OpenAI는 이 이야기에 대한 논평 요청에 응답하지 않았습니다.

현재 이 회사는 배우 스칼렛 요한슨과 매우 유사한 AI 기반 음성 생성 기능에 음성을 사용한다는 이유로 반발을 받고 있다. 이 경우, '스카이'라고 부르는 AI의 목소리와 요한슨의 목소리 사이의 유사성은 순전히 우연이라는 OpenAI의 공개 발언의 신뢰성에 대한 의문이 제기되었습니다. Johansson은 OpenAI의 공동 창립자이자 CEO인 Sam Altman이 Sky의 목소리가 데뷔한 지난 9월에 그녀에게 연락하여 그녀의 목소리 사용에 대한 허가를 요청했다고 말했습니다. 나는 거절했다. 그녀는 Altman이 Sky의 음성을 사용하는 최신 GPT-4o 모델의 시연 직전인 지난 주에 자신의 음성을 사용할 수 있도록 다시 허가를 요청했다고 말했습니다. OpenAI는 스카이를 만들기 위해 합법적으로 공개할 수 없는 전문 여배우에게 돈을 지불했다고 말하면서 그녀의 허락 없이 요한슨의 목소리를 사용한 것을 부인했습니다. 그러나 요한슨의 주장은 이제 이에 대해 의구심을 불러일으키고 있으며, 소셜 미디어에서는 OpenAI가 실제로 요한슨의 목소리를 복제했거나 스카이를 만들기 위해 다른 여배우의 목소리를 요한슨의 목소리와 혼합했을 수도 있다는 추측이 나오고 있습니다.

OpenAI Superalignment 팀은 OpenAI 공동 창업자이자 전 수석 과학자인 Ilya Sutskever의 지휘 하에 만들어졌으며, 그는 지난주 회사를 떠났다고 발표되었습니다. OpenAI의 오랜 연구원인 Jan Laecke가 팀을 공동 이끌었습니다. 그는 수츠케베르가 떠난 지 이틀 뒤인 금요일에 사임을 발표했습니다. 이어 회사는 나머지 25명 가량의 팀 직원들에게 팀이 해체되고 회사 내에서 재배치될 것임을 알렸다.

OpenAI가 회사에 중요하고 문명의 미래에 중요하다고 간주했던 작업이 1년도 채 되지 않아 팀에게는 급격한 몰락이었습니다. 초지능(Superintelligence)은 모든 인간을 합친 것보다 더 똑똑해질 미래의 가상 인공지능 시스템에 대한 아이디어입니다. 이는 사람만큼 똑똑한 단일 AI 시스템인 인공 일반 지능(AGI)을 생성하겠다는 회사의 명시된 목표를 뛰어넘는 기술입니다.

슈퍼인텔리전스, Inc 그는 팀을 발표할 때 이렇게 말했습니다.사람을 죽이거나 노예로 만들려고 함으로써 인류에게 실존적 위협을 가할 수 있습니다. OpenAI는 발표에서 “우리는 잠재적으로 초지능 AI를 안내 및 제어하고 AI가 악의적으로 행동하는 것을 방지할 수 있는 솔루션이 없습니다.”라고 밝혔습니다. Superalignment 팀은 이러한 솔루션을 연구하기로 되어 있었습니다.

회사는 발표에서 “향후 4년 동안 지금까지 우리가 확보한 컴퓨팅의 20%”를 이 노력에 투자하겠다고 밝혔을 정도로 이는 매우 중요한 임무였습니다.

그러나 Superalignment 팀의 작업에 정통한 6명의 소식통은 그러한 컴퓨팅이 그룹에 할당된 적이 없다고 말했습니다. 대신 3개월마다 재평가되는 회사의 일반 컴퓨팅 할당 예산보다 훨씬 낮은 금액을 받았습니다.

Superalignment 팀의 작업에 정통한 한 소식통은 20%를 정확히 계산하는 방법에 대한 명확한 측정 기준이 없어 폭넓은 해석이 가능하다고 말했습니다. 예를 들어, 소식통은 그 약속이 “4년 동안 연간 20%”를 의미하는지, “4년 동안 매년 5%”를 의미하는지, 아니면 “1% 또는 2%”가 될 수 있는 일부 가변 금액을 의미하는지 팀에 말한 적이 없다고 말했습니다. .” 4년 동안 %” 처음 3년, 그 다음 4년차에 대부분의 헌신이 이루어집니다. 어쨌든 모든 소스는 운 이 이야기는 Superalignment 팀이 2023년 7월 현재 OpenAI에 대해 20%에 가까운 보안 컴퓨팅을 보유한 적이 없음을 확인했습니다.

OpenAI 연구자들은 분기별 예산 회의 사이에 새로운 프로젝트를 처리하기 위해 “탄력적” 컴퓨팅(예산보다 추가 GPU 용량에 대한 액세스)에 대한 요청을 제출할 수도 있습니다. 그러나 이들 소식통에 따르면 Superalignment 팀의 유연한 요청은 고위 관리들에 의해 일상적으로 거부되었습니다.

OpenAI의 연구 담당 부사장인 Bob McGraw는 팀에 이러한 요청을 거부하라고 알린 임원이었지만 CTO인 Mira Moratti를 포함한 회사의 다른 사람들이 결정을 내리는 데 관여했다고 소식통은 말했습니다. McGraw와 Moratti 모두 이 이야기에 대한 논평 요청에 응답하지 않았습니다.

팀이 몇 가지 조사를 하는 동안 결과가 공개되었습니다. 종이 소식통은 2023년 12월에 더 강력한 모델을 제어하기 위해 덜 강력한 AI 모델을 성공적으로 얻은 경험을 자세히 설명하면서 컴퓨팅 부족으로 인해 팀의 더 야심찬 아이디어가 좌절되었다고 말했습니다.

라이크는 사임 후 금요일 X(이전 트위터)에 일련의 게시물을 올려 전 고용주를 비난하며 “안전 문화와 프로세스가 뛰어난 제품에 뒤쳐졌다”고 말했습니다. 그는 또한 “지난 몇 달 동안 우리 팀은 역풍을 거슬러 항해해 왔습니다. 때때로 우리는 이 중요한 연구를 계산하는 데 어려움을 겪었고 완료하는 것이 점점 더 어려워졌습니다.

Superalignment 팀의 작업에 정통한 5명의 소식통은 Leike의 설명을 뒷받침하면서 Altman과 비영리 OpenAI 이사회 사이의 추수감사절 전 대치로 인해 컴퓨팅 액세스 문제가 악화되었다고 말했습니다.

이사회 구성원이었던 Sutskever는 Altman을 해고하기로 결정했으며 Altman에게 이 소식을 알리기 위해 이사회에서 선택한 사람이었습니다. OpenAI 직원들이 이 결정에 반발하자 Sutskever는 나중에 X에 Altman의 해고에 자신이 연루된 것을 “깊이 후회한다”고 게시했습니다. 궁극적으로 Altman은 재임명되었고 Sutskever와 그의 해임에 관여한 몇몇 다른 이사회 구성원은 이사회에서 물러났습니다. Sutskever는 Altman이 재고용된 후 OpenAI에 복귀하지 않았지만 지난주까지 공식적으로 회사를 떠나지 않았습니다.

한 소식통은 다른 소식통의 방법에 동의하지 않았습니다. 운 그녀는 Superalignment가 직면한 컴퓨팅 문제에 대해 이야기하면서 이러한 문제는 처음부터 그룹을 괴롭혔던 실패한 쿠데타에 Sutskever가 개입하기 이전에 발생했다고 말했습니다.

Sutskever가 계속해서 원격으로 Superalignment 팀을 공동 이끌고 있다는 일부 보고가 있었지만, 팀 작업에 정통한 소식통은 그렇지 않으며 Sutskever는 팀 작업에 접근할 수 없었고 이후 팀을 지휘하는 데 아무런 역할도 하지 않았다고 말했습니다. . 추수감사절.

Sutskever가 떠나면서 Superalignment 팀은 조직 내에서 컴퓨팅 활용을 성공적으로 주장할 만큼 충분한 정치적 자본을 보유한 한 사람을 잃었다고 소식통은 말했습니다.

Leike와 Sutskever 외에도 OpenAI는 최근 몇 달 동안 다양한 팀에서 최소 6명의 AI 안전 연구원을 잃었습니다. 연구원 중 한 명인 다니엘 코코타글로(Daniel Kokotaglo)는 복스(Vox) 뉴스 사이트에 “OpenAI의 리더십과 AGI를 책임감 있게 처리하는 능력에 대한 신뢰가 점차 상실되어 사임했습니다”라고 말했습니다.

Leike의 발언에 대한 응답으로 Altman과 OpenAI의 회장인 공동 창립자 Greg Brockman은 다음과 같은 글을 올렸습니다. [Leike] 그가 OpenAI를 위해 한 모든 일에 대해 말이죠. 두 사람은 이어 “새 모델마다의 위험성에 맞춰 안전 작업의 기준을 계속 높여야 한다”고 썼다.

그런 다음 그들은 미래의 보다 강력한 모델을 안전하게 만드는 방법에 대한 이론적 접근 방식을 개발하기보다는 현재 개발 중인 모델 테스트에 훨씬 더 중점을 두는 미래 AI 안전에 대한 회사의 접근 방식에 대한 견해를 제시했습니다. Brockman과 Altman은 “우리는 매우 긴밀한 피드백 루프, 엄격한 테스트, 모든 단계에서의 신중한 고려, 세계적 수준의 보안, 안전과 기능 간의 조화가 필요합니다. 경험적 이해가 앞으로 나아갈 길을 결정하는 데 도움이 될 수 있습니다”라고 덧붙였습니다.

그들이 이야기했던 사람들 운 그들은 익명으로 그렇게 했는데, 그 이유는 직장을 잃을까 봐 두렵거나 회사의 기득권을 잃을까 봐 두렵기 때문이었습니다. OpenAI를 떠난 직원들은 회사를 공개적으로 비판하거나 해당 조항이 존재한다고 인정하는 경우에도 회사가 보유 주식을 상환할 수 있다는 엄격한 비방 금지 조항이 포함된 분리 계약에 서명해야 했습니다. 직원들은 별거 합의서 서명을 거부하는 사람도 자신의 지분을 잃게 된다는 말을 들었습니다.

애프터 폭스 말하는 이러한 별거 조건과 관련하여 Altman은 X에 이 조항을 알지 못했고 이 사실로 인해 “정말 당황스러웠다”고 게시했습니다. 그는 OpenAI가 이 조항을 시행하고 누구에게도 기득권을 회수하려고 시도한 적이 없다고 말했습니다. 그는 회사가 문제를 “수정”하기 위해 출국 서류를 업데이트하는 중이며 자신이 서명한 출국 서류의 조항에 대해 우려하는 전직 직원이 문제에 대해 직접 연락하면 변경될 것이라고 말했습니다.