OpenAI는 “환각” 인공 지능과 싸우기 위해 새로운 접근 방식을 취합니다.

OpenAI는 수요일 AI 모델을 훈련시키는 새로운 방법을 사용하여 인공 지능에 대한 환각에 맞서고 있다고 발표했습니다.

이 연구는 생성형 AI 붐과 2024년 미국 대통령 선거를 앞두고 AI 시스템에서 나오는 잘못된 정보가 그 어느 때보다 논란이 많은 시기에 나온 것이다. 챗봇은 GPT-3, GPT-4를 지원하며, 두 달 만에 월간 사용자 수 1억 명을 돌파했고, 가장 빠르게 성장하는 애플리케이션이라는 기록을 세웠다고 합니다. 데이트하러, 마이크로소프트 OpenAI에 130억 달러 이상을 투자했으며 스타트업의 가치는 약 290억 달러로 평가되었습니다.

AI 환각은 ChatGPT 또는 GoogleBard는 사실을 날리는 것처럼 행동하면서 완전히 정보를 조작합니다. 한 가지 예: Bard를 위한 Google의 2월 프로모션 비디오에서 챗봇은 다음을 수행합니다. 잘못된 소유권 주장 제임스 웹 우주 망원경에 대하여. 보다 최근에 ChatGPT는 뉴욕 연방 법원 제출에서 “모의” 사건을 인용했으며 관련된 뉴욕 변호사는 처벌을 받을 수 있습니다.

OpenAI 연구원들은 보고서에서 “현대 모델조차도 거짓을 생산하는 경향이 있습니다. 불확실한 순간에 사실을 만들어내는 경향이 있습니다.”라고 보고서에 썼습니다. “이러한 환각은 다단계 사고가 필요한 영역에서 특히 문제가 됩니다. 하나의 논리적 오류가 훨씬 더 큰 솔루션을 탈선시키기에 충분하기 때문입니다.”

비방과 싸우기 위한 OpenAI의 잠재적인 새로운 전략: 단순히 올바른 최종 결과에 보상하는 것이 아니라 답변에 도달할 때 각각의 올바른 개별 추론 단계에 대해 보상하도록 AI 모델을 훈련합니다. 이 접근 방식은 “결과 책임”이 아니라 “프로세스 책임”이라고 하며, 연구원에 따르면 이 전략은 모델이 인간과 같은 “생각”의 사슬을 따르도록 장려하기 때문에 더 나은 해석 가능한 AI로 이어질 수 있다고 합니다.

“모델에서 논리적 오류 또는 환각을 감지하고 완화하는 것은 규정 준수 AI를 구축하기 위한 중요한 단계입니다.” [or artificial general intelligence]OpenAI의 수학자 칼 콥(Carl Kopp)은 CNBC에 OpenAI가 프로세스 조절 방식을 발명하지는 않았지만 회사가 이를 추진하는 데 도움을 주고 있다고 언급했습니다. 이 연구의 원동력은 어려운 사고 문제를 더 잘 해결할 수 있는 모델을 만들기 위해 환각을 해결하는 것입니다.”

Cobb은 OpenAI가 논문에 언급된 모델을 훈련하는 데 사용된 800,000개의 인간 레이블 데이터 세트를 함께 발표했다고 말했습니다.

전자 프라이버시 정보 센터(Electronic Privacy Information Center)의 수석 고문이자 AI 및 인권 프로젝트 책임자인 벤 윈터스(Ben Winters)는 CNBC에 회의론을 표명하며 전체 데이터 세트와 관련 사례를 보고 싶다고 말했습니다.

Winters는 “이것만으로는 잘못된 정보와 잘못된 결과에 대한 우려를 크게 완화할 수 없다고 생각합니다. 실제로 야생에서 사용될 때”라고 말했습니다. 그는 “여기서 연구를 통해 찾은 것을 구현할 계획인지 여부는 확실히 중요하다”고 덧붙였다. [into their products]그리고 만약 그렇지 않다면 그들이 공개하고자 하는 것이 무엇인지에 대해 꽤 심각한 질문을 하게 됩니다.”

OpenAI 논문이 피어 리뷰를 받았는지 아니면 다른 형식으로 피어 리뷰를 받았는지 확실하지 않기 때문에 Brown University의 기술 책임 센터 책임자인 Suresh Venkatasubramanian은 CNBC에 이 연구를 다른 어떤 것보다 예비 관찰에 더 가깝다고 말했습니다.

벤카타수브라마니안은 “이에 대해 명확한 말을 하기 전에 연구 커뮤니티의 변화가 필요할 것”이라고 말했다. “이 세상에는 매우 정기적으로 나오는 많은 결과가 있으며 대규모 언어 모델이 작동하는 방식이 일반적으로 불안정하기 때문에 한 설정, 패러다임 및 컨텍스트에서 작동할 수 있는 것이 다른 설정, 패러다임에서 작동하지 않을 수 있습니다. 그리고 맥락.”

Venkatasubramanian은 다음과 같이 덧붙였습니다. [models] 인용 및 참조를 구성합니다. 이 문서에는 이것이 효과가 있다는 증거가 없습니다… 효과가 없을 것이라고 말하는 것이 아닙니다. 나는 이 논문이 그러한 증거를 제공하지 않는다는 것을 말하고 있는 것입니다.”

OpenAI는 연구가 외부에서 검토되었는지 또는 회사가 ChatGPT 및 기타 제품에서 새로운 전략을 구현할 계획인지 묻는 의견 요청에 응답하지 않았습니다.

“기업이 이러한 종류의 오류를 줄이기 위해 시스템 개발을 조작하는 것을 보는 것은 확실히 흥미롭습니다. 더 깊은 형태의 책임에 존재하는 많은 장벽을 고려할 때 핵심은 공동 연구로 해석하는 것입니다.”라고 말했습니다. AI Now Institute의 전무 이사 인 Sarah Myers-West. , CNBC에.

West 님이 추가했습니다[OpenAI is] 이 백서와 함께 인간 수준의 작은 피드백 데이터 세트가 공개되었지만 GPT-4를 교육하고 테스트하는 데 사용되는 데이터에 대한 주요 세부 정보는 제공하지 않았습니다. 따라서 이러한 시스템이 이미 사람들에게 직접적인 영향을 미치고 있음에도 의미 있는 AI 책임 노력에 도전하는 엄청난 양의 불투명성이 남아 있습니다.”