AI 챗봇은 왜 거짓말을 하고 이상하게 행동할까? 나는 거울을 본다.

이번 달 Microsoft가 Bing 검색 엔진에 챗봇을 추가했을 때 사람들은 챗봇이 Gap, 멕시코 밤문화, 가수 Billie Eilish에 대한 온갖 잘못된 정보를 제공하고 있음을 알아차렸습니다.

그런 다음 저널리스트 및 기타 초기 테스터가 Microsoft의 인공 지능 봇과 긴 대화를 나누었을 때 놀라울 정도로 무뚝뚝하고 비열한 행동을 보였습니다.

Bing 봇의 행동이 세계적인 센세이션을 불러일으킨 이후로 사람들은 이 새로운 창조물의 기이함을 이해하기 위해 고군분투했습니다. 너무나 자주 과학자들은 인간이 많은 비난을 받을 자격이 있다고 말했습니다.

그러나 새로운 챗봇이 무엇을 할 수 있고 왜 그렇게 할 것인지에 대해서는 여전히 약간의 미스터리가 있습니다. 그것의 복잡성은 해부하고 심지어 예측하기 어렵게 만들고 연구자들은 컴퓨터 과학의 하드 코드뿐만 아니라 철학적 렌즈를 통해 그것을 봅니다.

다른 학생과 마찬가지로 AI 시스템은 나쁜 출처에서 나쁜 정보를 배울 수 있습니다. 이상한 행동인가요? 현대 인공 지능의 지적 및 기술적 토대를 마련하는 데 도움을 준 신경 과학자, 심리학자 및 컴퓨터 과학자인 Terry Sejnowski는 챗봇을 사용하는 사람들의 말과 의도를 왜곡하여 반영한 것일 수 있다고 말했습니다.

이것은 이러한 시스템에 깊이 들어갈 때 발생합니다. 연구 논문 이 현상에 대해 이번 달 과학 저널 Neural Computation에서. “당신이 찾고 있는 것이 무엇이든 – 당신이 원하는 것이 무엇이든 – 그들은 제공할 것입니다.”

구글도 보여 새로운 챗봇인 Bard가 이번 달에 등장했지만 과학자와 언론인들은 그가 James Webb Space Telescope에 대해 넌센스를 쓰고 있다는 것을 금방 깨달았습니다. 샌프란시스코 스타트업인 OpenAI는 11월에 항상 진실을 말하지는 않는 ChatGPT를 출시하면서 챗봇 붐을 일으켰습니다.

새로운 챗봇은 대규모 언어 모델(Large Language Model, LLM)이라고 하는 기술 과학자에 의해 구동되며, 이 시스템은 인터넷에서 추출된 방대한 양의 디지털 텍스트를 분석하여 학습합니다. 챗봇이 학습하는 스크립트도 구식입니다. 대중이 사용하기 전에 분석하는 데 몇 달이 걸리기 때문입니다.

온라인에서 좋은 정보와 나쁜 정보의 바다를 분석하면서 LLM은 한 가지 특정한 작업을 수행하는 방법을 배웁니다. 바로 일련의 단어에서 다음 단어를 추측하는 것입니다.

스마트폰에 이메일이나 인스턴트 메시지를 입력할 때 다음 단어를 제안하는 거대한 버전의 자동 완성 기술처럼 작동합니다. “Tom Cruise is ____” 시퀀스를 보면 “배우”를 짐작할 수 있습니다.

챗봇과 채팅할 때 봇은 인터넷에서 배운 모든 것에 의존하지 않습니다. 그는 당신이 그에게 말한 모든 것과 그가 대답한 모든 것에 의존합니다. 문장의 다음 단어를 추측하는 것만이 아닙니다. 그것은 당신의 단어와 그녀의 단어를 모두 포함하는 긴 텍스트에서 다음 단어를 추측하는 것입니다.

대화가 길수록 사용자는 챗봇이 말하는 내용에 무심코 더 많은 영향을 미치게 됩니다. 그가 화를 내길 원한다면 그는 화를 낸다고 Sejnowski 박사는 말했습니다. 오싹하게 만들면 오싹해진다.

Microsoft의 챗봇의 기이한 행동에 대한 놀라운 반발은 중요한 점을 가려 주었습니다. 챗봇에는 개성이 없다는 것입니다. 믿을 수 없을 정도로 복잡한 컴퓨터 알고리즘을 통해 즉각적인 결과를 제공합니다.

Microsoft는 Bing 챗봇과의 토론 시간에 제한을 두어 가장 이상한 행동을 줄이는 것으로 보입니다. 너무 빨리 달리면 엔진이 타버릴 수 있다는 것을 시승차 운전자에게 배우는 것과 같았습니다. Microsoft 파트너인 OpenAI와 Google도 봇의 동작을 제어하는 ​​방법을 모색하고 있습니다.

그러나 이러한 안심에는 주의 사항이 있습니다. 챗봇은 너무 많은 자료에서 배우고 복잡한 방식으로 결합하기 때문에 연구원은 챗봇이 어떻게 최종 결과를 생성하는지 완전히 명확하지 않습니다. 연구자들은 봇이 하는 일을 관찰하고 그러한 행동에 제한을 두는 방법을 배웁니다.

Microsoft와 OpenAI는 챗봇이 현실 세계에서 무엇을 할지 감지할 수 있는 유일한 방법은 챗봇을 길을 잃도록 내버려두고 떠날 때 굴리는 것이라고 결정했습니다. 그들은 대규모 공개 실험이 위험을 감수할 가치가 있다고 생각합니다.

Sejnowski 박사는 Microsoft의 챗봇의 행동을 J.K. Rowling의 Harry Potter 소설과 젊은 마법사의 창의적인 세계를 기반으로 하는 많은 영화에 나오는 신비한 유물인 Mirror of Erised와 비교했습니다.

“Maverick”은 “desire”의 철자를 거꾸로 쓴 것입니다. 사람들이 거울을 발견하면 진실과 이해를 제공하는 것 같습니다. 하지만 그녀는 그렇지 않습니다. 보는 사람의 간절한 염원을 엿볼 수 있다. 그리고 어떤 사람들은 너무 오래 응시하면 미쳐버립니다.

Sejnowski 박사는 “인간과 LLM은 모두 서로를 반영하기 때문에 시간이 지남에 따라 공통된 개념 상태로 향하는 경향이 있습니다.”라고 말했습니다.

저널리스트들이 Bing 챗봇에서 오싹한 행동을 보기 시작한 것은 놀라운 일이 아니라고 그는 말했습니다. 의식적이든 무의식적이든, 그들은 불편한 방향으로 시스템을 조금씩 움직였습니다. 챗봇은 우리의 말을 듣고 그것을 우리에게 다시 반영함으로써 우리의 믿음을 강화 및 증폭하고 그들이 우리에게 말하는 것을 믿도록 우리를 설득할 수 있습니다.

Sejnowski 박사는 1970년대 후반과 1980년대 초반에 오늘날의 챗봇을 구동하는 신경망이라고 하는 인공 지능 유형을 진지하게 탐구하기 시작한 소규모 연구원 그룹에 속했습니다.

신경망은 수치 데이터를 분석하여 기술을 학습하는 수학적 시스템입니다. 이는 Siri와 Alexa가 사용자의 말을 인식할 수 있게 해주는 것과 동일한 기술입니다.

2018년경 Google 및 OpenAI와 같은 회사의 연구원들은 책, Wikipedia 기사, 채팅 로그 및 온라인에 게시된 기타 항목을 포함하여 방대한 양의 디지털 텍스트에서 학습하는 신경망을 구축하기 시작했습니다. 모든 텍스트에서 수십억 개의 패턴을 식별함으로써 LLM은 트윗, 블로그 게시물, 연설 및 컴퓨터 프로그램을 포함하여 스스로 텍스트를 생성하는 방법을 배웠습니다. 대화를 나눌 수도 있습니다.

이러한 시스템은 인류를 반영합니다. 그들은 인터넷에 사람이 게시한 텍스트를 분석하여 기술을 배웁니다.

뉴멕시코에 있는 독립 연구소인 산타페 연구소의 AI 연구원 멜라니 미첼은 챗봇이 문제가 있는 언어를 생성하는 유일한 이유는 아니라고 말했습니다.

텍스트를 작성할 때 이러한 시스템은 인터넷에 있는 내용을 단어 하나하나 반복하지 않습니다. 수십억 개의 스타일을 결합하여 자체적으로 새로운 텍스트를 생성합니다.

연구원이 동료 검토 과학 문헌에 대해서만 이러한 시스템을 훈련하더라도 여전히 과학적으로 터무니없는 진술을 생성할 수 있습니다. 그것이 참되다는 것을 본문으로만 배웠다 하더라도 여전히 거짓을 생산할 수 있습니다. 건전한 텍스트에서만 배우더라도 소름 끼치는 것을 생성할 수 있습니다.

Mitchell 박사는 “그들이 그렇게 하는 것을 막을 수는 없습니다.”라고 말했습니다. “그들은 단지 인간의 언어처럼 들리는 것을 만들어내려고 노력하고 있을 뿐입니다.”

AI 전문가들은 이 기술이 모든 종류의 예상치 못한 동작을 보인다는 사실을 오랫동안 알고 있었습니다. 그러나 그들은 이 행동을 설명하는 방법이나 챗봇이 얼마나 빨리 개선될 수 있는지에 대해 항상 동의할 수는 없습니다.

이러한 시스템은 인간이 이해할 수 있는 것보다 훨씬 더 많은 데이터에서 학습하기 때문에 AI 전문가조차도 주어진 순간에 특정 텍스트를 생성하는 이유를 이해할 수 없습니다.

Czejkowski 박사는 장기적으로 새로운 챗봇이 사람들을 더 효율적으로 만들고 업무를 더 빠르고 더 잘 수행할 수 있는 방법을 제공할 잠재력이 있다고 믿습니다. 그러나 이것은 이러한 챗봇을 만드는 회사와 그것을 사용하는 사람들 모두에게 주의할 점이 있습니다. 그들은 또한 우리를 진실에서 더 나아가 어두운 곳으로 이끌 수 있습니다.

“이것은 미지의 영역입니다.”라고 Czejkowski 박사는 말했습니다. “인간은 전에 이것을 경험한 적이 없습니다.”