메모리 AI: 신경망이 기억하게 만드는 것은 무엇입니까?

요약: 연구원들은 고전적인 신경망을 사용하여 향상된 메모리 성능을 보여주는 최근의 생물학적 발견을 기반으로 새로운 AI 모델을 만들었습니다.

원천: 오이스트

컴퓨터 모델은 뇌가 기억 및 기타 유형의 복잡한 정보를 만들고 저장하는 방법을 연구하는 데 중요한 도구입니다. 그러나 그러한 모델을 만드는 것은 까다로운 작업입니다. 어떤 면에서 생화학적 및 전기적 신호의 교향곡과 뉴런과 다른 세포 유형 간의 연결 얽힘은 기억이 뿌리를 내리기 위한 하드웨어를 만듭니다. 그러나 신경과학자들은 뇌의 기본 생물학을 완전히 이해하지 못하기 때문에 더 연구하기 위해 프로세스를 컴퓨터 모델로 인코딩하는 것은 어려운 일이었습니다.

이제 오키나와 과학 기술 연구소(OIST)의 연구원들은 생물학에서 영감을 얻어 성능을 향상시키는 방식으로 Hopfield 네트워크라고 하는 일반적으로 사용되는 메모리 컴퓨터 모델을 수정했습니다. 그들은 새로운 네트워크가 뇌의 뉴런과 다른 세포가 어떻게 얽혀 있는지 더 잘 반영할 뿐만 아니라 훨씬 더 많은 기억을 저장할 수 있다는 것을 발견했습니다.

OIST에서 신경 코딩 및 뇌 컴퓨팅 유닛을 이끌고 있는 Tomoki Fukai 교수 그룹의 박사 과정 학생인 Thomas Burns는 네트워크에 추가된 복잡성이 네트워크를 더욱 현실적으로 만든다고 말합니다. “생물학이 왜 그렇게 복잡할까요? 메모리 용량이 이유일 수 있습니다.”라고 Burns 씨는 말합니다.

Hopfield 네트워크는 시스템의 서로 다른 뉴런 사이의 가중 연결 패턴으로 메모리를 저장합니다. 네트워크는 이러한 패턴을 인코딩하도록 “훈련”되며, 연구원은 일련의 흐릿하거나 불완전한 패턴을 제시하고 네트워크가 패턴을 이미 알고 있는 것으로 인식할 수 있는지 확인함으로써 패턴에 대한 기억을 테스트할 수 있습니다.

그러나 고전적인 Hopfield 네트워크에서 모델의 뉴런은 네트워크의 다른 뉴런과 상호 통신하여 일련의 소위 “쌍” 연결을 형성합니다. 쌍 연결은 두 개의 뉴런이 뇌의 두 뉴런 사이의 연결 지점인 시냅스에서 연결되는 방식을 나타냅니다.

그러나 실제로 뉴런에는 여러 연결 지점을 제공하는 수상돌기라고 하는 복잡한 분기 구조가 포함되어 있으므로 뇌는 인지 기능을 수행하기 위해 훨씬 더 복잡한 시냅스 배열에 의존합니다. 또한 뉴런 간의 연결은 성상세포라고 하는 다른 유형의 세포에 의해 수정됩니다.

“뇌의 뉴런 사이에 쌍으로만 연결되어 있다는 것은 현실적이지 않습니다.”라고 Burns 씨는 설명합니다.

그는 뉴런 쌍뿐만 아니라 셋, 넷 또는 그 이상의 뉴런 그룹도 상호 연결될 수 있는 수정된 홉필드 네트워크를 만들었습니다. 이는 성상 세포와 수지상 나무를 통해 뇌에서 발생할 수 있습니다. 새 네트워크는 소위 “Set-wise” 연결을 허용했지만 이전과 동일한 총 연결 수를 포함했습니다.

연구원들은 쌍별 연결과 특정 연결이 혼합된 네트워크가 가장 잘 수행되고 가장 많은 기억을 유지한다는 것을 발견했습니다. 그들은 그것이 전통적인 Hopfield 네트워크보다 두 배 이상 잘 작동한다고 추정합니다.

Burns 씨는 “여러 가지 기능이 어느 정도 균형을 이루어야 한다는 사실이 밝혀졌습니다.”라고 말합니다. “개별 시냅스가 있어야 하지만 수지상 나무와 성상 세포도 있어야 합니다.”

Hopfield 네트워크는 뇌 프로세스를 모델링하는 데 중요하지만 다른 강력한 용도도 있습니다. 예를 들어, Transformers라고 하는 매우 유사한 유형의 네트워크가 ChatGPT와 같은 AI 기반 언어 도구의 기반이 되므로 Burns 씨와 Fukai 교수가 식별한 개선 사항은 이러한 도구를 더욱 강력하게 만들 수도 있습니다.

Mr. Burns와 그의 동료들은 수정된 Hopfield 네트워크를 더욱 강력하게 만들기 위해 계속해서 작업할 계획입니다. 예를 들어 뇌에서 뉴런 간의 연결 강도는 양방향에서 동일하지 않으므로 Burns 씨는 이 비대칭 기능이 네트워크 성능을 향상시킬 수 있는지 궁금해합니다. 또한 그는 인간의 두뇌에서 상호 작용하는 방식으로 네트워크의 메모리가 서로 상호 작용하도록 하는 방법을 탐구하고 싶습니다.

“우리의 기억은 다면적이고 방대합니다.”라고 Burns 씨는 말합니다. “아직도 발견해야 할 것이 많습니다.”

인공 지능 뉴스 검색 정보

작가: 오쿠보 토모미
원천: 오이스트
의사소통: 오쿠보 토모미 – OIST
그림: 이미지는 공개 도메인에 있습니다

원래 검색: 결과는 학습 표현에 관한 국제 회의에서 발표될 예정입니다.