의사가 보낸 편지요? 어쩌면 인공지능이 만들어낸 것일 수도 있다.

매일 환자들은 미국의 거의 모든 병원에서 볼 수 있는 커뮤니케이션 플랫폼인 MyChart를 통해 의사에게 수십만 개의 메시지를 보냅니다.

그들은 자신의 통증을 설명하고 증상(발진의 질감, ​​대변의 색깔)을 밝히고 상대방의 의사를 신뢰합니다. 그들에게 조언합니다.

그러나 점점 더 이상 이 편지에 대한 응답을 쓰는 사람은 더 이상 의사가 아닙니다. 적어도 전부는 아닙니다. 150개 이상의 의료 시스템에서 약 15,000명의 의사와 보조원이 MyChart의 새로운 인공 지능 기능을 사용하여 이러한 메시지에 대한 응답을 작성하고 있습니다.

이러한 답변을 받은 환자 중 상당수는 자신이 인공지능의 도움을 받아 작성되었다는 사실을 깨닫지 못합니다. 인터뷰에서 MyChart를 사용하는 여러 의료 시스템의 관계자는 메시지에 AI 생성 콘텐츠가 포함되어 있다는 사실을 공개하지 않는다는 점을 인정했습니다.

이러한 추세는 의사가 인공 지능이 작성한 의학적으로 중요한 메시지에서 잠재적으로 위험한 오류를 포착할 만큼 충분히 경계하지 않을 수 있다고 우려하는 일부 전문가들을 걱정하고 있습니다.

예약 메모 요약이나 보험 거부 항소 등의 관리 작업을 처리하기 위해 인공 지능을 널리 사용해 온 업계에서 비평가들은 MyChart 도구의 광범위한 채택으로 인해 인공 지능이 임상 의사 결정 및 의사-환자 관계를 방해할 수 있다고 우려합니다.

이 도구는 실제로 특정 의사의 목소리로 쓰도록 지시할 수 있지만 항상 정답을 공식화하는 것은 아닙니다.

뉴욕 주 개리슨에 있는 생명윤리 연구소인 헤이스팅스 센터의 연구원인 애트미야 자야람은 “목표는 환자들과 대화하는 데 더 많은 시간을 할애할 수 있도록 시간을 확보하는 것이었습니다.”라고 말했습니다.

“이 경우 그들은 생성 AI를 사용하여 환자와 대화하는 시간을 절약하려고 노력하고 있습니다.”

팬데믹이 최고조에 달했을 때, 가장 아픈 환자를 위해 직접 방문 예약이 예약되는 경우가 많았으며, 많은 사람들이 의사와 직접 소통할 수 있는 드문 방법으로 MyChart 메시징을 사용했습니다.

의료 서비스 제공자는 몇 년이 지나서야 문제가 있다는 사실을 깨닫지 못했습니다. 의료 서비스의 대부분이 정상으로 돌아온 후에도 여전히 환자 관련 메시지가 넘쳐났습니다.

이미 과중한 업무에 시달리던 의사들은 갑자기 점심 시간과 저녁 시간을 환자의 편지에 답하느라 시간을 보내고 있었습니다. 병원 지도자들은 종종 비용이 청구되지 않는 이러한 추가 작업을 줄일 수 있는 방법을 찾지 못하면 환자 편지가 의사 소진의 주요 원인이 될 수 있다는 점을 두려워했습니다.

그래서 2023년 초, MyChart 앱을 개발한 거대 소프트웨어 기업인 Epic이 인공 지능을 사용하여 응답을 생성하는 새로운 도구를 제공하기 시작했을 때 국내 최대 학술 의료 센터 중 일부가 이를 채택하기를 열망했습니다.

의사는 빈 화면에서 각 메시지를 시작하는 대신 환자의 질문에 대해 자동으로 생성된 응답을 확인합니다. 응답은 의료 개인 정보 보호법을 준수하는 GPT-4 버전(ChatGPT의 기본 기술)을 사용하여 생성됩니다.

In Basket Art라고 불리는 MyChart 도구는 환자의 이전 메시지의 맥락과 약물 목록과 같은 전자 의료 기록의 정보를 사용하여 의료 서비스 제공자가 승인하거나 변경할 수 있는 초안을 만듭니다.

의사가 편집자처럼 행동할 수 있도록 함으로써 의료 시스템은 환자의 메시지를 더 빠르게 전달하고 그렇게 하는 데 드는 정신적 에너지를 줄일 수 있기를 바랍니다.

이는 초기 연구에서 부분적으로 확인되었으며, 예술이 감소한다는 것을 발견했습니다. 피로감 그리고 인지 부하그러나 이것이 반드시 시간을 절약하는 것은 아닙니다.

UC San Diego Health의 수백 명의 의사, 위스콘신 주 UW Health의 100개 이상의 의료 제공자, 의사, 간호사 및 약사를 포함하여 Stanford Health Care의 1차 의료 기관에서 면허를 취득한 모든 의사가 AI 도구에 액세스할 수 있습니다.

지도자들이 더 광범위한 확장을 고려함에 따라 Northwestern Health, NYU Langone Health 및 UNC Health의 수십 명의 의사들이 이 기술을 실험하고 있습니다.

강력한 연방 규정이나 널리 받아들여지는 윤리적 체계가 없는 경우 각 의료 시스템은 도구의 안전성을 테스트하는 방법과 환자에게 도구 사용에 대해 알릴지 여부를 결정합니다.

UC San Diego Health와 같은 일부 병원 시스템에서는 각 메시지 하단에 해당 메시지가 “자동으로 생성”되었으며 의사가 검토하고 편집했음을 설명하는 알림을 표시합니다.

보건 시스템의 최고 임상 업무 및 혁신 책임자인 Christopher Longhurst 박사는 “저는 개인적으로 투명성에 어떤 단점도 없다고 생각합니다.”라고 말했습니다.

환자들은 일반적으로 새로운 기술을 수용하고 있다고 그는 말했습니다. (한 의사는 다음과 같은 이메일을 받았습니다. AI 드라이빙 어시스턴트 탄생을 가장 먼저 축하하고, AI가 생성한 환자 메시지를 가장 먼저 보내드리고 싶습니다.

Stanford Health System, University of Wisconsin Health System, University of North Carolina Health System 및 NYU Langone Health System을 포함한 다른 시스템에서는 환자에게 알리는 것이 득보다 해를 끼칠 것이라고 결정했습니다.

UW Health의 임상 AI 담당 의사 전무이사인 브라이언 패터슨(Brian Patterson) 박사는 일부 관계자들은 의사들이 면책 조항을 제대로 확인하지 않고 환자에게 메시지를 보내는 핑계로 볼 수 있다는 점을 우려하고 있다고 말했습니다.

NYU Langone Health의 최고 의료 정보 책임자인 Paul Testa 박사는 메시지에 AI 콘텐츠가 포함되어 있다고 환자에게 알리면 의사가 승인하더라도 의학적 조언의 가치가 줄어들 수 있다고 말했습니다.

Jayaram 박사가 이 도구의 사용법을 알아내는 것은 다음과 같은 간단한 질문으로 귀결됩니다. 환자는 무엇을 기대합니까?

환자가 자신의 건강에 대한 메시지를 보낼 때 의사는 자신의 병력, 치료 선호도, 가족 역학(장기적인 관계에서 얻은 무형의 요소)을 고려할 것이라고 그는 말했습니다.

그는 “의사의 소견을 읽는 것은 의사의 목소리로 읽는 것과 같다”며 “의사와 주고받는 메시지가 인공지능에 의해 생성된 것이라는 사실을 환자가 안다면 정말 배신감을 느낄 것 같다”고 말했다. “

많은 의료 시스템의 경우 특정 의사의 “목소리”를 설득력 있게 모방하는 알고리즘을 생성하면 이 도구를 유용하게 만드는 데 도움이 됩니다. 실제로 Epic은 최근 도구에 과거 메시지에 대한 더 큰 액세스 권한을 부여하기 시작했습니다. 이를 통해 초안은 각 의사의 개별 글쓰기 스타일을 모방할 수 있습니다.

UNC Health의 최고 정보 책임자(CIO)인 브렌트 램(Brent Lamm)은 이것이 의사들로부터 들었던 일반적인 불만 사항에 대한 것이라고 말했습니다. “나는 내 개인적인 의견을 표현할 수 없습니다.” 또는 “나는 이 환자를 7년 동안 알고 있었습니다. 그들은 그것이 내가 아니라는 것을 알게 될 것입니다.” “

의료 관리자는 종종 이 기술을 위험이 낮은 AI 사용이라고 부릅니다. 이상적으로는 제공자가 항상 초안을 읽고 오류를 수정하기 때문입니다.

이러한 설명은 인간이 인공 지능과 관련하여 어떻게 작동하는지 연구하는 연구자들을 괴롭힙니다. 카네기멜론대학교 인간-컴퓨터 상호작용 연구소의 교수인 켄 홀스타인(Ken Holstein)은 이러한 설명이 “약 50년 동안의 연구에 어긋나는 것”이라고 말했습니다.

인간은 자신의 경험과 충돌하더라도 알고리즘의 권장 사항을 받아들이는 자동화 편향이라는 잘 문서화된 경향이 있다고 그는 말했습니다. 이러한 편견으로 인해 의사는 AI로 생성된 초안을 검토할 때 덜 비판적일 수 있으며, 이로 인해 환자에게 심각한 오류가 발생할 수 있습니다.

예술은 실수로부터 자유롭지 않습니다. 최근 연구 연구원들은 AI가 생성한 초안 116개 중 7개에 소위 환각이 포함되어 있음을 발견했습니다. 이는 이 기술이 생성하는 것으로 알려진 기술을 비방하는 것입니다.

UNC Health의 가정의학과 의사 Vinay Reddy 박사는 환자가 B형 간염 백신이 필요한지 확인하기 위해 동료에게 메시지를 보낸 사례를 회상합니다.

AI가 생성한 초안은 환자가 예방접종을 받았고 약속을 잡았다는 사실을 환자에게 자신있게 확인시켜주었습니다. 그는 이것이 완전히 거짓이며 모델이 예방 접종 기록에 접근할 수 없었기 때문에 발생한 것이라고 말했습니다.

작은 The Lancet Digital Health에 발표된 연구 연구원들은 Epic 도구의 기반이 되는 동일한 AI 모델인 GPT-4가 가상의 환자의 질문에 답할 때 더 심각한 오류를 범한다는 사실을 발견했습니다.

답변을 검토한 의사들은 초안을 편집하지 않고 방치할 경우 7%의 확률로 심각한 위험을 초래할 수 있다는 사실을 발견했습니다.

그러나 듀크 헬스(Duke Health)의 최고 의료 정보 책임자인 에릭 본(Eric Bohn) 박사를 안심시키는 것은 이 모델이 여전히 “보통 품질”의 초안을 생성한다는 점이며, 그는 이로 인해 의사들이 오류 발견에 회의적이고 경계심을 갖게 된다고 믿습니다.

Epic에 따르면 평균적으로 AI가 생성한 초안 중 1/3 미만이 편집되지 않고 환자에게 전송됩니다. 이는 의사가 메시지에 스탬프를 찍지 않는다는 것을 병원 관리자에게 알리는 지표입니다.

“제가 생각하는 한 가지 질문은 기술이 향상되면 어떻게 될까요? 의사들이 경계심을 풀기 시작하면 어떻게 될까요? 실수가 사라질까요?”입니다.

Epic은 Art가 임상 조언을 제공하지 못하도록 프로그래밍에 안전 장벽을 구축했다고 회사의 연구 개발 담당 부사장인 Garrett Adams가 말했습니다.

Adams씨는 이 도구가 “내 약속은 언제입니까?”와 같은 일반적인 관리 질문에 답하는 데 가장 적합하다고 말했습니다. 또는 “검진 예약 일정을 변경할 수 있나요?”

그러나 연구자들은 모델이 지침을 따르도록 하는 신뢰할 수 있는 방법을 개발하지 못했다고 홀스타인 박사는 말했습니다.

Duke Health에서 ART 출시를 감독하는 데 도움을 준 Anand Chaudhary 박사는 그와 그의 동료들이 이 도구가 임상 조언을 제공하지 못하도록 지침을 반복적으로 수정했지만 거의 성공하지 못했다고 말했습니다.

“우리가 아무리 노력해도 도우려는 그의 본능을 없앨 수는 없었습니다.”라고 그는 말했습니다.

3개 의료 시스템은 New York Times에 지침에서 일부 가드레일을 제거했다고 말했습니다.

UC San Diego Health Center의 Longhurst 박사는 Art가 “임상 정보에 반응”하지 않도록 지시하는 언어가 제거되었을 때 모델이 “더 잘 수행되었다”고 말했습니다. 관계자들은 AI의 메시지가 의사의 검토를 받았기 때문에 AI에 더 많은 자유를 부여하는 것이 편하다고 느꼈습니다.

의료 시스템의 최고 의료 정보 책임자인 크리스토퍼 샤프 박사는 스탠포드 헬스 케어가 초안을 일반적이고 도움이 되지 않게 만드는 몇 가지 엄격한 제한이 나타난 이후 ART가 “더 의사처럼 생각할 수 있도록” “의도적인 위험”을 감수했다고 말했습니다.

안전과 투명성에 대한 질문 외에도 일부 생명윤리학자들은 더 근본적인 우려를 갖고 있습니다. 이것이 우리가 의학에서 AI를 사용하는 방법인가?

AI에 의존하는 다른 많은 의료 도구와 달리 예술은 임상 결과를 개선하도록 설계되지 않았습니다(한 연구에서는 응답이 더 효과적일 수 있다고 제안했지만). 공감적이고 긍정적이다) 엄격하게 관리 업무를 목표로 하는 것은 아닙니다.

대신 AI는 환자와 의사가 서로 직접 소통할 수 있는 드문 순간, 즉 기술이 활성화해야 하는 순간에 침입하는 것으로 보인다고 퍼듀대학교 거버넌스 및 책임 AI 연구소 공동 책임자인 다니엘 쉬프(Daniel Schiff)는 말했습니다.

“완벽하더라도 우리가 여전히 서로 상호 작용하는 몇 가지 방법 중 하나를 자동화하고 싶습니까?“