MIT 연구원들은 반짝이는 물체를 일종의 카메라로 바꾸는 새로운 컴퓨터 비전 시스템을 선보입니다. 관찰자가 모퉁이를 돌거나 장애물 뒤를 볼 수 있습니다.

물체의 반사를 통해 사람의 주변 환경에 대한 가치 있고 종종 숨겨진 정보를 얻을 수 있습니다. 카메라로 용도를 변경하면 벽을 통해 보거나 하늘을 보는 것과 같이 이전에는 상상할 수 없었던 위업을 수행할 수 있습니다. 개체 형상, 재료 속성, 3D 환경 및 관찰자의 관점을 포함하여 많은 요소가 반사에 영향을 미치기 때문에 이는 어려운 작업입니다. 물체의 기하학적 구조를 해체하고 그것을 반사하는 반사광으로부터 내부적으로 밝게 함으로써 인간은 주변 환경의 가려진 부분에 대한 심오한 단서와 추론을 도출할 수 있습니다.

MIT와 Rice의 컴퓨터 비전 연구자들은 반사를 사용하여 실제 환경의 이미지를 생성하는 방법을 개발했습니다. 반사를 사용하여 반짝이는 물체를 “카메라”로 바꾸어 사용자가 세라믹 커피 컵이나 금속 문진과 같은 일반적인 항목의 “렌즈”를 통해 세상을 응시하고 있다는 인상을 줍니다.

연구원들이 사용한 방법은 무한 기하학의 밝은 물체를 방사선 필드 카메라로 바꾸는 것을 포함합니다. 주요 아이디어는 물체의 표면을 디지털 센서로 사용하여 주변 환경에서 반사되는 빛을 2차원으로 기록하는 것입니다.

연구자들은 환경의 방사선장 복원 덕분에 관찰자에게는 보이지 않고 장면의 밝은 물체에만 직접적으로 보이는 새로운 관점을 제시하는 새로운 관점 합성이 가능하다고 설명합니다. 또한 방사선장을 사용하여 장면에서 주변 물체에 의해 생성된 응집체를 상상할 수 있습니다. 연구원들이 개발한 방법은 개체의 여러 사진을 사용하여 5D 환경의 형상, 확산 방사선 및 방사선 필드를 동시에 추정함으로써 종단 간 학습됩니다.

이 연구는 물체가 마치 카메라인 것처럼 세상을 “보고” 주변을 기록할 수 있도록 물체를 반사로부터 분리하는 것을 목표로 합니다. 컴퓨터 비전은 모양을 알 수 없는 3D 장면의 왜곡된 2D 표현이기 때문에 얼마 동안 반사와 씨름했습니다.

연구원들은 물체의 표면을 가상 센서로 모델링하고 물체 주변의 5D 환경 방사장의 2차원 투영을 수집하여 물체가 보는 세계의 3차원 표현을 만듭니다. 물체의 반사를 제외하고 대부분의 환경 방사선 필드는 차단됩니다. 시야를 넘어 소설의 디스플레이를 합성하거나 장면의 밝은 물체에만 직접적으로 보이고 관찰자에게는 보이지 않는 새로운 관점을 제시하는 것은 환경의 방사선 필드를 사용하여 가능합니다. 물체에서 주변까지의 깊이와 광도의 추정치.

즉, 팀은 다음을 수행했습니다.

• 그들은 암묵적 표면이 가상 원뿔만을 사용하여 환경의 3D 이미지를 찍을 수 있는 능력을 가진 가상 센서로 전환될 수 있는 방법을 보여줍니다.
• 그들은 함께 물체의 5D 주변 방사선장을 계산하고 확산 방사선을 추정합니다.
• 그들은 인간의 눈에 보이지 않는 새로운 관점을 생성하기 위해 주변 환경의 라이트 필드를 사용하는 방법을 보여줍니다.

이 프로젝트는 모양과 알베도를 알 수 없는 밝은 요소의 많은 사진에서 바다의 5차원 복사장을 재구성하는 것을 목표로 합니다. 반사 표면의 눈부심은 시야 밖의 장면 요소를 드러냅니다. 특히 밝은 물체의 표면 규칙과 곡률은 관찰자의 이미지가 실제 세계에 매핑되는 방식을 결정합니다.

연구원은 왜곡에 기여하는 반사된 물체 또는 현실의 모양에 대한 보다 정확한 정보가 필요할 수 있습니다. 반짝이는 물체의 색상과 질감이 반사와 혼합되는 것도 가능합니다. 또한 반사는 3차원 환경의 2차원 투영이기 때문에 반사된 장면에서 깊이를 식별하기가 쉽지 않습니다.

연구팀은 이러한 장애물을 극복했습니다. 그들은 다양한 각도에서 반짝이는 물체를 촬영하고 다양한 반사를 포착하는 것으로 시작합니다. Orca(Objects Like Radiance-Field Cameras)는 3단계 프로세스의 약어입니다.

Orca는 다른 각도에서 물체를 이미징하여 다중 뷰 반사를 기록할 수 있으며, 그런 다음 장면에서 밝은 물체와 다른 물체 사이의 깊이와 밝은 물체 자체의 모양을 추정하는 데 사용됩니다. 이미지의 각 지점에서 나오는 광선의 강도와 방향에 대한 자세한 정보는 ORCa의 5D 방사선장 모델에 의해 캡처됩니다. Orca는 이 5D 방사선 필드의 데이터 덕분에 더 정확한 깊이 추정을 할 수 있습니다. 장면이 2D 이미지가 아닌 5D 방사 필드로 렌더링되기 때문에 사용자는 각도나 다른 장애물로 인해 가려질 수 있는 세부 정보를 볼 수 있습니다. 연구원들은 ORCa가 5D 방사선장을 수집하면 사용자가 가상 ​​카메라를 해당 지역 어디에나 배치하고 카메라가 생성할 합성 이미지를 만들 수 있다고 설명합니다. 사용자는 예를 들어 세라믹에서 금속으로 항목의 모양을 변경하거나 가상 개체를 장면에 통합할 수도 있습니다.

방사선장의 정의를 기존의 가시선 방사선장 너머로 확장함으로써 연구자들은 환경과 그 안의 물체를 조사할 수 있는 새로운 길을 열 수 있습니다. 투영된 가상 너비와 깊이를 사용하여 작업은 카메라 시야 외부에서 정보를 외삽하는 것과 같은 가상 개체 삽입 및 3D 인식의 가능성을 열 수 있습니다.

스캔 종이 그리고 프로젝트 페이지. 가입하는 것을 잊지 마세요 22k+ML 하위 Reddit그리고 디스코드 채널그리고 그리고 이메일 뉴스레터, 최신 AI 연구 뉴스, 멋진 AI 프로젝트 등을 공유합니다. 위 기사와 관련하여 질문이 있거나 누락된 사항이 있으면 언제든지 이메일을 보내주십시오. 아시프@marktechpost.com

🚀 AI 도구 클럽에서 100’s AI 도구를 확인하세요