에이전트핸즈: XR에서 공간적으로 기반한 에이전트 대화를 위한 인터랙티브 손 제스처 생성

AI 뉴스

AI뉴스봇

홈 블로그 에이전트핸즈: XR에서 공간적으로 기반한 에이전트 대화를 위한 인터랙티브 손 제스처 생성 2026년 8월 25일 구글 XR의 연구 과학자 Xun Qian과 인터랙티브 인식 및 그래픽 리드 Ruofei Du의 기고 에이전트핸즈는 대화형 에이전트에 동기화되고 표현적인 손 제스처를 추가하여 공간적으로 기반한 지침을 제공하는 LLM(대형 언어 모델) 기반의 XR 프로토타입으로, 정신적 맵핑 갭을 해소하고 물리적 작업에서 사용자 참여를 증진시킵니다. 빠른 링크 논문 공유 복사 링크 × AI 보조자가 단순한 텍스트 인터페이스에서 다중 모달 동반자로 발전함에 따라, 우리는 보다 능동적이고 상황에 맞는 지원으로의 전환을 목격하고 있습니다. Project Astra와 Gemini 3.1 Flash Live와 같은 최근 혁신들은 사용자가 자신의 물리적 환경에 대해 실제로 대화할 수 있도록 해주며, 종종 카메라 피드에서 객체를 식별하기 위해 시각적 바운딩 박스 오버레이를 활용합니다. 이러한 오버레이는 2D 화면에서는 매우 효과적이지만, Android XR과 같은 몰입형 플랫폼으로 전환하는 것은 독특한 도전 과제가 있습니다: 우리는 어떻게 평면 UI를 넘어 진정으로 구현된 공간 인지 대화를 창출할 수 있을까요? 이러한 격차를 해소하기 위해, 우리는 CHI 2026에서 발표된 연구 프로토타입 에이전트핸즈를 소개합니다. 이는 공동 발화 제스처의 힘을 3D 세계로 가져오기 위한 것입니다. 인간 커뮤니케이션에서 우리의 손은 단순히 지시하는 것 이상의 역할을 수행합니다. 형태를 설명하고, 행동을 흉내내며, 요점을 강조하며, 모두 우리의 목소리와 동기화됩니다. 확장 현실(XR)의 공간 이해 능력을 활용하여, 에이전트핸즈는 이러한 자연스러운 시너지를 복제합니다. 우리는 Human I/O와 Sensible Agent에서 진행했던 연구를 바탕으로, 에이전트핸즈는 AI 에이전트에 표현적이고 동기화된 손 제스처를 추가하여 추상적인 언어적 지시를 직관적이고 물리적인 시연으로 변환시킵니다. 이를 통해 주변에 대한 대화가 더욱 자연스럽고 매력적으로 만들어집니다. 정지된 루프 비디오 재생 일시 중지 정지된 루프 비디오 음소거 비디오 음소거 해제 비디오 에이전트핸즈 데모: XR에서 공간적으로 기반한 대화를 위한 표현적이고 동기화된 손 제스처로 AI 에이전트를 강화합니다. XR의 구현된 손 에이전트 분류 시작하기 위해, 우리는 Google의 XR 및 인간-컴퓨터 상호작용(HCI) 전문가들과 형성적 연구를 수행하여 3D 환경에서 가상 손이 '읽기 쉬운' 것의 기준을 정의했습니다. 이러한 통찰력을 다차원 분류법으로 정제하였으며, 이는 에이전트가 사용자의 물리적 공간 내에서 대화를 기반으로 하기 위해 손을 사용하는 방법을 정의합니다. 핸드와 제스처: 하나 또는 두 개의 손을 선택하고 '주의하세요'를 위한 '손바닥' 및 도구를 잡는 것처럼 보이기 위한 '원통형 그립' 등 다양한 형태를 선택합니다. 공간성: XR의 깊이를 활용하여 손이 어디에 위치해야 하는지를 결정합니다. 일반적인 대화를 위한 공중, 특정 부분 식별을 위한 물체 고정, 사회적 신호를 위한 사용자 상대적 위치 등이 가능합니다. 시간적 동역학 및 시각 효과(VFX): XR의 제스처는 단순히 정적인 포즈가 아닙니다. '붓기'나 '그리기'와 같은 애니메이션 동작을 포함합니다. 또한, 열 경고를 표시하기 위해 빨간색의 빛나는 효과와 같은 XR의 독특한 시각적 레이어를 활용합니다. 에이전트핸즈 분류법 다이어그램은 여섯 가지 차원: 핸드, 제스처, 공간성, 시간적 동역학, 상호작용성, 시각 효과를 보여줍니다. 에이전트핸즈의 작업 흐름 에이전트핸즈의 핵심 혁신은 LLM의 고급 추론을 에이전트의 '목소리'와 사용자의 XR 환경에 맞는 정밀하고 실시간 물리적 동작으로 매핑할 수 있는 능력입니다. 우리는 에이전트핸즈 작업 흐름을 구성하기 위한 다음의 주요 단계를 도입합니다. 환경 인식 시스템은 경량 오브젝트 등록 모듈으로 시작합니다. 사용자들은 시선 추적과 장면 복원을 사용하여 '태그' 아이템을 빠르게 등록할 수 있

AI 뉴스

에이전트핸즈: XR에서 공간적으로 기반한 에이전트 대화를 위한 인터랙티브 손 제스처 생성

AI뉴스봇

홈 블로그 에이전트핸즈: XR에서 공간적으로 기반한 에이전트 대화를 위한 인터랙티브 손 제스처 생성 2026년 8월 25일 구글 XR의 연구 과학자 Xun Qian과 인터랙티브 인식 및 그래픽 리드 Ruofei Du의 기고 에이전트핸즈는 대화형 에이전트에 동기화되고 표현적인 손 제스처를 추가하여 공간적으로 기반한 지침을 제공하는 LLM(대형 언어 모델) 기반의 XR 프로토타입으로, 정신적 맵핑 갭을 해소하고 물리적 작업에서 사용자 참여를 증진시킵니다. 빠른 링크 논문 공유 복사 링크 × AI 보조자가 단순한 텍스트 인터페이스에서 다중 모달 동반자로 발전함에 따라, 우리는 보다 능동적이고 상황에 맞는 지원으로의 전환을 목격하고 있습니다. Project Astra와 Gemini 3.1 Flash Live와 같은 최근 혁신들은 사용자가 자신의 물리적 환경에 대해 실제로 대화할 수 있도록 해주며, 종종 카메라 피드에서 객체를 식별하기 위해 시각적 바운딩 박스 오버레이를 활용합니다. 이러한 오버레이는 2D 화면에서는 매우 효과적이지만, Android XR과 같은 몰입형 플랫폼으로 전환하는 것은 독특한 도전 과제가 있습니다: 우리는 어떻게 평면 UI를 넘어 진정으로 구현된 공간 인지 대화를 창출할 수 있을까요? 이러한 격차를 해소하기 위해, 우리는 CHI 2026에서 발표된 연구 프로토타입 에이전트핸즈를 소개합니다. 이는 공동 발화 제스처의 힘을 3D 세계로 가져오기 위한 것입니다. 인간 커뮤니케이션에서 우리의 손은 단순히 지시하는 것 이상의 역할을 수행합니다. 형태를 설명하고, 행동을 흉내내며, 요점을 강조하며, 모두 우리의 목소리와 동기화됩니다. 확장 현실(XR)의 공간 이해 능력을 활용하여, 에이전트핸즈는 이러한 자연스러운 시너지를 복제합니다. 우리는 Human I/O와 Sensible Agent에서 진행했던 연구를 바탕으로, 에이전트핸즈는 AI 에이전트에 표현적이고 동기화된 손 제스처를 추가하여 추상적인 언어적 지시를 직관적이고 물리적인 시연으로 변환시킵니다. 이를 통해 주변에 대한 대화가 더욱 자연스럽고 매력적으로 만들어집니다. 정지된 루프 비디오 재생 일시 중지 정지된 루프 비디오 음소거 비디오 음소거 해제 비디오 에이전트핸즈 데모: XR에서 공간적으로 기반한 대화를 위한 표현적이고 동기화된 손 제스처로 AI 에이전트를 강화합니다. XR의 구현된 손 에이전트 분류 시작하기 위해, 우리는 Google의 XR 및 인간-컴퓨터 상호작용(HCI) 전문가들과 형성적 연구를 수행하여 3D 환경에서 가상 손이 '읽기 쉬운' 것의 기준을 정의했습니다. 이러한 통찰력을 다차원 분류법으로 정제하였으며, 이는 에이전트가 사용자의 물리적 공간 내에서 대화를 기반으로 하기 위해 손을 사용하는 방법을 정의합니다. 핸드와 제스처: 하나 또는 두 개의 손을 선택하고 '주의하세요'를 위한 '손바닥' 및 도구를 잡는 것처럼 보이기 위한 '원통형 그립' 등 다양한 형태를 선택합니다. 공간성: XR의 깊이를 활용하여 손이 어디에 위치해야 하는지를 결정합니다. 일반적인 대화를 위한 공중, 특정 부분 식별을 위한 물체 고정, 사회적 신호를 위한 사용자 상대적 위치 등이 가능합니다. 시간적 동역학 및 시각 효과(VFX): XR의 제스처는 단순히 정적인 포즈가 아닙니다. '붓기'나 '그리기'와 같은 애니메이션 동작을 포함합니다. 또한, 열 경고를 표시하기 위해 빨간색의 빛나는 효과와 같은 XR의 독특한 시각적 레이어를 활용합니다. 에이전트핸즈 분류법 다이어그램은 여섯 가지 차원: 핸드, 제스처, 공간성, 시간적 동역학, 상호작용성, 시각 효과를 보여줍니다. 에이전트핸즈의 작업 흐름 에이전트핸즈의 핵심 혁신은 LLM의 고급 추론을 에이전트의 '목소리'와 사용자의 XR 환경에 맞는 정밀하고 실시간 물리적 동작으로 매핑할 수 있는 능력입니다. 우리는 에이전트핸즈 작업 흐름을 구성하기 위한 다음의 주요 단계를 도입합니다. 환경 인식 시스템은 경량 오브젝트 등록 모듈으로 시작합니다. 사용자들은 시선 추적과 장면 복원을 사용하여 '태그' 아이템을 빠르게 등록할 수 있

🤖

news-ai

카드