Chapter.1) XR 기반 소셜 하이브리드 공간의 이해

인간-아바타 상호작용의 새로운 지평

XR(eXtended Reality) 기술은 이제 단순히 몰입적인 시각적 경험을 제공하는 차원을 넘어, 인간과 아바타 간의 상호작용을 통해 새로운 사회적 관계망을 형성하는 도구로 진화하고 있다. 기존의 메타버스 플랫폼이 개인적 몰입이나 게임적 참여에 초점을 두었다면, Ars Electronica Futurelab이 제시한 SHARESPACE는 인간과 아바타의 공존을 기반으로 한 소셜 하이브리드 공간(Social Hybrid Space)의 가능성을 탐색한다.

2025 Ars Electronica Futurelab “SHARESPACE”, 출처: 유튜브 공식 채널

여기서, 중요한 점은 아바타가 단순한 ‘대변하는 의견이나 표현(representation)’에 머무르지 않고, 사용자의 감각·행동·의도를 담아내며, 때로는 독립적인 존재로서 다른 사용자와 관계를 형성하는 사회적 행위자가 된다는 점이다. 이러한 변화를 통해 우리는 물리적 공간에서의 사회적 경험이 디지털 공간으로 확장되는 것을 목격하게 된다. 특히, 코로나19 팬데믹은 이러한 XR 기반 사회적 공간의 필요성을 극적으로 부각시켰다. 원격 근무, 온라인 협업, 비대면 교육과 공연 등은 기존의 화면 기반 화상회의를 넘어서는 더 깊은 몰입과 실재감을 요구했었다. 이때 아바타와의 상호작용은 원격의 한계를 넘어 사회적 ‘공동 경험’을 형성할 수 있는 핵심 수단이 된다.

이번 호에서 주제로 선정한 SHARESPACE 프로젝트가 강조하는 것은, XR 공간 속의 인간–아바타 상호작용이 단순한 기술적 기능 구현이 아니라, 인간의 사회적 행위가 매개되는 새로운 지평이라는 점이다. 이는 단순한 대체 경험이 아니라, 기존의 물리적 사회성을 보완하거나 새로운 사회적 구조를 만들어낼 잠재력을 지닌다.

필자는 본 이슈 주제를 조사하면서 AI시대에서 단순한 기술 발전이 아니라, 사회적 삶의 확장이라는 문화의 맥락 속에서 문화기술을 이해해야만 지속가능하고 점진적이며, 혹시나 있을 사회적 리스크에 대한 장치를 마련할 수 있다고 생각이 들었다.

출처: 2025 Ars Electronica Festival

윤리적이고 사회적인 XR 경험의 중요성

XR 기반 소셜 하이브리드 공간의 확대는 사회적 가능성을 넓히는 동시에, 새로운 윤리적·사회적 과제를 제기한다. 인간–아바타 상호작용이 일상화될수록, 사용자의 신체 움직임, 감정, 발화 데이터가 디지털 공간에서 수집·분석·재현된다. 이는 곧 개인정보 보호, 정체성 관리, 사회적 안전성이라는 문제와 직결된다. 아바타는 사용자의 사회적 ‘분신’이자 동시에 독립적 주체로 기능할 수 있기에, 자율성·프라이버시·책임성의 경계가 모호해질 위험이 존재한다.

SHARESPACE 프로젝트에서 관객으로 참여해서 보면 하나의 놀이처럼 보이지만 어떤 문제점이 숨어있다. 실제 참여자들이 간단한 상호작용을 통해 경험하는 측면에서 보면 아바타를 통한 대화나 행동이 실제 인간의 의도와 불일치할 경우, 그 책임은 누구에게 귀속되는가? 또한 사회적 차별이나 혐오 표현이 아바타를 통해 확산될 가능성은 어떻게 통제할 것인가? 이러한 문제들은 단순히 기술의 효율성을 넘어서, 윤리적 설계와 사회적인 관점에서 XR 기술을 다루어야 함을 보여준다.

더 나아가 문화기술로서 XR 경험은 사회적 포용성을 고려해야 한다. 장애인, 고령층, 디지털 소외 계층이 하이브리드 공간에서 배제되지 않도록 접근성을 보장하는 것은 필수적이다. 이는 단순한 기술적 문제를 넘어, 사회적 정의와 평등의 문제다. SHARESPACE 프로젝트가 보여주는 미래상은 단순히 새로운 인터페이스의 개발이 아니라, 사람들이 함께 살아가는 방식의 재구성이다. 따라서 정책·연구·산업 차원에서 XR을 추진할 때는 사용자참여, 공동설계, 사회적 윤리기준의 수립이 병행되어야 한다. XR 기반 소셜 하이브리드 공간은 우리 사회가 어떻게 “공동경험”을 정의하고, 어떤 공동 가치를 만들어 나갈 것인가를 묻는 거대한 실험장이 되고 있다는 것을 말하고 있다. 아래처럼 SHARESPACE 팀은 자신들의 비전을 정해놓고 있다.

Chapter.2) 기술적 분석: SHARESPACE 프로젝트의 구현

XR 기술을 활용한 협업 환경 구축

SHARESPACE 프로젝트는 XR 기술을 협업 환경의 핵심 매개체로 활용하여, 단순한 몰입형 체험을 넘어 다자간의 실시간 상호작용을 가능하게 한다. 전통적인 협업 도구가 문서·영상·음성 중심의 교류에 머물렀다면, XR 협업 환경은 사용자의 행동, 위치, 제스처, 감정까지 통합적으로 반영한다. 이를 통해 물리적 공간과 디지털 공간이 겹쳐지면서, 사용자는 마치 같은 장소에 함께 있는 듯한 <공동존재감>을 느낄 수 있다.

특히, SHARESPACE는 아바타를 단순한 시각적 대체물이 아니라, 인간의 정체성과 사회적 행동을 확장하는 수단으로 설계한다. 각 참여자는 자신의 아바타를 통해 발언,제스처, 이동을 표현하고, 이러한 요소들이 XR 공간 안에서 다른 참여자에게 실시간으로 전달된다. 이는 기존의 화상회의와 달리, ‘평면적 교류’가 아니라 ‘공간적 경험’을 기반으로 한 협업을 가능케 한다.

기술적으로는 고성능 센서, 모션 캡처, 실시간 렌더링 엔진, 네트워크 동기화 기술이 결합되어 이러한 협업 환경이 구축되는데, VR/AR 장치와 공간 센서가 사용자의 움직임을 추적하고, 이를 3D 아바타에 반영하여 가상공간 속에서 시각화한다. 또한 클라우드 기반 연산과 네트워크 최적화를 통해 멀리 떨어진 참여자도 동일한 장면을 지연 없이 공유할 수 있다. 이러한 XR 협업 환경은 연구·예술·교육·산업 분야에서 지리적 제약 없는 창의적 협업을 가능하게 하는 핵심 기술적 진보라 할 수 있다.

실시간 네트워크 통신 기술 기반 서로 다른 공간에서 상호작용하는 시나리오 진행 (좌: 스튜디오, 우: 관객 참여 무대 공연장)

실제 적용 사례를 통한 기술 구현

SHARESPACE는 유럽연합 Horizon 지원을 받는 융합연구 프로젝트로, Shared Hybrid Spaces (SHS)를 구축하는 것이 목표이다. SHARESPACE 프로젝트는 세 가지 실제 적용 시나리오를 선정하여, 스포츠, 건강, 예술을 중심으로 기술 구현을 탐구하고 있다.

스포츠 분야에서는 원격지 참여자들이 가상 경기장 안에서 아바타를 통해 상호작용하며 새로운 형태의 공동 응원과 참여를 실험한다.

건강 분야에서는 환자와 전문가가 물리적 제약을 넘어선 XR 공간에서 재활·상담을 진행할 수 있도록 하여, 의료·치유의 가능성을 확장한다.

예술 분야에서는 공연자와 관객이 물리적·가상 공간을 동시에 점유하며, 몰입형 퍼포 먼스와 공동 창작 경험을 구현한다.

또한, SHARESPACE의 시스템 구성은 크게 세 가지 층위에서 이해할 수 있다.

첫째로 물리적 인프라이다. 프로젝트는 고해상도 디스플레이, 몰입형 프로젝션, 공간 센서와 카메라 네트워크를 활용하여 실제 공간을 가상 공간과 연결한다.

둘째, 디지털 플랫폼이다. 이는 XR 엔진(예: Unity, Unreal)과 실시간 모션 캡처·렌더링 시스템을 통해 구현되며, 아바타와 공간 객체가 동일한 가상 무대에서 상호작용할 수 있게 한다.

셋째, 네트워크 및 동기화 계층이다. 다자간 협업에서 중요한 것은 시차 없는 경험 공유이므로, 초저지연 네트워크와 클라우드 기반 연산이 핵심을 이룬다.

올해 9월, Ars Electronica Festival에서 시연된 SHARESPACE 공연을 보면, 관객은 물리적 공연장과 동시에 XR 공간에서 아바타를 통해 참여했으며, 무대 위 퍼포머의 움직임은 실시간으로 가상공간에 반영되었다. 이는 단순한 공연의 디지털 중계가 아니라, 물리적 무대와 가상 무대가 동시적 하이브리드 공간으로 융합된 사례였다. 또한 참여자들은 서로의 아바타와 상호작용하며, 물리적으로 떨어져 있음에도 ‘함께 공연을 체험하는 감각’을 공유했다. 이러한 시스템은 교육이나 원격 워크숍에서도 적용 가능하다. 예를 들면, 학생들이 서로 다른 도시에서 접속하더라도 동일한 XR 교실 안에서 아바타로 만나 토론하고 실험할 수 있다. 기업 협업 환경에서도 마찬가지로, 디자인팀과 연구팀이 가상 프로토타입을 XR 공간에 띄우고 즉각 피드백을 주고받는 것이 가능하다. SHARESPACE가 제시한 시스템 구성은 기술적 실험에 그치지 않고, 실제 사회적 협업 모델로 확장 가능한 구조를 갖춘 것이다.

Chapter.3) 미래 사회로의 확장

XR 기술의 사회적 영향과 발전 방향

SHARESPACE가 제시하는 XR 기반 소셜 하이브리드 공간은 단순한 기술적 혁신이 아니라, 사회 전반에 영향을 미치는 공공적 인프라로 이해해야 한다. 정책 차원에서 가장 중요한 시사점은, XR 기술을 통해 물리적 거리와 사회적 장벽을 해소하면서 새로운 공동체적 삶의 방식을 가능케 한다는 점이다. 정부와 공공기관은 XR을 교육·문화·의료·스마트시티 정책에 적극적으로 접목하여, 시민 누구나 접근 가능한 공공 XR 플랫폼을 구축할 필요가 있다. 이는 단순한 산업 육성을 넘어 디지털 공공재를 마련하는 과정이 될 수 있다. 또한, 산업적 관점에서는 XR 기술이 새로운 경험의 경제 패러다임을 창출한다는 점이 핵심이다. 스포츠, 건강, 예술 시나리오에서 보듯, XR은 기존 산업에 새로운 가치 사슬을 부여하며, 참여자들의 몰입 경험을 기반으로 새로운 수익 모델을 만들어낸다. 기업은 XR 하이브리드 공간을 통해 원격 협업, 교육, 공연, 웰니스 산업에서 차별화된 서비스를 제공할 수 있고, 이는 글로벌 경쟁력 확보와 직결된다. 그러나, 이러한 발전 방향은 윤리적·사회적 기준과 병행되어야 한다. 개인정보 보호,아바타 정체성 관리, 접근성 보장 등은 필수적 고려사항이며, 특히 사회적 약자를 배제하지 않는 포용적 기술 설계가 필요하다. 따라서 XR 산업 발전은 단순히 기술 기업의 영역이 아니라, 정부–산업–시민사회가 함께 거버넌스를 형성해야 하는 영역이다. SHARESPACE가 던지는 메시지는, XR이 미래 사회에서 기술이자 사회적 제도로 작동할 것이라는 점이다.

문화기술과의 협업 및 접점

현재 예술(공연) 시나리오를 통한 미래 사회 탐색

SHARESPACE 프로젝트의 가장 두드러진 특징은 예술 시나리오를 통한 미래 탐색이다. 이는 단순히 기술 시연을 넘어, 예술을 매개로 사회적 실험을 수행하는 과정이다. 공연과 전시는 사람들을 하나의 공간으로 모으는 강력한 문화적 장치이며, XR 하이브리드 환경은 이 장치를 가상공간으로 확장해 “공동경험”을 가능케 한다. 이는 문화기술의 핵심 가치와 맞닿아 있다고 필자는 생각한다.

예술 시나리오 속 XR은 관객과 퍼포머의 경계를 허물고, 참여자가 단순한 수용자가 아니라 공동 창작자가 되도록 만든다. SHARESPACE의 퍼포먼스는 물리적 공연장과 가상 무대가 동시에 운영되며, 관객이 아바타를 통해 참여해 무대의 일부가 된다. 이러한 경험은 문화 향유의 방식 자체를 변화시키며, 미래 사회에서 예술과 기술의 융합 생태계를 형성한다.

한편, 한국의 문화기술 측면에서 보자면, 전통 공연·지역 축제·디지털 아트 전시 등 다양한 분야가 SHARESPACE와 같은 XR 하이브리드 모델을 접목할 수 있다. 특히 국립아시아문화전당(ACC)이나 서울시 스마트 문화공간 사업은 이러한 실험을 수용할 수 있는 최적의 플랫폼이 될 수 있다. 또한 XR 기반 예술 경험은 교육, 치유, 지역 공동체 활성화와도 연결되며, 문화기술의 사회적 확장성을 입증할 수 있을 것이다. 결국에는 예술 시나리오 속 XR 실험은 단순한 ‘공연 기술’의 문제가 아니라, 미래 사회에서 인간이 어떻게 서로 연결되고, 경험을 공유하며, 공동 가치를 창출할 것인가라는 질문에 대한 탐색이다. SHARESPACE 프로젝트는 탐색을 위한 하나의 문화기술적 프로토타입이라 할 수 있는데, 어쩌면 기술 발전 속에서 다시 찾아온 근본의 질문을 던지고 있다. 결국 이는 미래 사회와 문화기술의 중요한 기반이 될 것을 예상할 수 있다.

한국문화기술연구소 (이전) 제안 자료(2021년 기획안)

“KCTI ISSUE BRIEF"는
한국문화기술의 대표기관인 KCTI가
최근의 문화기술 정보 관련 현안 이슈를 발굴·분석하여 시사점 및 해결 방안, 활용 방법을 제시하고자 발간합니다.
본 내용은 해당 호 주제에 관련하여
집필진의 견해 위주로 이루어졌으며,
동 내용을 인용 시 반드시 출처를 밝혀야 합니다.