[AI&UX] 바이오센서를 활용한 가상환경 UX평가

1980년대부터 가상현실, 즉 VR이 차세대를 이끌 것이라고 했어요. 네트워크나 하드웨어적인 문제로 인해 잠시 멈추었다가, 이제는 기술이 개선이 되어 더 작고, 빠르고, 저렴하게 판매되면서 점점 떠오르고 있는데요. 페이스북이 2014년에 오큘러스를 23억원에 인수하기도 했고, 애플도 애플비전프로(AVP)를 판매하기도 했죠. 하드웨어도 성장하면서, VR 콘텐츠들인 게임, 교육, 심리 치료, 의료 훈련 등 여러 분야에서 빠르게 증가하고 있죠. 이런 VR의 가장 핵심적인 기능은 바로 "몰입"인데요. 오늘은 VR에 관한 몰입감을 측정한 사례에 대해 한번 탐구해봐요!

 

 

시작하기 - Turning On the Drill

다양한 VR과 VR기기(HMD, Head-Mounted-Display)의 핵심 장점은 몰입감인데요.  많은 투자자들이 이에 대해 관심이 있고, 사용 분야도 다양하기 때문에, 몰입감을 정확하고 논리적으로 설득력있게 말하는 것이 중요해요. 아무리 좋다고만 말해도 사람마다 느낄 수 있는 것이 다른, 주관적인 요소니까요!

어떤 컨텐츠가, 어떤 기기가 얼마만큼의 몰임감을 주는지 알 수 있을까요?

이러한 몰입감을 정량화하기 위해서는 바이오센서가 필요한데요. 바이오센서의 장점은 사용자들에게 인지적인 부담을 주지 않고 방해나 불편함을 주지 않기 때문에 몰입적인 경험을 측정할 수 있어요. 이와 같은 바이오센서들로 투자자나 관심있는 사람들에게 논리적으로 입증할 수가 있죠.

가상현실에서 몰입의 힘을 측정한 사례를 보러 가볼까요?

 

 

 

🤩 바이오센서가 뭐야?

실험에 대해 이야기 하기 전에 바이오센서에 대해 알아보아요!

먼저 바이오센서는 우리 몸이나 주변 환경에서 나오는 생물학적인 정보를 감지하고, 이것이 기계가 이해할 수 있도록 전기 신호로 바꿔주는 장치에요. 풀어서 말하자면, 몸에서 일어나는 변화를 실시간으로 알아낼 수 있는 도구라고 할 수 있어요!

주변에서도 심심치 않게 바이오센서를 활용한 것들을 볼 수 있어요.

예를 들어, 혈당 측정기는 손가락에서 뽑은 피를 통해 몸속의 당 수치를 측정할 수 있죠! 피 속의 포도당의 양을 감지해서 숫자로 표현하는 바이오센서에요. 또 다른 예시로, 스마트워치가 있어요. 손목에 차고 다니면서 심박수, 혈압, 산소포화도 등을 측정해주는데요. 피부 위에서 심장 박동의 신호를 받아 전기신호를 바꾼 뒤에 결과를 화면에 표시하는 방식이죠!

이러한 바이오센서는 크게 세 가지 요소로 구성되어 있어요.

1. 감지 소자: 몸이나 환경에서 나오는 정보를 받아들이기
2. 변환기(트렌스듀서): 정보를 기계가 읽을 수 있도록 전기신호로 바꾸어주기
3. 처리 및 출력 시스템: 전기신호를 분석하고, 시각화하기

생체측정 과정 (https://www.sciencedirect.com/topics/agricultural-and-biological-sciences/biosensor)

 

바이오센서의 주요 유형은 정말 다양해요!

• 전기화학적 바이오센서: 화학 반응이 일어나면서 생기는 전기 신호를 감지해요!
  (혈당 측정기, 피 속의 당과 화학반응을 일으켜 결과를 전기 신호로 바꿔요.)
• 광학 바이오센서: 빛의 변화를 감지하여 생물학적인 변화를 감지해요!
  (표면 플라스몬 공명(SPR)센서, 빛이 어떤 표면에 닿았을 때 흡수가 달라짐을 감지해요.)
• 열적 바이오센서: 생화학적 반응이 일어날 때의 온도 변화를 감지해요!
  (몸과 어떤 물질이 반응할 때 온도 변화를 파악할 수 있어요.)
• 피에조 전기 바이오센서: 어떤 물질이 센서 표면에 붙으면 무게변화가 생기는 것을 감지해요.
  (특정 바이러스나 단백질 센서 등 작인 질량 변화를 파악할 수 있죠.)

 

 

👨‍🔬 몰입의 힘, 측정 시작

2D화면의 롤러코스터와 HMD를 착용한 가상현실화면의 롤러코스터의 몰입감을 비교하려고 해요. 이 두 가지를 측정하기 위해서는 여러가지 유형의 바이오센서를 사용할 필요는 없겠죠?

VR 몰입도를 측정하기 위해서 제가 소개하는 사례에서는 피부 전도도 측정기(GSR)와 뇌파검사(EEG)를 사용했는데요. 두 가지 모두 미세한 전기 신호를 잡는, 전기 생리학적 센서 유형에 들어가요! 아래 사진 처럼요!

몰입감 측정 과정 (https://imotions.com/blog/learning/best-practice/measuring-virtual-reality-immersion-case-study/)

 

GSR 장치는 피부 전체에서 발생하는 전기적 활동을 측정하는데요. 긴장할 때 손바닥에 땀이 나는 것처럼, 그러한 활동을 측정해요. 하지만 단순히 긴장했을 때의 땀이 아니라, 행복하거나 슬프거나 놀라울 때도 땀샘이 활성화 되죠. 땀샘이 활발해질 수록 발생하는 전기적인 활동도 증가하게 되어요. GSR은 어떤 감정인지는 정확하게 알 수 없지만, 감정의 정도는 파악할 수 있어요. 신체적인 활동은 항상 활동이 유지되고 꺼지거나 켜지지는 않죠. 하지만 활동 수준이 변화할 때 급상승되는 지점(피크)와 저점이 나타나요. 기준치를 넘어서면 피크로 카운팅하며 GSR활동의 수준을 수치를 아래와 같이 표현할 수 있죠.

 

 

GSR 장치는 감정의 정도만을 측정했다면, 감정의 종류는 EEG(뇌파 검사) 장치를 통해서 이루어졌어요. 이것 또한 전기적 활동을 측정하지만, 뇌에서 발생하는 활동을 측정해요. 우리가 무언가를 생각하거나 행동할 때, 아무것도 하지 않았을 때도 뇌에 전기적인 활동이 발생하죠. 두피의 여러 영역에 전극을 붙이고 알고리즘의 분석을 통해, 전압 변화를 쉽게 이해할 수 있도록 변환해주죠. 동기부여나 회파, 몰입, 산만 같은 데이터로 해석할 수 있어요!

 

감정 종류 (https://www.researchgate.net/publication/356873685_Comparative_Evaluation_of_the_EEG_Performance_Metrics_and_Player_Ratings_on_the_Virtual_Reality_Games/figures?lo=1)

 

 

 

👀 몰입도가 높은 가상공간 환경

여러 알고리즘과 소프트웨어를 통해, VR환경의 몰입도에 대한 결과를 볼 수 있는데요!

먼저 몰입도의 지표는 뇌의 전두엽과 중심부의 전기적 활동을 두정엽(뇌의 뒤쪽과 위쪽 영역)과 비교하여 계산되어요. 뇌의 전두엽과 중심부가 두정엽에 전기적 활동이 증가한다면, 참가자는 더 몰입하고 있다는 의미니까요. 아래의 그림처럼 몰입도가 계산되어요!

위의 요인들을 바탕으로 계산된 평균 몰입도를 보면 가상 세계가 더욱 몰입이 잘 되었다는 것을 확인할 수 있어요! 지금 소개한 요인 뿐만아니라 VR헤드셋에서 시선 추적이 제공되는 것도 있어, 이러한 것들을 응용하고 결합하면 더욱 풍부한 데이터를 얻고 더욱 개인화된 VR 경험을 제공할 수 있겠죠. 

 

 

 

마무리하기 - Turning Off the Drill

오늘은 가상환경의 몰입을 어떻게 측정하는지에 대해 살펴보면서, 바이오센서도 함께 탐구해보았는데요. 점차 기술들이 개인화에서 초개인화를 바라보고 있는 지금, 생체 신호를 측정하고 이것을 적용하는 것들이 기술들의 혁신과 변화를 가져올 수 있을것 같아요.

우리가 오늘 본 EEG(뇌파)와 GSR(피부 전도도) 센서는 이런 미래 기술에서 중요한 역할을 할 수 있어요. 가상현실에서 얼마나 몰입하고 있는지, 감정이 얼마나 강한지 실시간으로 측정해서 사용자 맞춤형 경험을 제공할 수 있거든요! 예를 들어, 몰입도가 높은 VR 훈련은 의료 교육 같은 분야에서 훨씬 더 효과적인 학습 환경을 제공할 수 있죠. 👍

바이오센서의 활용은 무궁무진한데요! 이와 같은 데이터를 토대로 UX디자인과 UI디자인에 아주 잘 적용한 애플 비전 프로(AVP)도 있어요. 점점 몰입되는 환경을, 초개인화되는 환경을 중요시 여기는 디바이스에서 어떻게 데이터를 이해하고 사용할지 함께 생각해봐요!!🧐💭

 

 

오늘의 단어: GSR(피부 전도 반응) & EEG(뇌파검사)

GSR (피부 전도 반응, Galvanic Skin Response)
GSR은 인간의 피부에서 발생하는 전기적 활동을 측정하는 기술을 말해요. 피부에 흐르는 전류는 감정적이거나 생리적인 반응에 따라 변하고, 특히 교감신경계가 활성화되면 땀샘 활동이 증가해 피부의 전도도가 변하게 돼요. 이 변화는 감정적인 흥분, 스트레스, 놀람 등 강한 감정 상태를 반영할 수 있어요. GSR은 감정의 강도를 파악할 수 있지만, 어떤 감정인지는 알 수 없어요. 대신, 피크와 저점을 통해 전기적 활동 변화를 관찰해 감정적 반응의 강도를 수치로 표현할 수 있죠. GSR은 주로 사용성 평가, 스트레스 모니터링, 감정적 반응을 분석하는 데 중요한 도구로 쓰여요.

 

EEG (뇌파 검사, Electroencephalography)
EEG는 뇌에서 발생하는 전기적 활동을 측정하는 장치예요. 뇌의 신경 세포들이 발생시키는 전기 신호를 감지해, 사람이 생각하거나 특정 행동을 할 때 발생하는 인지 과정을 파악할 수 있어요. EEG는 뇌의 전두엽, 중심부, 두정엽 등 여러 부분에서 발생하는 전기적 변화를 측정하며, 이를 바탕으로 몰입도(engagement) 같은 지표를 계산할 수 있어요. 특정 뇌 영역에서 전기적 활동이 증가하면, 그 영역이 더 활발하게 사용된다는 의미예요. EEG는 뇌-컴퓨터 인터페이스, UX/UI 평가, 의료 연구 등에서 인간의 인지 상태와 뇌 활동을 실시간으로 분석하는 데 중요한 기술이에요.