[논문 리뷰] Eye Movements as a Window into Decision-Making (2022)

눈의 움직임에 따른 여러 특징점(속도, 좌표 에러등)과 의사 결정 과정 사이 관계를 정리한 리뷰 논문입니다.

원문 보기

서론

의사 결정 과정은 크게 의식적 결정(Perceptual)과 가치 기반 결정(Value Based)으로 나뉩니다. 이러한 과정은 뇌공학 분야에서 뉴런의 활성화 등과 함께 연구되어 왔습니다.
그동안 눈의 움직임은 단순한 의사의 표현으로써만 사용되어 왔습니다. 하지만 최근에는 이 움직임의 특징점들 자체를 사용하여 뇌에서 이루어지는 의사 결정 과정을 규명하려는 시도들이 이루어지고 있습니다.

예를 들어 인지 과정이나 의사 결정 과정의 전통적으로 쓰이던 반응 속도 측정 결과의 경우 기존 측정 방식은 버튼을 누르거나 말을 통해 표현을 함으로써 뇌파의 활동 시점과 표현 결과의 시점이 어긋난다는 단점이 있습니다. 반면 눈의 움직임은 더 나은 시간적 해상도를 가지고 있음이 실험적으로 증명되었습니다.

눈 움직임의 지표

눈이 시작 지점부터 끝 지점까지 이동하는 과정에서 생기는 여러 특징들을 정리한 지표들입니다.
이 지표들은 목표지점을 향해 빠르게 이동하는 도약 안구운동(Saccade)과 움직이는 물체를 따라갈때 발생하는 추적 안구운동(Pursuit)의 두가지 상황에 나뉘어 적용될 수 있습니다.

이름	기준	설명	적용 상황
지연 시간	짧음/김	자극이 주어진 후 눈이 움직이기까지 걸린 시간	공통
속도 증감	높음/낮음 (타겟 속도에 따른상대적 기준)	시선이 타겟에 알맞은 속도로 움직였는지의 여부	추적(Pursuit)
위치 에러	높음/낮음	시선의 위치가 타겟과 일치하는지의 정도	공통
진폭	못미침/넘어감(Undershoot/Overshoot)	시선이 타겟을 넘었는지 안넘었는지의 정도	도약(Saccade)
활력	높음/낮음	눈의 움직임에 걸렸던 시간/강도/에너지	공통

의사결정 사이 관계

지표와의 관계

• 도약 안구운동의 강도(Saccade vigor)는 어떤 결정에 따라 예상되는 주관적인 보상과 이를 위해 행해야 하는 노력의 강도를 반영합니다.
• 동공 직경은 긴 의사 결정 과정에서 동반되는 흥분이나 결과등에 의해 달라집니다.
• 눈 깜빡임은 의사 결정에 따른 결과와 자극 예측 가능성에 상관 관계가 있습니다.

뇌와의 관계

• 시선 내용을 처리하는 뇌 부분과 안구 운동 신호를 보내는 뇌 부분 사이에는 밀접한 연결 고리가 있습니다.*
• 즉 본 리뷰 논문은 이러한 연결 고리가 어떤식으로 시선 내용을 압축하고 조작하여 결과적으로 눈의 이동에 어떠한 작용을 미치는지를 조사하는 것입니다.
• 예를들어 FEF**의 경우 도약 이동(Saccade)과 추적 이동(Pursuit)과 동시에 객체 찾기(Visual Search), 목표 선택(Target Selection)의 작업에서도 활성화 되었습니다.
• SC*** 영역의 신호와 선택 정확도의 상관관계가 있었습니다.
• SC 영역에 미세 자극을 준 결과 의사 결정 과정의 결과를 바꿀 수 있었습니다.
• SC와 FEF 영역의 뇌파 활성도는 결정 임계값 (Decision threshold)와 연관이 있었습니다.
• 동공 직경을 정하는 근육 또한 여러 단계를 거쳐 SC와 FEF 영역에 연결되어 있었습니다.
• 도파민 장애와 눈 깜빡임과의 상관관계가 있었습니다. 또한 도파민 기능과 관련이 있는 과제의 퍼포먼스와 관계가 있었습니다.

*시신경 정보를 처리하는 중뇌의 위둔덕(SC, Superior Colliculus)과 안구 운동의 명령을 담당하는 안구 영역(FEF, Frontal Eye Field) / 외측내두정엽영역(LIP, Lateral Intraparietal Cortex) 사이 여러 연결 부위를 가지고 있음
**안구 운동의 명령을 담당하는 안구 영역
***시신경 정보를 처리하는 중뇌의 뇌둔덕, 망막 정보를 직접적으로 입력받아 압축

눈의 움직임과 의사 결정 관계

예를 들어 여러 종류의 물건중 하나를 선택해야 하는 상황에 놓여있다고 가정해 보겠습니다. 이때 하나를 선택하는 과정은 우리의 의식적 영역 바깥에서 일어납니다. 1969년 Sternberg의 연구에 따르면 먼저 들어오는 자극을 해석하고 과거의 기억을 불러와 두 정보를 종합적으로 해석하여 결정하는 과정을 거친다고 합니다. 더 자세히 들어가면 뇌는 가치를 판단하기 불완전한 감각 정보들을 판단할 수 있겠다 확신이 들때까지 계속해서 누적 저장하여 최종 결정을 내립니다.

이러한 일련의 과정들에서 눈은 아주 중요한 역할을 하는데 중요 물체나 장소에 대해 끊임없이 정확한 시야 신호를 얻어야 하고 이를 위해 의식적, 무의식적 집중 및 추적등이 이루어 집니다. 눈으로 정보를 모으고 기존 지식과 통합하고 최종적으로 평가하는 일련의 과정이 눈의 움직임에 반영됩니다.

이미지 검색(Visual Search) 과제는 이러한 눈의 특성이 잘 나타나는 대표적인 예시입니다. 특정 타겟을 이미지 내에서 찾기 위해 눈을 움직이는 패턴을 분석함으로써 현실세계에서 우리가 특정 이미지를 해석할때 어떤 식으로 해석하는지, 왜 실수가 생기는지등을 이해해 볼수 있습니다.

도약 이동의 특징

그동안의 연구는 이미지 검색이 이루어질때 눈이 어디를 바라보는지를 중점적으로 연구가 이루어진 반면 최근에는 도약 이동 또한 중요 요인으로 연구가 이어지고 있습니다.

• 첫 도약 이동이 타겟이 아닌 방해물(Distractor)에 이루어진다면 이를 안구 운동 포착 패러다임(Oculomotor-Capture Paradigm)이라고 합니다.
• 이는 타겟 확률과 타겟의 시각적 두드러짐(Target Saliency)의 주관적 정도를 아는데 인사이트를 제공하는 하나의 지표로서 사용됩니다.
• 이런 도약 이동의 특성을 조사하면 특정 장소에서 타겟이나 방해물이 나타날 확률에 대한 정보를 담고 있습니다.
• 정리하자면 안구 운동 시스템은 외부 이미지중 두드러지는 객체를 인지하고 내부의 보상 체계와 통합하여 어디를 중점적으로 봐야할지를 결정합니다. 이를 분석하면 어떤 사람의 의사 결정 과정이 어떤식으로 이루어지는지를 조사할 수 있게 됩니다.

또한 이미지 검색 과제를 수행할때 참가자들은 타겟이 있을법한 부분을 생각하여 다음으로 쳐다볼 곳을 보게 됩니다(Exploration). 다만 이와 상반되게 원래 봤던 곳들을 다시 쳐다보는 경향성 또한 존재합니다(Exploitation). 이는 더 긴 시간동안의 도약 이동을 동반하며 타겟과 비슷하게 생겨 놓치기 쉬웠던 장소로 돌아오는 경우가 많습니다.

주시(Fixation)의 특징

• 여러가지 물체중 한가지를 선택하는 연구들중에서 공통적으로 나타난 현상이 있습니다.
• 특정 물체를 주시하는 시간이 길 수록 이 물체를 최종적으로 선택할 확률이 높은 것 입니다. (바나나, 포도, 딸기등..)
• 사물이 아니라 어떤 추상적인 질문에 대해서도 동등하게 적용되었습니다. (살인은 가끔 정당할 수 있다 vs 살인은 절대 정당화될 수 없다)
• 역으로 어떤 물체를 다른 물체들보다 오랫동안 보여줬을때 오랫동안 보여준 물체가 선택될 확률 또한 높았습니다.

동공 직경의 특징

• 동공 직경은 내린 결정에 대한 자신감과 연관이 있습니다.
• 원숭이를 대상으로 실험을 한 결과 선택을 할때 초기 정보에 의존하고 나중에 얻은 정보는 무시되는 경향이 있었습니다.
• 이는 자신감이 있는 상태에서 얻은 정보가 더 많이 의사 결정에 작용한다는 점을 얘기합니다.

정리

의사 결정 과정을 세부적으로 분석해 볼 수 있는 눈의 여러가지 특징들이 소개되었습니다.

• 시각적, 실험 과제적 요소(Salience, Probability)가 첫 도약이동에 영향을 주고 최종적으로 초기 타겟을 선택하는데 처리가 되는점
• 봤던 물체를 다시 보는 이유와 이 과정이 의사 결정 과정에서 하는 역할
• 선택에 대한 자신감이 정보 습득 및 사용에 영향을 주고 이로 인해 계속 되는 실험을 통해 누적되는 정보들이 고르게(Uniformly) 사용이 되지 않을 수 있는점
• 눈의 이동이 어떤 의사 결정 과정의 결과일수도 있지만 이동 자체가 결정을 내리는데 영향을 줄 수도 있는점