사용자가 알고리즘을 조작하기 위해 행동을 변경하는 경우

모나리자(레오나르도 다빈치)의 눈이 방 안을 돌아다니는 듯한 착각을 불러일으키는데, 이를 '모나리자 효과'라고 합니다.

 

 

소셜 미디어가 단순했던 시절이 있었습니다. 사람들을 팔로우하고 게시물에 좋아요를 누르면 결과적으로 더 많은 콘텐츠를 볼 수 있었습니다. 하지만 이제 우리가 스크롤하는 피드는 누구를 팔로우하는지가 아니라 어떻게 행동하는지가 더 중요합니다.

릴을 3초 이상 시청하면 더 많은 사람들이 좋아할 것으로 기대할 수 있습니다. 사진을 오래 보고, 스크롤 도중에 일시 정지하고, TikTok을 다시 재생하는 것이 새로운 '좋아요'입니다. 오늘날 플랫폼은 사용자의 명시적인 선택보다는 수동적인 선택에 훨씬 더 많은 관심을 기울입니다. 

이 행동 모델은 우리의 선호도에 대한 보다 확실한 인사이트를 약속했습니다. 결국, 우리가 하는 행동은 우리가 하는 말보다 훨씬 더 많은 것을 말해줍니다. 영리하고, 미묘하며, 심지어 다소 친밀하기까지 하죠. 하지만 이러한 시스템이 어떻게 작동하는지 이해하게 되면서 우리는 의식적이든 그렇지 않든 그 시스템을 위해 행동하기 시작했습니다.

 

감시당하고 있다는 것을 알기

호손 효과라는 잘 알려진 심리 현상은 1920년대 호손 웍스 공장에서 이루어진 일련의 생산성 실험의 이름을 따서 명명되었습니다. 연구자들은 근로자들이 단순히 자신이 관찰되고 있다는 사실을 알기 때문에 행동을 바꾼다는 사실을 발견했습니다. 이는 행동 과학의 관찰자 효과와도 일맥상통하는데, 감시를 의식하면 행동이 바뀐다는 것입니다.

 

생산성 실험이 이루어졌던 호손 웍스 공장(1925년경). 출처: 웨스턴 전기 회사 사진첩

 

 

이제 이를 온라인 행동에 적용해 보세요.

알고리즘이 어떻게 생각하는지 이해하기 시작했습니다. 피드를 초기화하기 위해 시청 기록을 지울 수도 있습니다. 콘텐츠를 꼭 보고 싶어서가 아니라 알고리즘을 훈련시키기 위해 콘텐츠를 클릭하는 경우도 있습니다. 더 이상 보고 싶지 않거나 앞으로 연관되고 싶지 않은 콘텐츠는 너무 오래 멈추지 않습니다. 시스템은 여전히 우리를 지켜보지만, 우리는 더 이상 자연스럽게 행동하지 않습니다. 우리는 게임을 하고 있습니다.

이 피드백 루프에 결함이 생기는 것은 알고리즘이 똑똑하지 않기 때문이 아니라 수집하는 데이터가 더 이상 깨끗하지 않기 때문입니다. 우리는 피험자에서 전략가로 바뀌었습니다. 그렇게 되면 행동 기반 콘텐츠 전달이 실제로 얼마나 효과적일 수 있을까요?

 

 

알고리즘의 중심에 있는 긴장감

사실 여기에는 기술적인 문제뿐만 아니라 더 깊은 문제가 있습니다.

최신 추천 시스템은 수동적인 신호에서 추론된 의도에 크게 의존합니다. 하지만 이러한 신호가 사용자의 완전한 이해 없이 수집되면 윤리적 설계의 핵심 원칙, 특히 정보에 입각한 동의와 자율성에 문제가 생깁니다.

Ada Lovelace Institute의 2020년 보고서는 불투명한 알고리즘 시스템이 사용자의 자율성을 어떻게 훼손하는지, 특히 플랫폼이 추천이 어떻게 이루어지는지 설명하지 않거나 사용자가 의미 있게 이의를 제기할 수 있도록 허용하지 않을 때 어떻게 불투명한 알고리즘 시스템이 사용자의 자율성을 훼손하는지를 강조했습니다.

 

 

 

 

이는 몇 가지 불편한 질문을 제기합니다:

사용자가 인지하지 못하는 신호를 기반으로 콘텐츠를 개인화하는 것이 윤리적인가?
사용자가 시스템에 의해 서비스를 제공받는 것이 아니라 시스템에 의해 조작되고 있는 것은 아닌가요?
우리는 단순한 참여가 아닌 에이전시를 위한 디자인을 해야 할 의무가 있는가?
“사람들은 자신에 대한 결정이 어떻게 이루어지는지 이해하지 못하는 환경에서는 권한을 부여받을 수 없습니다.”

- 에이다 러브레이스 연구소, 데이터에 대한 재고

트리스탄 해리스와 휴먼 테크놀로지 센터가 탐구한 것처럼, 알고리즘이 우리의 가장 미묘한 행동을 기반으로 적응할 때, 특히 투명성이 없다면 우리는 감시 설계의 영역으로 넘어가게 됩니다. 그리고 이는 우리 모두에게 잠시 생각할 시간을 주어야 합니다.

 

 

그렇다면 디자이너는 무엇을 해야 할까요?

우리는 이러한 시스템이 느끼고, 기능하고, 정보를 제공하는 방식을 형성하는 데 핵심적인 역할을 합니다. 행동 모델이 자체적인 조작의 무게로 인해 흔들리고 있다는 사실을 인정한다면, 우리는 윤리적으로 발전시킬 책임을 져야 합니다.

다음은 고려해야 할 5가지 디자인 원칙입니다.

1. 효율성뿐 아니라 에이전시를 위한 디자인 사용자가 왜 무언가를 보고 있는지 쉽게 이해하고 원할 경우 변경할 수 있도록 하세요. Mozilla 재단에서는 설명 패널(“이 표시되는 이유는...”) 및 제어 가능한 필터와 같은 방식을 권장합니다.

 

2. 행동 데이터를 책임감 있게 사용하세요. 네, 유용할 수 있습니다. 하지만 수동적 신호가 공정하고 대표성이 있는지는 따져봐야 합니다. 영국 정보 위원회는 동의 경계를 결정할 때 관찰 데이터와 제공 데이터를 구분할 것을 제안합니다.

 

3. 보이지 않는 것을 보이게 하세요. 사용자가 추적 대상과 추적 이유를 이해할 수 있도록 도와주세요. 인사이트를 드러내면 기술 업계에 절실히 필요한 신뢰를 구축할 수 있습니다. '주간 발견' 재생 목록에서 제한된 설명을 제공하는 Spotify와 같은 플랫폼을 살펴보세요.

4. 체크박스 이상의 동의를 우선시하세요. 진정한 동의는 지속적이고 맥락적인 것입니다. UX 연구원 Cennydd Bowles는 '모두 동의'라는 초기 단계에 갇히지 않고 상호작용이 지속적으로 협상되는 '동의형 디자인'을 주장합니다.

5. 지표에 의문을 제기하세요. 참여는 웰빙의 대리물이 아닙니다. Facebook 내부 고발자: 내부 고발자 Frances Haugen은 사용자를 사로잡는 것이 항상 사용자에게 좋은 것은 아니라는 사실을 알고 있는 내부 팀이 이 문제로 어떻게 어려움을 겪었는지를 밝혔습니다.

 

 

Spotify의 Discover 주간 재생 목록은 사용자에게 재생 목록이 어떻게 생성되었는지에 대한 제한된 컨텍스트를 제공합니다. 출처: Spotify

 

 

 

콘텐츠 전송의 윤리적 미래 모색

행동 모델이 우리의 인식의 무게로 인해 균열이 생기기 시작했다면, 다음 단계는 어디로 가야 할까요?

플랫폼은 사용자를 더 똑똑하게 만들려고 두 배로 노력할까요? 정확도는 떨어지지만 보다 정직하고 명확한 신호로 돌아갈까요? 아니면 더 느리고, 더 의도적이며, 더 윤리적인 전혀 다른 미래가 펼쳐질까요?

우리는 콘텐츠 전송에 대한 가정을 재검토해야 하는 시대에 접어들고 있습니다. 만약 우리가 감시당할 때 행동을 바꾸고, 우리 모두가 감시당하고 있다는 것을 알고 있다면, 우리는 종종 우리의 선호가 아닌 성과를 기계에 주입하고 있는 것입니다.

그리고 진정성이 아닌 성능에 기반한 시스템은 결국 현실에 대한 통제력을 잃게 됩니다. 사용자가 여전히 경험을 즐기고 있을까요?

이제는 사용자를 단순한 데이터 포인트가 아니라 의식적이고 합의된 동맹으로 존중하는 시스템을 설계해야 할 때입니다. UX의 미래는 단순히 개인화될 수 있는 것이 아니라 원칙이 있어야 합니다.

 

 

 

출처:

https://uxdesign.cc/the-observer-effect-7ffb8d079ca4