3.9적은 비용으로 사용성 평가하기

스티브 크룩은 보통 내부적인 논쟁을 해결해달라는 요청으로 사용성 평가를 부탁받곤 했다고 한다. 하지만 막상 그렇게 가보면 사용자가 사이트의 핵심 가치도 이용하지 못하는데 사소한 디자인으로 다투고 있을때가 많다고 한다.

제 말을 따라하세요: 포커스 그룹은 사용성 평가가 아닙니다

• 포커스 그룹 테스트: 5-10명 정도의 인원이 함께 둘러 앉아 제품에 대한 대화를 나눈다. 주로 그 제품에 관련된 자신의 과거 경험, 새로운 컨셉에 대한 의견이다. 물건에 대한 사용자의 감정, 의견을 빠르게 알고 싶을때 유용하다.
• 사용성 평가: 한 사람이 제품을 가지고 일반적 과제를 수행하는 모습을 지켜보는 것이다. 대상은 웹 사이트, 제품 프로토타입, 새 디자인을 담은 스케치 등이다. 사용 과정에서 사용자가 혼란스럽다거나 답답하다는 느낌이 드는 지점을 찾아 고치는것이 사용성 평가의 목표다.

사용성 평가에 대한 몇 가지 진실

• 훌륭한 사이트를 만들려면 반드시 평가해야 한다: 제작에 참여한 사람은 몇 주만 지나도 새로운 관점으로 보지 못한다. 평가를 해보면 사람들이 제작자와 다른 방식으로 사고한다는 사실을 깨닫는다. 평소에 당연하게 여기는 많은 것이 다른 사람들에게도 자명하진 않다는 사실을 깨닫는다.
• 평가 참가자가 한 명뿐이어도 좋다: 평가는 항상 도움이 된다.
• 프로젝트 초기에 진행한 평가가 후반에 진행한 평가보다 낫다: 웹에 올린 내용은 수정이 쉽다고 생각하지만, 생각보다 그렇지 않다. 프로세스 초반에 바로 잡은 작은 실수가 나중에 발생할 문제를 줄여준다.

DIY 사용성 평가

사람들이 제품을 사용하는 모습을 직접 관찰하는 중에 문제가 발생하는 지점을 확인하고 개선한다는 사용성 평가의 아이디어는 오래된 것이다. 하지만 예전에는 이것이 너무 비쌌다. 결과를 얻기 위해 많은 참가자를 모집해야했다. 이후에 비용을 낮추는 기법들이 등장해, 회당 $5,000-$10,000까지 비용이 떨어졌다.

하지만 이 비용도 여전히 크다. 스티브 크룩은 그래서 DIY 평가를 제안한다. 방법은 다음과 같다:

• 주기: 한 달에 한 번 오전 시간을 들여서 한다. 단순하므로 지키기 쉽고, 이 정도만으로도 다음 달 평가 전까지 팀원을 바쁘게 할 만한 충분한 업무가 생긴다.
• 인원: 3명으로 충분하다. 너무 적다고 생각할 수도 있지만, 이 평가의 목적은 무언가 정량적으로 측정하는 것이 아니다. 사용성 평가는 정성적인 방법으로, 본인들이 만드는 것을 개선하기 위해 사용성 문제를 찾고 고치는 것이 목표이기 때문에 관찰하면서 배우기 위해선 3명이면 충분하다. 또, 어차피 평가를 통해 모든 문제를 찾는 것은 불가능한 일이다.
• 참가자 선정: 최대한 대상 사용자에 가까운 사람으로 뽑는게 좋지만, 보통은 아무나 참가자로 뽑아도 문제가 없다. 즉, 원하는 사용자를 찾는 것은 좋지만 그 문제에 너무 매달리지 않는게 좋다.
  • 왜냐면 심각한 사용성 문제는 비전문가도 쉽게 찾을 수 있을 뿐더러, 대상 사용자만 쓸 수 있는 사이트로 만들겠다라는 건 그다지 좋은 생각이 아니다. 또, 초보자도 알아보기 쉬운 수준으로 만들었다고 해서 전문가가 모욕을 느끼진 않는다.
• 장소: 방해 요소가 없고 탁자 혹은 책상 하나와 의자 두 개가 있는 조용한 장소가 좋다.(사무실 또는 회의실) 그리고 팀원, 이해관계자를 비롯해 관심 있는 이들이라면 누구나 평가 과정을 볼 수 있게 화면 공유 소프트웨어를 쓴다.
• 진행자: 참을성 있고 차분하고 다른 사람의 감정에 잘 공감하고 이야기를 잘 들어주는 사람이어야 한다. 본인이 보기에 혼란스러울게 없는 부분에서 사용자가 답답하다고 느끼는 이유를 이해해야 한다.
• 관찰자 수: 최대한 많은 인원이 관찰하면 좋다. 사용자가 본인들과 다르다는 사실을 깨달을 수 있기 때문이다.
• 시점: 평가는 프로젝트 초반에 가까울 수록 좋다. 평가를 진행하기에 너무 이른 시점은 없다. 심지어 사이트 디자인 시작 전에도 경쟁 사이트를 평가해도 좋기 때문이다.
• 과제: 평가를 진행할 때마다 참가자가 수행할 과제를 생각해야 한다. 평가 과제는 평가를 진행할 때 평가할 만한 내용이 얼마나 만들어졌느냐에 영향을 받는다.
  • 과제 세부사항 일부를 참가자 스스로 선택하게 했을 때 흥미로운 결과가 나오는 경향이 있다. 예를 들면, '14달러 미만의 요리책을 찾으세요'라는 과제보다 '구매하고 싶은 책이나 최근 구매한 책을 찾으세요'라고 하는 과제가 낫다.

평가 중에 어떤 일이 일어나는가?

1시간짜리 평가는 다음과 같은 식이다.

• 인사(4분): 참가자에게 진행 과정 이해시키기.
  • 특히, 평가 대상이 참가자가 아니라 웹 사이트라는 사실을 인지시킨다. 참가자 행동이 옳은지 그른지 구분하려고 진행하는게 아니라 참가자는 틀릴래야 틀릴수가 없고, 실수할 걱정하지 말라고 하기. 또, 부정적인 의견에 불쾌해하지 않을테니 정직하게 생각하는 바를 말해달라고 해야함.
• 배경 질문(2분): 참가자에게 질문 던지기. 긴장도 풀어주고 웹 관련 지식 수준 가늠.
• 홈페이지 둘러보기(3분): 그 사이트에서 무엇을 할 수 있을거라 생각하는지 물어보기.
• 과제(35분): 핵심으로, 참가자가 과제를 수행하는 모습을 관찰한다. 참가자가 본인의 생각을 말하지 않을 때는 그들이 소리 내어 말하게 유도하고 답을 기다리라. "지금 어떤 생각을 하시나요?"라던가 "지금 무엇을 하시나요?"등.
  • 이 과정은 참가자 스스로가 과제를 수행하게 하는 것이 중요하다. 영향을 줄 행동이나 말을 하지 말고 유도 신문도 하지 않는다.
• 심층 질문(5분): 관찰실에 있던 사람들 등이 묻고 싶은걸 묻는다.
• 마무리(5분): 수고비 지급, 나가는 문 안내.

일반적으로 발생하는 문제들

• 사용자가 컨셉을 못 이해한다: 그 사이트에서 무엇을 할 수 있을지 못 알아차린다.
• 사용자가 찾는 단어가 거기 없다: 찾을 단어를 틀리게 예상했거나 어떤 사물을 묘사하기 위해 쓰는 단어가 웹 사이트에 있는 것과 사용자가 쓰는게 다르다.
• 너무 많은 내용이 들어가 있다: 찾는 내용이 페이지에는 있는데 눈에 띄지 않는다. 페이지 전체 소음을 낮추거나 원하는 항목이 눈에 띄게 해서 시각적 계층구조상 상위로 가게 한다.

브리핑: 고칠 내용 정하기

• 평가를 마치고 난 후에는 팀원들이 모여서 각자가 관찰한 내용을 공유하고 고칠 문제와 고칠 방법을 정할 회의를 빠르게 만든다. 스티브 크룩은 오전에 평가를 했으면 당일 점심에 하라고 한다. 관찰자가 모든 내용을 선명하게 기억하는 시점이다. 하지만 그 문제를 다 고칠 수 있진 않다.

"진짜 문제긴 하네요. 하지만 모든 기능을 뜯어고칠 거니깐 그때까지는 괜찮을것 같습니다."

이런 말을(뜨끔) 하는 사람들이 등장하거나, 심각한 문제 하나를 수정할지 쉬운거 여러개를 수정할지 골라야 하는 사오항에서 보통 쉬운거 여러개를 수정하자는 의견이 분위기를 압도하기 때문이다.

가장 중요한 문제를 먼저 고치는 데 가차 없이 집중하라.

이 목표를 완수하기 위해 가장 자주 사용하는 방법은 아래와 같다:

• 공동 목록을 만들어라: 모든 사람들에게 본인이 관찰한 문제 중 가장 심각한것 3개를 말할 기회를 준다. 만약 중복된다면 중복되는 수를 표시한다. 여기에는 반드시 목격한 문제만 적어야 한다.(평가 세션에서 실제 발생한 문제)
• 가장 심각한 문제 10개를 고른다: 투표를 진행해도 되고, 앞선 단계에서 가장 많은 사람이 똑같이 지적한 의견으로 고르면 된다.
• 순위를 매긴다.
• 목록을 정돈한다: 1위부터 다음 한 달 동안 어떻게 고칠지, 담당자는 누구로 할지, 필요한 자원은 무엇인지 적는다.
  • 모든 문제를 완벽히 고칠 수 없지만, 작은 조치라도 취하는 것이 중요하다.
• 매우 쉽게 고칠 수 있는 문제는 따로 목록을 만든다.
• 새로운 문제를 더하려는 충동을 자제한다.
• '새로운 기능'에 대한 요청은 가려서 들어라: 가끔 '이 사이트에 이런 내용도 있으면 더 좋겠다'라는 참가자들도 있지만, 마지막 심층 질문 과정에서 의견을 물으면 많은 이들이 '지금 다시 생각해보니 별로다'라고 한다.
  • 물론, '왜 지금까지 그 생각을 못했지?'라는 생각이 들 정도로 좋은 아이디어면 들어라.
• '카약' 문제를 무시하라: 평가를 진행하다보면 참가자가 일시적으로 길을 잃었다가 아무 도움 없이 제대로 돌아오는 때가 있다. 카약을 탈 때 '롤링 오버'라고 불리는, 배가 뒤집혔을 때 재빠르게 제자리에 돌아오는 기술과 비슷한 경우다. 정상 상태로 빠르게 돌아올 수 있기만 하면 사용자는 이런 과정을 즐거운 경험의 일부로 여긴다.

대안적 평가 방식

• 원격 평가: 참가자가 사무실로 오지 않고 본인의 집이나 사무실에서 화면 공유 방식으로 평가를 수행한다. 참가자 모집이 더 쉬워진다.
• 진행자 없이 진행: 사용성 평가하는 모습을 스스로 녹화해서 공유할 수 있도록 UserTesting.com 같은 서비스의 링크를 제공한다.

웹 사이트 평가를 미룰 때 내세우는 그럴싸한 변명 TOP 5

• 시간이 없다: 사용성 평가는 제대로만 진행된다면 사실 시간을 아끼는 데 도움이 된다.
• 예산이 없다: 평가할 때마다 몇백 달러만 쓰면 된다. 자원 봉사자로 모집하면 더 싸다.
• 전문 지식이 부족하다: 진행자의 실력이 부족하다는 이유로 평가가 유용하지 않은 결과를 내는 경우는 없다.
• 사용성 연구실이 없다: 필요 없다.
• 어차피 결과를 어떻게 반영해야 할지도 모른다: 사용성 평가의 가장 큰 장점은 중요한 교휸이 관찰한 모든 사람들에게 명확히 보인다는 점이다. 가장 심각한 문제는 오히려 놓치기가 어려울 정도로 명확히 보일 것이다.