← 모든 문서
올바른 것을 만들기
오류가 있는 결과를 생성하는 5가지 사용자 연구 실수
FabricLoop 팀 작성 · 2026년 5월 · 4분 읽기
사용자 연구의 한 가지 버전은 연구를 하지 않는 것보다 악합니다: 자신감 있지만 잘못된 결론을 생성하는 연구. 팀이 연구를 하지 않으면 가정으로 작동 중인 것을 알고 있습니다. 그들이 나쁜 연구를 하면, 그들은 증거가 있다고 믿습니다 — 그리고 그들은 보기를 중단합니다.
아래의 5가지 실수는 이국적인 경계 사례가 아닙니다. 그들은 대부분의 제품 팀에서, 거의 항상, 내부에서 찾기가 놀랍도록 어려운 방식으로 나타납니다.
"사용자 연구의 목표는 당신의 본능을 확인하는 것이 아닙니다. 그것은 당신의 본능을 증거로 바꾸는 것입니다 — 당신이 틀렸다는 증거를 포함합니다."
5가지 실수
실수 1
가설적인 미래 행동에 대해 묻기
팀이 "X를 수행하는 기능을 사용할까요?"라고 묻습니다. 사용자가 예라고 합니다. 팀이 그것을 만듭니다. 아무도 사용하지 않습니다. 사람들은 미래의 자신에 대해 낙관적이고 그들이 실제로 할 일의 형편없는 판사입니다. 항상 과거 행동에 대해 묻습니다: "X를 다루는 마지막 시간을 말해 보세요."
실수 2
이미 제품을 사랑하는 사용자와 인터뷰
파워 사용자와 옹호자로 가득 찬 연구 패널은 따뜻하고 긍정적이고 개선 중심의 피드백을 생성합니다. 그들이 생성하지 않는 것은 사람들이 왜 떠났는지, 사람들이 왜 변환되지 않았는지, 또는 제품이 새로운 세그먼트에 도달하기 위해 필요로 하는 것에 대한 통찰입니다. 이탈한 사용자 및 비사용자와도 대화하세요 — 피드백은 불편하고 필수입니다.
실수 3
기존 신념을 확인하는 주도적 질문
"당신은 새로운 대시보드를 얼마나 유용했습니까?"는 주도적 질문입니다. "지난번 대시보드를 사용한 것을 말해 보세요"는 아닙니다. 주도적 질문은 정중한 동의를 생성하지, 정직한 평가는 아닙니다. 연구자의 가설에 대한 부착이 질문 표현으로 새어 나가고, 사용자 — 사회적으로 자각하는 — 신호를 따릅니다.
실수 4
"왜"를 묻지 않고 "무엇"에서 멈추기
사용자가 말합니다: "리스트를 필터링하는 방법을 원합니다." 연구자는 "사용자는 필터링을 원합니다"를 기록합니다. 하지만 필터링은 해결책이지 필요가 아닙니다. 사용자가 실제로 달성하고 싶은 것은 필터링이 도움이 될 수 있습니다? "왜"에 대한 답변이 디자인 통찰력이 있는 곳입니다 — 그리고 종종 사용자가 제안한 것보다 더 나은 해결책을 드러냅니다.
실수 5
정성적 연구를 정량적으로 취급
"5명 중 3명이 그것을 혼동한다고 말했습니다"는 통계가 아닙니다. 그것은 5명으로부터의 방향 신호입니다. 정성적 연구는 당신에게 무엇과 왜를 알려줍니다; 그것은 당신에게 많은 수를 알려줄 수 없습니다. 수치 정밀도로 제시하면 이해 관계자에게 거짓 신뢰를 주고 종종 규모에서 잘못된 일을 최적화하는 데 이릅니다.
이 실수들이 왜 그렇게 지속적인지
대부분의 연구 실수는 동기가 있습니다. 팀에는 이미 원하는 방향이 있습니다 — 만들고 싶은 기능, 믿고 싶은 가설, 만족시키고 싶은 이해 관계자. 연구는 이미 내려진 결정을 정당화하는 의식이 되고, 그것을 테스트하려는 진정한 시도가 아닙니다.
해결책은 격리에서 연구자를 더 엄격하게 만드는 것이 아닙니다. 그것은 "무엇을 만들기로 결정" 역할을 "그 결정을 알리는 연구 실행"으로부터 분리하는 것입니다. 연구자가 또한 기능을 제안한 사람이면 확인 편향은 거의 피할 수 없습니다.
유용한 규범
어떤 연구 세션이라도, 어떤 결과가 당신을 당신의 마음을 바꾸게 할지 기록해 두세요. 그것을 이름지을 수 없으면, 당신은 연구를 하지 않습니다 — 당신은 극장을 하고 있습니다. 거짓인 결과를 명시할 능력이 진정한 문의와 여분 단계가 있는 확인 편향의 차이입니다.
샘플 크기에
사용성 테스트의 경우, 5~8명의 참가자가 대부분의 문제를 드러냅니다 — 감소 수익이 빠르게 설정됩니다. 문제 발견 인터뷰의 경우, 12~15명은 일반적으로 포화에 도달하기에 충분합니다. 큰 모집단에 정량적으로 일반화하고 싶은 것에 대해, 대표 샘플을 가진 적절한 조사가 필요합니다 — 10개 인터뷰가 아닙니다.
FabricLoop이 정직한 연구를 어떻게 지원하는지
원본 인터뷰 메모, 종합, 결정을 같은 스레드에 유지하면 불편한 발견사항을 조용히 폐기하기가 더 어려워집니다. 증거가 결정과 함께 표시되면, 팀은 결론이 학습한 것을 따랐는지 — 또는 그것을 진행했는지 볼 수 있습니다.
이 기사에서 배울 10가지
- 나쁜 연구는 연구가 없는 것보다 악합니다 — 거짓 신뢰를 생성하고 팀이 더 멀리 보는 것을 중단합니다.
- 가설적인 미래 행동에 대해 절대 묻지 마세요. 대신 구체적인 과거 행동에 대해 묻습니다.
- 옹호자로 가득 찬 연구 패널은 따뜻한 피드백을 생성합니다 — 왜 사람들이 떠났거나 그들이 변환되지 않은 이유에 대한 통찰력이 아니라.
- 이탈한 사용자 및 비사용자와 대화하세요. 피드백은 불편하고 필수입니다.
- 주도적 질문은 정중한 동의를 생성합니다, 정직한 평가는 아닙니다. 당신의 표현을 주의 깊게 보세요.
- 사용자가 해결책을 제안할 때 ("필터링을 원합니다"), 항상 왜 묻습니다. 답변은 일반적으로 더 나은 해결책을 드러냅니다.
- 정성적 연구는 당신에게 무엇과 왜를 알려줍니다. 많은 수를 알려줄 수 없습니다. 수치 정밀도로 제시하지 마세요.
- 대부분의 연구 실수는 동기가 있습니다 — 결정은 이미 내려졌고 연구는 그것을 정당화하기 위해 사용됩니다.
- 기능을 제안하는 사람으로부터 그 평가를 실행하는 사람을 분리합니다.
- 어떤 연구 세션이라도, 어떤 결과가 당신을 당신의 마음을 바꾸게 할지 기록해 두세요. 그것을 이름지을 수 없으면, 당신은 연구를 하지 않습니다.
