•
스타트업에서는 실험을 강조하는데, 실험이란 말을 잘못 쓰는 경우들이 있다.
•
실험이란 무엇인가?
◦
몰랐던 것을 알아내기 위해 하는 활동이다.
•
실험의 중심에는 가설이 있다.
•
가설이란 무엇인가?
◦
우리가 사업, 시장, 고객 등에 대해 가지고 있는 추측이다... 라고 퍼블리에 발행한 글에서 설명했는데, 이건 엄밀히 얘기하면 가설(hypothesis)이라기보다는 가정(assumption)이다.
•
'가설'이란 말이 보통은 hypothesis와 assumption 두 가지 개념을 모두 가리키는 말로 쓰이는데, hypothesis와 assumption을 구분해서 생각하는 것이 좋다. 가정은 사실이라고 믿는 추측 혹은 추정을 가리킨다. 가설은 그 추측을 실험으로써 반증 가능하게 만든 진술을 가리킨다.
•
우리가 실험을 하는 것은... 우리가 참이라고 믿는 가정(assumption)을 반증 가능한 가설(hypothesis)로 만들고, 이를 테스트하는 것이다. 가정이 참이라고 믿고 그냥 전면적으로 진행했다가는 팀이 가진 소중한 시간과 자원을 낭비하게 될 수 있으니까.
•
많이 간과되는 것: making implicit assumptions explict.
◦
우리가 뭔가 액션 아이템에 대해서 생각할 때, 그 밑에 있는 assumption이 여러 가지 있다. 액션 아이템이 성공하려면 그 가정들이 참이 되어야 한다. 묵시적인 가정들을 explicit하게 만들어야 한다. 각각의 가정들이 얼마나 risky한지 평가하자. 그리고 risky한 가정들은 꼭 실험으로써 테스트하자. 테스트할 때는 testable한 형태의 hypothesis로 바꾸자.
•
그럼 실험을 할 때는 꼭 실험군과 대조군을 설정해서, 통제된 환경에서 해야 할까? 나도 예전엔 그렇게 생각했는데, 꼭 그럴 필요는 없다고 생각한다.
•
실험을 하는 목적은 의사결정에 자신감을 더하기 위한 정보를 얻는 것이다. 이런 측면에서 생각하면. 어차피 100퍼센트 확신을 갖고 의사결정을 할 수는 없기 때문에. 의사결정에 필요한 만큼의 정보(just enough information)만 확보하면 된다.
•
검증하고자 하는 가설에 따라서, 가설을 검증하는 (실험) 방법은 달라진다. 변수를 통제한 실험을 해야 할 수도 있고, 유저 인터뷰를 할 수도 있고, 등등. 중요한 것은 의사결정에 필요한 만큼의 정보, just enough information을 확보하는 것이다.
