이는 비즈니스 세계에서도 마찬가지다. 데이터와 통찰을 수집하고 그에 기반해 정확한 잠재적인 문제점, 또는 기회들을 이해하는데에 충분한 시간을 보내는 것. 또한 그것들은 서로 결과가 꽤 다를 수 있는데, 스포티파이에서는 이를 마치 각자의 "산" 같다는 은유로 흔히 표현한다. 각 기회는 산처럼 정상에 이르기까지의 고도와 난이도가 상이하며, 이는 곧 각각에 대해 독자적인 전술이 요구된다는 뜻이다.

어떠한 문제나 기회일지라도 어떻게 해결 하느냐에 따라 결과가 다양해질 수 있기에, 가장 이상적인 결과를 가져올 수 있는 게 무엇인지 파악하기 위해서는 문제당 가설 여러개를 생성하는 것이 중요하다. 각 가설은 여러 방식으로 해결을 시도할 수 있으므로 단 하나의 디자인으로는 가설을 증명하거나 반증할 수 없다.

각 사용자에게 특정 플레이리스트가 추천되는 이유를 설명하기 위한 기회를 탐색 했을 때 팀은 여러 가설을 내었다. 몇개의 예시는 아래의 트리로 확인할 수 있다. 더불어 아래 트리로 하나의 가설이 다양한 방식으로 설계될 수 있는 방법을 보여준다. 그리고 각 해결책은 다르게 수행될 수 있다.

해결책 설계 단계에서는 실행 가능 범위의 제품을 최소한으로 지정하기 전에 대담하고 자유로운 사고를 해야한다. 단기간 내 점진적 개선과 더불어 더 큰 변화가 요구되는 장기적인 방향성도 함께 탐색해야 한다. 위의 예시는 경험의 변화가 다소 점진적이지만, '신중한 실행'은 이미 존재하는 것을 되풀이 하는 대신 새로운 탐색을 할 때에도 도움된다. 제품의 가치 제안을 처음 파악할 때에는 트리가 훨씬 상위의 개념으로 고려되어야 하고, 최적화는 기본적인 기반을 잘 다진 뒤에 따른다. 제품의 성장도가 낮을수록 세워진 기준점에서 측정 가능한 영향 범위 안에 들기 위해서는 더 큰 도전이 필요하다.

해결책 설계가 끝났다면 원하는 효과를 얻을 수 있는지 보기 위해 가장 가능성 있는 것을 테스트 해볼 차례다. 바람직함과 실현 가능성 측면에서 아이디어들을 분석해보자. 기대 효과와 실행 속도도 고려해야 한다. 가장 큰 배움을 가져다 줄 아이디어와 만들기 가장 쉬운 아이디어의 평가 또한 중요하다.

이 프레임워크를 소개했을 때, 팀에서 탐색하는 가설의 질 뿐만 아니라 개선하고자 하는 비즈니스 목표에도 명백한 발전이 보였다. 자율성을 강조하는 스포티파이의 문화이니 만큼 관습적인 공정 보다는 정성스런 제품 개발 과정에 있어 되새기면 좋을 단계들로 소개하고 싶었다. 따라서 기록으로 남겨 둔다는 전제 하에 '신중한 실행' 트리를 단계별로 착수하는데에 사용하는 방법이나 도구 등엔 제한을 두지 않았다. 이는 작업 중인 내용과 이유, 그리고 향후 둬야할 주안점을 팀 내에서 눈높이를 맞춰 구조화하거나 외부로 전달하는데에 매우 유용한 도구가 되었다.

스포티파이에서 이 프레임워크를 쓴지 어언 5년이 되었으며, 이젠 더 많은 사람들에게 공유하면 좋겠다는 판단을 내렸다. 그리고 아래 소개할 우리의 팁과 주요 배운점을 기억하고 응용 했으면 한다.

다뤄야할 문제나 기회들의 뼈대를 잡을 때 가능한 많은 데이터와 통찰을 수집하는게 중요할지라도, 만사를 꿰고 넘어가야 한다는 생각은 비현실적이다. 조직이나 기업마다 허용되는 데이터와 조사 범위는 다르므로 정보가 부족한 것은 아주 흔한 상황이다. 대신 빠르게 인사이트를 얻을 수 있는 대안을 생각해보자. 전문가의 감정을 빌리거나 비슷한 제품을 벤치마킹하는 방법이 예시가 될 수 있다. 또는 추가적인 인사이트를 제시할 학습 실험을 제품에 적용해볼 수도 있겠다. 직감을 사용하는 것도 좋은 방법이지만, 스스로 내린 가정이 사실일지 확인해가며 의식적으로 진행되어야 한다. 중요한 것은 새로운 발견으로 '신중한 실행' 트리가 지속적으로 업데이트 되는 상황이다. 

비록 정량적 실험은 비즈니스 지표가 어디서 영행을 받는지에 확실한 근거를 줄 수 있을지라도, 정성적 수단을 통해 많은 것을 배우게 된다. 양산 전에 대범한 아이디어를 정성적인 환경에서 시도해보는 것은 추후 시간과 비용, 그리고 공수의 절감에 기여한다. 가령 스포티파이의 주요 내비게이션을 개편했을 당시 팀은 다양한 콘텐츠와 기능을 말이 되는 방식으로 기존/신규 사용자들이 직접 그룹핑을 해보는 카드소팅 작업이 우선 진행되었다. 작업은 하루밖에 소요되지 않았으며, 프로타이핑 없이도 우리의 제품이 어떻게 정신적으로 구조화되고 있는지 값진 인사이트를 얻었다.

리텐션처럼 규모있는 비즈니스 지표를 움직이는 것은 아주 어려운 일이다. 그러므로 실험 결과에 별 성과가 없어도 실망하지 마라. 무료 회원들에게 선보일 온보딩 기능을 알아보고 있을 때, 정성 평가에서 긍정적인 반응을 얻었다고 해서 단 한번의 제품 교육이 정량적인 지표에 큰 영향이 없다는 것을 깨닫게 되는 상황을 다수 직면했다. 하지만 여러 변화를 한번에 소개하자 비로소 리텐션 수치가 향상되었다.