part 1에 이어서
4.Good Experiment, Bad Experiment by Fareed Mosavat(Ex Dir Product Growth @ Slack)
나도 항상 더 많은 실험을 하고 싶다는 생각을 하지만, 현실적으로 실험에 필요한 자원은 무한하지 않다. 특히 비즈니스와 조직이 성장할수록 실험을 원하는 구성원들은 늘어가고 우선순위의 문제는 더욱 복잡해진다. 이렇게 실험의 양적인 측면보다 질적인 측면이 더 중요해지는 시점에 도움이 되는 이 글은 '어떤 실험이 좋은 실험인가'에 대해 이야기하고 있다. 글의 형식은 Ben Horowitz가 쓴 유명한 글(Good Product Manager / Bad Product Manager)을 차용.
(1)Good experiments advance product strategy.
지표‘만’ 개선하는 실험은 나쁘다. 결과가 product strategy에 대한 input이 되는 실험이 좋은 실험.
(2)Good experiments are built around product themes.
좋은 실험은 과거의 실험을 보완하고 고객과 프로덕트에 대한 이해도를 높여 나간다. 나쁜 실험은 일회성으로 끝나고 product vision이나 growth strategy로 이어지지 못한다.
(3)Good experiments drive impact by solving real user problems.
좋은 실험은 실재하는 customer behavior에 대한 문제를 해결한다. 나쁜 실험은 트릭으로 지표를 움직인다.
(4)Good experiments are conceived as bets.
좋은 실험은 더 과감한 시도를 할 수 있도록 한다(take bigger bets over time). 나쁜 실험은 계속되는 optimization에만 머무는 실험(비즈니스에는 optimization 이상의 문제들이 더 많기 때문에).
(5)Good experiments ask “What do we do next with what we learned?”
좋은 실험은 더 의미있는 다음 실험을 가능케 한다. 나쁜 실험은 learning없이 ship or turn off 결정과 함께 잊혀진다.
(6)Good experiments are used as a tool of humility.
좋은 실험은 우리가 믿는 것이 사실인지, 또 우리가 모르는 것이 무엇인지 드러낸다. 나쁜 실험은 다음과 같은 우리의 indecisiveness를 감추는 데 동원된다.
Defer decision making
Settle disagreements
Let the data tell what to build
(7)Good experiments define success up-front.
실험 과정에서 여러 가지 지표 중 개선된 것을 취사선택하여 실험을 정당화하는 경우. 처음부터 success metric을 제대로 정의하지 않아서 실험을 재시작하게 되는 경우. 모두 나쁜 실험의 흔한 사례.
(8)Good experiments consider tradeoffs.
나의 OKR과 목표 달성만 고려하는 실험은 나쁘다. 실험에서 지표 개선이 일어났다 하더라도 비즈니스의 다른 측면에서는 부차적인 악영향이 있었을 수도 있다.
(9)Good experiments use tight exposure groups.
테스트 노출 설정을 잘못해서 테스트 그룹의 모든 유저에게 treatment가 노출되지 않는 경우도 나쁜 실험(실험 시스템이 고도화된 요즘에는 많이 발생하지 않는 문제일 듯). 이때도 실험을 재시작해야 됨.
(10)Good experiments are communicated.
개인적으로 가장 실천이 어렵게 느껴지는 덕목.
Good experiments build a narrative around learning. They are written up, shared broadly, discussed in groups, and documented for the future.
(11)Good experiments are integrated into the core product process.
(2)와 같은 맥락의 이야기.
(12)Good experiments have a plan for success.
사전에 full go-to-market integration의 단계까지 고려한 실험이 좋은 실험.
5.The Kindle and The Fire by Casey Winters(CPO @ Eventbrite, Ex Growth Lead @ Pinterest)
이 글은 처음에 불을 붙이는 전략(kindle strategy)과 불이 계속 타게 하는 전략(fire strategy)에 대한 것이다(아마존 킨들, 파이어와는 전혀 관련이 없음). Casey Winters는 이렇게 growth strategy를 2가지로 분류한다고 한다.
Kindle Strategy: Non-scalable strategies to get to scale
Fire Strategy: Scalable strategy
kindle strategy의 유일한 목적은 비즈니스가 더 sustainable한 전략을 구사할 수 있는 상태에 진입하도록 하는 것이다. 초기에 네트워크 효과가 kick in 해야 하는 마켓플레이스들이 이런 전략을 주로 썼던 것을 우리는 최근 몇 년간의 경험에서 알 수 있다. 글에서는 Doordash, Uber Eats, Postmates 등이 초기에 검색광고와 프로모션 등에 엄청난 마케팅 예산을 쏟아부은 것을 예로 들고 있다.
These companies would be willing to almost spend an infinite amount to get the cross-side network effect going because of its value to the company.
따라서 kindle strategy에서 가장 중요한 것은 sustainability나 efficiency가 아닌 속도. 반면 fire strategy를 구사하는 시점부터는 sustainability가 필요한데, Casey가 이 글에서 특히 강조하는 것은 kindle strategy 이후에 어떤 fire strategy를 구사할 것인가의 문제.
So a question all entrepreneurs need to be asking when they pursue their kindle strategy is what fire strategy am I sequencing to.
Pinterest가 이러한 strategy sequencing을 물 흐르듯이 구사한 좋은 사례.
Pinterest used DIY meetups to sequence to influencer blog campaigns to sequence to virality to get enough content where it could scale via personalization on the retention side and SEO on the acquisition side.
그렇다면 fire strategy에는 어떤 것이 있을까? 불행인지 다행인지 선택권은 그렇게 많지 않다는 게 Casey의 생각(sales, paid acquisition, virality, UGC with a scalable distribution channel 등이 보통 쓰이는 방법들).
This is sobering when I tell entrepreneurs this. There just aren’t that many ways to scale, and almost all involve having extremely good retention as well. Otherwise, you won’t have the profit in the system to invest in sales or paid acquisition, or you won’t get enough users to invite or create content to attract more users.
이 글과 함께 읽어보면 좋을 Casey의 또 다른 글은 Centralization Vs. Decentralization in Marketplaces and Scaling Companies. 다른 마켓으로 확장할 때 local team을 셋업 할 것인가의 문제에 대한 생각이 잘 정리되어 있다. Casey는 local team을 셋업 하는 것이 ‘This can be a great kindle strategy, but it’s generally a terrible fire strategy’라고 하는데, 전에 다녔던 회사에서 경험했던 reorganization도 이 글과 같은 생각에서 결정됐을 거라는 추측을 해보게 되었다(여담이지만 그때 reorg 주도했던 분도 Reforge EIR로 활동 중). 그런데 그 회사가 하필이면 여행 서비스였던 터라, 안타깝게도 reorg 이후 fire strategy를 구사해보기도 전에 판데믹으로 다시 대규모 구조조정(생각해 보면 이것도 ‘fire’ strategy?)을 해야했다. 여러모로 비극의 2020.
6.Monetization vs Growth Is A False Choice by Brian Balfour(CEO @ Reforge, Former VP Growth @ HubSpot)
Acquisition의 황금기(2008-2016)가 지난 시점에서 조명하는 monetization에 대한 이야기. 지난 몇 년간 acquisition cost는 계속 상승하고 있는데, 글에서 제시한 다음 사실들이 이를 잘 설명하고 있다.
Limited Channels: 새로운 scalable channel들이 예전처럼 등장하지 않는 상황
비즈니스 첫해에 마주하게 되는 경쟁사 수
5년 차 스타트업: 2.6
3년 차 스타트업: 4.8
1년 차 스타트업: 9.7
Data Tailwinds가 이제는 Privacy Headwinds로: GDPR과 같은 privacy legislation, cookielesss future, iOS 14 ATT 등(지난 뉴스레터에서 다뤘던 내용)
B2C/B2B를 가리지 않는 CAC 상승 추세(ProfitWell 자료)
같은 맥락에서 더 확장된 논의로는, HWBI 뉴스레터에서도 소개되었던 [VC] 인터넷 스타트업 업계의 순풍이 잦아들고 있다 - 박금자 님 번역을 참고하면 좋을 듯.
이러한 상황에서 앞으로 monetization의 중요성이 더 두드러진다는 것이 이 글의 전제로 acquisition, retention과 마찬가지로 monetization도 key growth lever로서 적극 활용해야 한다고 이야기한다.
인당 $25 freemium tier를 만들었던 HubSpot에서 ARPU/CAC 매치가 안 되는 상태(Low CAC 채널도 High CAC 채널도 쓸 수 없는 이도 저도 아닌 상태. 이 프레임워크에 대한 더 자세한 설명은 Get Our of the ARPU/CAC Danger Zone with Channel Model Fit 참조)를 진단하고, 가격 인상과 tier 패키징 조정 등의 monetization 개선으로 ARPU/CAC danger zone을 빠져나왔던 케이스가 나온다. 이 HubSpot 사례는 Building a Growth Framework Towards a $100m Product에서 더 자세히 살펴볼 수 있다.
이런 monetization의 중요성에도 불구하고, 보통 acquisition이나 retention에 더 많은 시간과 리소스가 투여되고 monetization에 대해서는 딱히 뭔가를 하지 않게 되는 게 사실인데 그 원인에 대해서는 아래와 같이 설명한다.
Sacred Cows: 예를 들어 pricing에 대한 의사결정은 보통 서비스 초기에 이루어지는데, 이때의 의사결정은 대부분 추측에 기반(가장 흔한 예: 경쟁사의 가격을 기준으로 가격 설정)하는 경우가 많다. 이런 상태로 서비스가 순탄하게 성장할 경우 pricing에는 문제가 없다고 생각하게 되는 false positive 오류 발생.
Fear of The Customer Revolt: 어쨌든 두려운 문제인 것이 사실이지만, 아래의 사례와 같이 pricing을 오히려 자주 바꾸지 않는 것이 더 큰 화(?)를 부른다.
Netflix는 2014년 이후 pricing을 8번 변경(US 기준). 2020년에 5x revenue 달성.
Evernote는 2000년 서비스 출시 이후 16년 만에 처음 pricing을 바꿨다가 엄청난 고객 저항에 직면
People react more negatively to the size of the relative change and how you communicate that change vs the frequency of change.
You need to set the tone early and often that monetization and pricing will change and evolve. The prospect of the customer revolt is a reason to change your monetization MORE, not less.
클럽하우스에서 주워듣기로, SendBird 김동신 대표님도 생각하는 것보다 pricing을 더 자주 바꿔봐야 한다고 조언.
More Stakeholders = Less Change: 영향을 받는 팀이 많아지다 보니 monetization 의사결정 프로세스가 너무 무거워져서 안 하는 경우.
Misunderstanding Of The Levers: Pricing 외의 monetization lever에 대해서는 생각하지 못하는 경우.
Not only is price given too much attention, it is the one lever that is almost purely zero sum - either the business or the customer keeps an incremental dollar in their pocket. But other levers can be positive sum - simply making it easier to transact or easier to understand what you're paying for can remove a lot of friction from the buying experience.
그리고 마지막으로 인상적이었던 조언은, 사람들이 경쟁사들은 굉장히 고도화된 방식으로 가격을 책정했을 것이라고 추측하지만 실제로는 그렇지 않은 경우가 대부분이라는 것. 그러니 무조건 경쟁사 pricing을 기준으로 삼기보다는, 고객과 고객의 willingness to pay에 대한 이해에 기반하여 bottom-up으로 monetization strategy를 짜보라는 이야기.
An interesting dichotomy I've noticed: teams internally know their pricing was set with limited data or structure. But they assume their competitors went through a highly rigorous process to set price, and so they anchor on what competitors are doing. Unless you're in a highly established, highly competitive space, it's usually better to build your monetization strategy from the bottom up, by deeply understanding customers and willingness to pay. Your competitors are often just guessing as well.
7.From Senior Marketing to Marketing Leader by Brittany Bingham(VP Marketing @ Guru) and Mark Fiske(Operating Partner @ H.I.G. Capital, Former VP Marketing @ Credit Karma)
From Product Manager to Product Leader의 마케팅 버전. 거의 같은 (당연한) 이야기가 나온다. 개인적으로 가장 필요성이 많이 느껴지는 부분은 collaborating across departments(특히 finance와 product).
Senior Marketing → Marketing Leader
Being an expert in one channel → Building strategy across all channels
Being good at your job → Guiding others to be good at theirs
Focusing on your area → Collaborating across departments
Playing an instrument → Conducting the orchestra
이에 덧붙여, 아래는 How To SaaS의 Shiv Narayanan이 제시한 The 8 roles all new CMOs need to play. 최근 경향을 잘 반영하고 있다.
1) Be revenue accountable and tie all activities to revenue impact
2) Be one of the key leaders on the sales side of the business to understand how to impact revenue even more
3) Be the designer of customer experiences throughout the full journey
4) Be a brand builder and category creator
5) Be a member / leader of the pricing committee
6) Be a driver of strategic growth initiatives, including involvement in product management
7) Be a corporate development officer to support M&A activities of the company
8) Be a financial steward who ensures delivery of growth and EBITDA
그 외
Why Figma Wins by Kevin Kwok(Former Greylock Partners)
Figma 찬양(?)을 넘어 그들이 growth loop 시퀀싱을 어떻게 해나갔는지 구체적으로 엿볼 수 있는 글(Kevin Kwok이 Greylock에서 일할 때 실제로 Figma 실사를 했다고).
Retention In The Times of Covid by Fareed Mosavat(Ex Slack), Elena Verna(Ex Malwarebytes/SurveyMonkey), Bangaly Kaba(Ex Instagram, Instacart)
판데믹으로 인한 고객의 habit & usage 변화와 그 대응에 대한 글.
How have the habits of my customer base changed?
How has usage of my customer base changed?
As a result of #1 and #2, which input (Activation, Engagement, Resurrection) should I invest resources to improve?
How To Create Content Communities by Andy Johns(Partner at Unusual Ventures)
커뮤니티 빌딩 101. Flywheel 디자인을 어떻게 해야 하는지 아주 구체적으로 다루는 글.
(1) Basic flywheel design (flywheel 1.0): a high-level description of how your community acquires users, gets them to consume content, converts some users to creators of content, and how that new content leads to new traffic and users.
(2) Consumption flywheel design (flywheel 2.0): a secondary flywheel that the product uses to accelerate the rate of content consumed within the community.
(3) Creation flywheel design (flywheel 3.0): a tertiary flywheel that the product uses to accelerate the rate of content created within the community.
(4) A “cold start” solution: a strategy for putting the initial momentum in the flywheel by identifying early adopters and coaxing them into becoming the first creators within the community.
(5) Moderation and quality control: human-based and software-based solutions that maintain a bar of quality content creation and quality user interaction.
(6) Beachheads and vertical expansion: a strategy for establishing your initial user and content beachhead and a method for expanding into user adjacencies and new content verticals.
(7) “Secret Sauce”: the unique “hook” that makes your community attractive, fun, and worthy of engaging with and that would entice users to ditch other communities in favor of yours.