知乎Live整理稿:通过数据分析驱动用户增长

我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

本文是作者撰写的知乎Live整理稿,主要和大家分享一下如何通过数据分析驱动用户增长。

知乎Live整理稿:通过数据分析驱动用户增长

根据经验以如下几个问题展开:

  • 互联网用户增长特点
  • 数据分析在其中的作用
  • 实验对产品开发的作用
  • A/B 测试的作用和难点
  • 数据驱动用户增长的局限性
  • 彩蛋:以知乎为例,一些数据分析的机会

下面就是全文字分享:

行业特点

说到互联网产品的用户增长,可能大家都有所耳闻。与传统行业相比,互联网相关的产品有几个不一样的特点。

一是由于网络效应,由于互联网相关产品更容易扩展,更有可能出现爆炸性增长的局面。

二是互联网行业更容易出现赢者通吃的局面,比如优酷和土豆的合并,携程和去哪的合并,立马形成行业垄断。

三是在行业发展前期一旦有一个好的产品领先,后来者就很难翻盘了,所以互联网行业会出现前期大量烧钱抢占市场和用户的局面,比如 Uber 是一个特别典型的例子。

Retention / 用户留存

对用户增长来说,什么是最重要的呢?有人说是用户最重要,有人说是 Acquisition 也就是新用户获取最重要。在 Facebook 内部来说,以及很多热门 Startup 来说,最重要的是 retention,也就是用户留存。这也是为什么十几年前,Facebook 刚创立的时候,大家通常用的指标都是注册用户。Mark Zuckerberg 从一开始就很明确,注册用户并不是最重要的,最重要的应该是活跃用户。

用户留存曲线

好的产品和不好的产品用户留存是什么样子的呢?有这里就需要提到一个概念 J 曲线。

如下图所示,横轴是从注册开始到现在的天数,纵轴是活跃用户的比例。这里用的例子是月活用户,也就是说如果过去一个月之内你用过这个产品,那么你就算是一个 active user。很显然,注册开始第一天,大家都是月活,第二天第三天直到30天都是如此,从第31天开始,有一部分人不是月活了,因为他们只在第一天用了,之后就再也没用过,以此类推第32天33天等等。

一个好的产品,应该是像黑色曲线这样,随着时间的推移会有下降,但是到一定程度之后会趋于跟 x 轴平行。如果你看到一条红线这样的用户留存曲线,那就你就需要好好研究一下你的产品了,因为这意味着随着时间的推移,所有注册用户都会放弃你的产品。那么即使你把全世界的人都抓来注册了,终究月活用户数也会变成0。
知乎Live整理稿:通过数据分析驱动用户增长

用户留存 vs. 新产品

推出新产品的时候,用户留存曲线是非常重要的,以确保有一个足够好的产品,接下来才是把这个产品推向更多用户的时候。其它互联网公司比如 Airbnb 也有类似的策略。当然不同的产品,关注的指标很有可能是不一样的。比如说微信,假如你看月活的话,那可能意义就不是很大了。一个月用一次微信的用户,说有不了什么问题,更应该关注的可能是日活,或者发了多少条信息这种。那么对于 Airbnb 来说,月活则是一个比较适用的指标,其它比如每个月有多少房间预订之类,也是应该关注的指标。

神奇时刻 — magic moment / Ahhhaa moment

假设现在你有一个很好的产品,用户注册之后过一了段时间也还是有很多人留下来继续使用。那么接下来怎么做用户增长?

很多社交网络产品都提到一个概念叫 magic moment,直译过来的话就是神奇时刻。什么算 magic moment 呢?比如对于 Facebook 来说,你注册之后,在上面看到你现实生活中认识的好友,看到他们的照片,状态等等。这个时候对新用户来说,心里想的是啊!原来 Facebook 是干这个用的。比如对于知乎来说,可能是在答了一个题之后,看到小红点显示有人点赞,或者是感谢,或者是关注等等。同样,对于LinkedIn,Twitter,微信,微博也是类似,新用户或者是找到他们想要联系的好友,或者是找到他们想要粉的人,这一时刻让用户有继续使用下去的动力。

知乎Live整理稿:通过数据分析驱动用户增长

例子 — 用户留存率 vs. 好友数

对于很多社交网络产品 比如说 LinkedIn 来说,一个很简单便是很有效的分析方法,就是看用户留存率跟好友数的关系。当你的好友数低于某一个值的时候,用户留存率会非常的低。当好友数量达到一定数量的时候,再增加好友数对留存率的影响就很小了。那么确定下来这个值之后,工程师们要做的就是以这个为目标进行各种产品改进、优化、新产品开发等等。

有人可能会问了,这里面有个很显然的问题,就是你只能说明这是相关性,而不是因果性。但是最终解决办法其实很简单,不管 Facebook 也好,微信也好,如果你没有好友的话,肯定是没有人会继续用的。所以这里面肯定有因果性在里面。同时肯定也有相关性,很大程度上二者肯定是相互影响的,通常来说好友越多,更有使用产品的动力。产品使用的更好,好友也更多。

A/B 测试

上面一段提到在设定某一个目标之后,工程师们接下来就要通过各种产品改进、优化、新产品开发等,互联网公司基本上都是通过 A/B 测试来确定是否发布产品,是公司产品开发非常重要的一环。在湾区这边有一个 meetup 小组就是专门讲 A/B 测试的,像 Uber, LinkedIn, Netflix 等等都在这个小组介绍过各个公司是怎么做 A/B 测试的。

接下来就以 Airbnb 为例子来说明 A/B 测试为什么重要,如何做 A/B 测试,以及中间可能遇到的问题。

例子来源:http://nerds.airbnb.com/experiments-at-airbnb/

为什么要做实验

实验是最有效的证明因果关系而非相关性的工具。以 NBA 为例,数据显示,当科比出手10-19次时,湖人的胜率是71.5%;当科比出手20-29次时,湖人的胜率骤降到60.8%;而当科比出手30次或者更多时,湖人的胜率只有41.7%。

根据这组数据,为了赢球,科比应该少出手?并不一定如此。有可能科比出手少的时候是因为队友状态好,并不需要他出手太多。也有可能是因为球队早早领先,垃圾时间太多。而出手太多的比赛是因为比赛艰难或者队友状态不好,需要他挺身而出。当然,以上也只是可能之一,具体是什么情况光靠这组数据并不能得出任何结论。

A/B 测试的用处

对 Airbnb 来说,很多时候一个新产品的发布,是很难说明结果到底是新产品的呢,还是别的因素。

如下图所示,红色部分是新产品发布和撤回的时间段,这期间的变化到底是因为产品呢,还是别的因素?有可能用户受到时间的影响,比如周中和周末的区别,是否假期,天气等等。对于 Airbnb 这种旅行相关的公司来说,这些外在影响尤其大。通过实验则可以把产品的影响跟别的外在因素的影响区分开,产品做一个小的改变,跟对照组进行对比,这就是 A/B 测试。

知乎Live整理稿:通过数据分析驱动用户增长

实验需要跑多久?

A/B 测试的老大难问题:实验跑多久最合适?结束太早可能产品的真正效果还没有足够时间体现出来,实验拖太长会影响产品迭代改进的效率,这对诸如 Airbnb 这样的初创公司还是 Facebook 这样讲究 move fast 的公司来说,都是很麻烦的事情。

例子 — 搜索价格范围

Airbnb 曾经测试过把价格选择范围从最高的$300改成$1000。一周之后,根据下图的红线显示,实验效果显著 (p<0.05),也就是说改成$1000之后预订会增加。但是事实上实验继续进行下去的话,你就发现这个改变其实是没有效果的,最终也没有统计显著 (p>0.05)。

知乎Live整理稿:通过数据分析驱动用户增长

不过虽然这个测试的结果是中性的,考虑到有一部分用户的确需有查找高端房源的需要,Airbnb 还是决定把最高搜索价格从$300改成了$1000。那么到底实验应该进行多久呢?通过各种复杂的统计分析,Airbnb 总结出了一套动态决定边界(Dynamic decision boundary),综合考虑p值和实验进行的天数。

全面理解实验结果

通常来说,选定一个或几个指标(metrics)来分析实验结果,以免主观挑选实验结果(cherry picking)。但是仅仅看一个指标也是不行的,很容易就错过全局,一叶瞕目。比如 Airbnb 做过一个非常大的改动,在用户搜索的结果显示里,更加强调房源的照片和在地图上显示的地点。项目非常大,大家都认为结果会很好,用户调研显示也是如此。

知乎Live整理稿:通过数据分析驱动用户增长

尽管如此,Airbnb 还是决定如常做一下 A/B 测试,然后发现了问题:结果基本是中性的。幸好 Airbnb 的数据科学家们并没有就此结束,相反,他们看了看不同的方面,包括在不同浏览器的效果,发现 IE 是最大问题所在。很快进一步发现,新产品在某些老版本的 IE 上会有 bug,以至于预订率了超过3%。修复了在 IE 上的 bug之后,立马预订率就变成提高超过2%,与其它浏览器上效果类似了。这是一个非常典型的例子。很多时候看到中性的实验效果,不妨根据不同的维度进行细分,比如浏览器、同家、用户类型等等。

知乎Live整理稿:通过数据分析驱动用户增长

问题: Twitter 2015 年用户增长为 11%,这是否存在增长的危机?为什么?

知乎Live整理稿:通过数据分析驱动用户增长

结果 too good to be true

不管是自己打造的 A/B 测试系统,还是使用第三方的系统,都是有可能出问题的。

如果默认系统都是有效的话,有时候麻烦就来了。有时候可能是使用过程中出了问题,有时候可能是系统本身的问题。最简单的办法是跑个 A/A 测试,也就是实验组和对照组都是一样的产品,然后看系统结果怎么说。

Airbnb 做过一系列 A/A 测试,发现在实验组和对照组的用户数量基本一致的时候,系统是正常工作的,显示中性的结果。但是当对照组的用户远超实验组(75% vs. 25%)的时候,结果显示高达-15%的偏差。最后发现原因在于对用户的追踪问题,很大一部分用户没有正常的记录到实验组里去。未必每一个公司都会碰到完全一样的问题,不过适当的进行 A/A 测试,确保系统正常工作是非常重要的。

知乎Live整理稿:通过数据分析驱动用户增长

据驱动用户增长的前提

首先需要有一个好的产品。其次在创业初期,所有人都需要有这个概念。最后需要要 infrastructure 的支持,诸如 logging,dashboard,A/B 测试系统等的建立。例如:Uber 的 A/B 测试系统

知乎Live整理稿:通过数据分析驱动用户增长
作者:邹昕,07 年从清华生物系本科毕业,之后又学了五年生物,之后转行念了数据分析专业的硕士,毕业之后在 Discover 做信用卡风险控制,包括模型和数据分析方面的工作,今年年初跳槽到 Facebook 做数据分析。

来源:http://www.36dsj.com/archives/55758

本文来源于人人都是产品经理合作媒体@36大数据,作者@邹昕

随意打赏

知乎live知乎用户分析
提交建议
微信扫一扫,分享给好友吧。