返回首页 > 您现在的位置: SEO秘密 > 正文

Google产品优化的秘密:解密增长黑客和AB测试

发布日期:2016/10/22 8:36:13 浏览:2359

,虽然也有40的损失,但是它是1的40,换句话说他不是损失4万块钱,而是损失400块钱,这就是先验性的意义所在。

并行性

也就是说我们真正AB测试也好,产品优化也好,真正的使用场景并不是说我现在有一个迭代方案,然后去先验证一下然后决定是不是上线,不是这样的。显示当中你要做到优化,你必须,就是我们刚才说到的优化问题,解的空间是无限的,我不能一个个点着找,我必须同时找10个点,20个点,100个点,我要同时上线很多很多可能的方案,然后对它进行测试并行,而不是说上一个,不行再上一个,那样的话我一个月只能去验证2、3个idea。但是如果有了并行性,AB测试同时上线,1的用户尝试这个方案,1的用户尝试另一个方案,你就可以同时检验20个方案,100个方案,1000个方案都是有可能的。

科学性

是只改变一个条件的单盲试验,如果你的AB测试的试验则和对照组并不只是改变了一个条件,这个条件就是你想做的试验,你想迭代改版的东西。如果不是这样,比如说实验组的用户和对照组的用户还有一个另外的区别,比如说我们刚才实验组里有王思聪,或者实验组用户享受了一些促销和优惠,对照组没有,那么你的实验结果就不科学不可信,它对你没有帮助,那么这样说AB测试索要解决的问题,这也是AB测试的价值所在。

4、AB测试提高效率

回到刚才的问题,你没有科学性,并行性,先验性,会发生什么呢,可能你第一次尝试AB测试会觉得ok,我需要去花很多是人力精力,写很多代码去做AB测试,花了一些时间,得出了一些结论,一个版本点击了100下,一个版本点击了97下,那到底是提升了降低了还是没有变呢你也不知道,这样你的优化就无从谈起。正确的使用方法就是你有一套强大的工具,然后你可以同时上线很多很多迭代的方案,可能在一周的时间内就验证了100个想法。其中可能有60个70都是既不能带来增长,也不会降低的,可能会有十几个会跟你之前想象到的完全不同,它会降低你的营收,降低你的转化率,可能只有二十个或者十几个能够提升你的转化率,但是你就把这十几个发布出去,就可以产生效果,这就是使用AB测试优化的方法。这个是Google天天所做的事情。

5、自建的复杂程度

如果你能够这样去做,你有一套工具可以轻松开展AB测试,它除了能帮你去优化之外呢,他可以帮助你更快的改版,更快的上线,可以一键发布给所有的人,一键回滚,避免出现线上的事故,也可以实施的获取实验结果,加速制定期间的收敛,帮助你更快的决策,支持大量的并发试验。轻松管理海量的实验。如果你有这样一套工具,你的优惠就变得异常的强大,但是如果你需要这一套工具的话呢,我的建议是你不要自己去造轮子,我们AB测试就在做这件事情,AB测试这样一个工具,那么我们开发了一年半的时间,才刚刚基本没有bug了,系统比较完善,我们有强大的功能了,但是后面还有很多很多未来的挑战等待着我们,所以经验就是这个事情还是很复杂的。

6、国际顶尖增长黑客的方法

然后说一说我的老东家,硅谷的一些公司是怎么利用这些工具实现优化的。

Airbnb

他们是对AB测试实践非常非常精细的一个公司,它从第一天开始,所有的重要页面,关系到转化率的。比如说注册页面,注册页面转化率很重要喔,通过AB测试的方法来迭代,怎么做呢,它的每一个改版,每一个调优都首先灰度发布到1的用户,比较大的可以先发布到5的用户,去看看数据,用户的下单,用户的留存,用户的注册率转化率,根据这个来决定是上线还是打回重做,它就保证了Airbnb总是在不停的增长,不停的优化。

Google

是最早实现这件事情的公司,现在每个月可能都会跑几百个实验,AB测试,从中找到实解,当然主要是搜索结果和广告的点击率,这是特别重要的一件事情,通过这样的事情呢,google实现了每个月增长2,不要小看这个数字,实际上google通过这样每年可以达到20增长率,它就可以一直超过华尔街对它的期待,那么它的股价就可以不断的攀升,不要小看了这个数字。开个玩笑话,微软,苹果并不能使用大规模AB测试这样一个黑科技来做迭代,为什么呢,微软它的一个重要产品,比如说Xbox,它想Xbox的配置做一个AB测试时不现实的,苹果的iphone也没有办法真的去做AB测试,它就没有办法保证每个产品电脑推出迭代都可以优化,一旦它这个季度没有实现优化,没有实现增长,它的股价就会暴跌,微软和苹果都曾经出现股价腰斩的情况,但是google从来没有出现过,

Facebook

在移动端每次的升级改版它都会把未来6个月要做的各种改版,全部都灰度的发布给用户,用你1的用户试试这个改动,用1的用户试试那个改动,只有对它转化率提升的,它才会发布出去,那些不好的就不会去发布。

知乎等

其实国内也有一些企业在践行这样的实验,比如百度的搜索,大众点评的推荐系统,还有知乎的运营,知乎我就说个例子,知乎他们通过数据发现如果一个用户在知乎上回答了超过3个问题,他就会比没有回到够3个问题的活跃度高一倍以上,它就会觉得一个用户回答3个问题很重要,那怎么办呢,它就用AB测试,筛选了一部分新用户把它拆成试验组合对照组,对实验组的新用户就会用他的运营人员,比如说是男性用户,就会伪装成美女去邀请你去回答三个问题,邀请你回答一个问题,回答了,再邀请你回答,再邀请你回答,等你回答了3个问题她就不邀请你了。然后呢,他就会AB测试对比,用了这个策略的新用户和没有用这个策略的新用户哪个更活跃。实验结果非常好,用了这个方案能够带来转化率的增长,能够提升,所以它就发布给所有用户。如果你是新注册的知乎用户,你相信我,你一定会被邀请回答3个问题。

7、高效AB测试七条黑客经验

接下来,因为AB测试这件事情很复杂,所以我们在这里不可能展开说的特别细,但是有一些经验确实非常通用的,这个我们在其他场合也过,但在这里大家还是可以去再次感受一下,了解一下高效AB测试七条黑客经验,

效果惊人:你产品的一些微小的改动,有可能就造成对KPI的巨大影响。有的时候一个颜色的变化就有可能带来100的率的提高,都是有可能的。像我们自己的客户,在他们自己的教育类网站,他们注册改了一个文案,就提升30的学生注册率。

耐心测试:但是大多数会的改动并不会大幅度提高KPI,就像你做100个实验可能6、70个都没有什么用,这是非常可能的。

Twyman法则:而且对于这件事情还有一个twyman提出的法则,跟墨菲定律一下很搞笑,说的是凡是看上去很出人意料的图表,通常都是因为数据统计错了,

你很不同:另外产品之间往往可以参照的东西不多,你去复杂他人的经验往往没有用。开玩笑说如果京东把亚马逊的一些策略拿过来,说不定有点用,但可能不好,如果抄淘宝的,可能会是灾难性的后果。

速度是关键:但是任何能够加速用户响应时间的改动,都会给KPI带来提升,一定要记住了如果你的技术团队有能力让你的Html5页面变得更快,或者让你的网站打开的更快,或者APP响应的更快,就让他们全力以赴去做,给他们无限的支持,因为这一定会给你带来正面的提升。

关注产品的质量:你想要在一个环节中提升点击率其实不难,就像我说的点进来是大奖,或者你在推送消息的时候说您有一个大礼包待领取,或者您有一个奖待领取,这种方法往往能产生一个很好的点击率。或者你在电商平台,你的展示方式是一个大美女,那么一定往往能提升你的点击率,但是这件事情对你的产品并没有什么本质的帮助,他们不会有实质性的帮助,更重的是你要考虑的是真正核心的用户转化率在哪里。我们有个定义叫CoreAction,就是你的用户到底什么样一个行动,这件事情的转化率最重要,你要搞明白。对Facebook来说他的转化率最重要就是他去发布了一个行动,或者是加了一个好友,这件事情可能特别特别重要。对google来说可能最重要的转化率是用户点击搜索结果这件事情很重要。对Uber来说,可能用户召唤一个行程可能特别重要,一定要关注在这个产品质量上面。

快速轻量迭代:另外在做迭代的时候一定要做一些轻量的,做一些小的改动,做一些小的实验,千万不要去做大实验,因为这种东西往往是弊大于利的。你做一个大的改动,最糟糕的情况是你把用户群都变了,原来很喜欢的用户他走了,多糟糕啊,来了一些新用户你指望他们重新填充你的retention留存率是挺难的一件事情。另外你一个大的改动,你很多地方都改了,那么你的实验结果也没有办法归一,没有办法去帮助你去积累经验。你确实在优化的解空间当中的一个点跳到了好远好远地方的另一个点,那么中间这些点会有什么变化你一无所知。但是你用轻量迭代就能帮助你去积累更好的经验了。

用户数量是基础:最后,用户数量也是个问题,如果你只有100个用户,可能AB测试并不是一个适合的黑科技对于你来说,你可能需要更多的是用户调研,用户分析。只有当你有了1000个日活的时候,可能AB测试这种迭代的方法才有效,否则你的实验结果是不准确的。开玩笑说,如果你只有两个用户,一个人说你好一个人说你不好,那么你信谁呢,那么AB测试对你是没有用的。

8、优化指标的设计

还有一点也很重要,就是我们刚才所说的优化指标的设计,我们刚才列举了很多PV,UV用户留存时间等等,但是在每个阶段在每个我们实验设计里都会有一个不同的优化指标,这是很可以理解的,也是正确的。但是你要想一个问题是,你的真正的远景目标是什么,我们管他叫北极星。这个北极星很重要,就是你的所有努力其实要朝着北极星进发,然后你每一次优化的时候你的优化指标都应是拖动你的发展方向更靠近这个北极星,他不一定时要直直的去的,它可以是歪着去的,但是他歪着去之后呢,你要不断去调整你的优化指标,让他越来越靠近你的北极星。我觉得最成功的产品在这方面的把握是最好的。不忘初心,还是刚才那个观点,你不要总是想着一个细节的点击率,而是你要有一个更远大的目标,那么在这里coreaction很有用。

案例

墨迹天气

墨迹天气,它是一个很工具类的app,他的用户体验很不错,我们公认他是一个非常棒的产品,但是他依然很关注转化率的提高,比如说,他希望大家能够更多墨迹的故事,天气的故事,天气的内容,他的的图标,哪怕是一个小小的图标的变化,也会带来转化率不同,比如像这个案例里面,三种不同的设计对比原始的的设计,方案三能够提高18的率,其实非常的高,他可能每天有10万的就带来1万的增长,这是不得了的一个事情,然后你会看到很有意思就是这个置信区间,有时候也是比较宽的,当你的实验流量不多的时候,比如说方案二提升了5,也是提升的,但他是从-1到 10,那么就不是那么确定性的结果,这是一个小小的例子。

滴滴

滴滴也是我们一个很有意思的客户,对滴滴来说他需要的转化率不一定是打车的人,他不需要很多打车的人,但是他需要很多很多接单的司机。他通过AB测试也可以提升司机的注册率20以上,通过尝试不同的设计和文案,当然,AB测试帮助他提升效果是一方面,真正提升了转化率,但是另一方面,也可以通过这个试验更好的理解自己的用户。

他最左边这种招募司机的方案为什么转化率不高呢,我们一分析,通过试验我们理解了,对比后面两个方案,第一个方案他的设计不明确,就是他到底是招募车主还是招募打车的人,不知道。可能有很多误点进来的人,他可能以为是招打车的人。

那么中间这个版本就会好很多,“每天跑一单,油钱轻松赚”,鼓

上一页  [1] [2] [3] [4]  下一页

最新深圳SEO

欢迎咨询
返回顶部