最后一个案例是我们的乐动力，这个案例就是他鼓励他的用户去下载这个跑步的app，那么这种方式，为了统计学，AB测试更加准确，它会考虑看这个时间，这个过去两周发生的时间，红色的方案一直都比其他的更好，他就知道了这个设计是更好的。
以下是小伙伴们现场提问的一些问题：
问：优化之中的置信区间是什么意思？
答：置信区间是一个很重要的概念，他是和AB测试紧密相关的，是用一种统计学的方法，来分析实验组和对照组连个随机过程的采样的数据。他们通过对比他的采样数据，对这两个随机模型的参数进行一个统计学意义上的对比，然后最后形成一个一定置信度的变化区间。
其实如果你不是AB测试，而是直接上线一个东西，再下线一个东西，根据数据来分析，也会有置信区间的问题，但是一般那种置信区间会很宽很宽，意思就是你基本上不知道结论是什么。那么一个AB测试的置信区间，他往往是这样一个概念，就好像刚才我们ppt里举的例子，就是说对照实验组使得你某一个指标的转化率提升了15，然后他的95置信区间是从10到20，就是说你把这个实验组版本方案迭代，把这个方案发布给所有的用户，那么你有至少95的概率可以提升10以上，而且有比较大的概率可能是最终提升了15，也有一定小概率会提升20。这就是置信区间的概念。
当然你也有5的概率这个变化不在提升的这个区间之内，也是有可能的。在工业上，我们一般都会有95置信区间。举个例子，如果你看到你的实验结果置信区间是从-3到 3，那么很可能发生了什么呢，你的这个实验版本既不能给你带来增长，也不能带来下降。如果你是3到6，那么你可以基本确定这是一个好的优化方案。他能带来增长，如果他是-5到-2，那么这个方案千万别上线，他会带来负增长。
问：AB测试一般要测试多少天，积攒多少样本才能得出结果？
答：积攒多少样本才能得出结论这件事情和置信区间也是相关的，置信区间要足够窄才能说你得出了一个比较好的结论。积攒样本这件事情取决于几个方面，一个是试验流量本身，一个是转化率本身，比如说你的转化率非常的低，你只有百分之零点零几的转化率，那么你可能需要非常非常多的样本才能够做出有效的测试。
但是如果你的转化率是50，那么可能你有1000个样本你就够了，跑一个小时就够了，但是AB测试测试要持续多少天这件事情我要提一下，AB测试一般要持续7天，或者14天，这是是因为AB测试是只改变一个条件的单盲测试，就是你只改变一个条件，你的实验本身其他都不变，你当然希望整个试验时间覆盖用户的周中的行为和周末的行为，他星期一到星期五的行为可能和星期六星期天不一样，所以7天是一个比较理想的时间。
当然如果你想更确信，最好跑14天，如果你的流量比较少的话，你可能要跑更长的天数。然后你怎么得出结论，你就等这个置信区间收窄，窄到一定程度你就可以说ok，好了，可以上线了，或是可以下线了。
问：Facebook是如何做Ab测试的？
答：Facebook在发布新App的时候，会对未来几个月想做的做AB测试，那么是怎么做的呢，Facebook做了一套系统，gatekeeper和airlock，他是大概花了2年时间，40个工程师，借鉴了google的一些想法，又解决了移动端的一些问题。有了这样一套系统之后呢，他的产品上线的流程也深入的集成了AB测试，他在需求评审阶段就会产生各种各样的想法，各种各样可能的功能，各种各样的变化，然后交付实施，这些实施都是通过gatekeeper的方式上线的。也就是灰度的发布给用户，然后再用airlock的方式放流量进来，让一部分用户去尝试新的功能，只有那些好的功能才会保留下来，在下一次app改版的时候会正式的全面的发布给所有的用户。
而那些不好的功能可能就关闭，不上线，然后再下一次迭代的时候除了会把上一次成功的版本全部发给新用户，还会添加一些新的实验进去。所以他每次迭代都是把新的实验发布出去，然后不成功的实验打回去重做，然后再加一些新的实验进去，这就是他每次迭代的流程。
问：Web产品页面优化可以用AB测试么？
答：当然可以，google天天在做，很过国内的公司也在做了，比如说携程也在做，
问：AB测试接入SDK是如何展开的？流量来源如何选择？
答：对于AB测试比较陌生的产品经理来说可能会比较糊涂，那么其实你接入了SDK，无论app还是网站，你接下来的事情就很简单，比如说你的一个新想法要上线了。你可以通过我们这个SDK可视化编辑，改文案，或者你的工程师可以把这个功能通过我们的SDK灰度的集成到上面，同样还是一个包或者一个网站，但是不是所有用户都会看到他，你想让多少用户看到他。
问：AB测试在生产环节是加白名单的方式还是直接测试环境上测试的。就是拿一部分用户试试看，然后再上线？
答：不是这样的，你说的这个呢是QA的模式，还是一种传统的方法，那么这种QA的方法就和传统企业一样，像微软一样，他先做Xbox原型，然后再让一些微软的同事或者测试用户试用，试用玩家觉得好，然后他再大规模量产，但这种方式是比较落后的。真正的AB测试这样一个强大的工具，它强大在哪呢？它强大到可以让所有用户来直接参与你的实验。比如说你有100万用户，你划1就有1万用户会体验你这个新版，他们是精心筛选出来的，他们可以去尝试这个新版，他们产生的AB测试数据是可信的。他提升了5就是你最后发布了就可以提升你所有收入的5。
如果他下降了10，那么你就不要让他上线，如果上线了，你可能有很大的概率带点来10的损失，这就是AB测试强大或者黑科技的点，就是为什么google把他作为秘密武器，我们希望把这个秘密武器变成一个常规武器给大家用。就是他不是那种拿一部分用户来试试看，然后再上线，这种方法是不行的，google也做过这样的实验，google做过一个产品叫googleplus，社交产品，它给google所有的员工开放，发现数据很好，活跃很好，比Facebook强多了，然后他发布给所有用户怎么样了呢？他连注册量都不够更不用说和Facebook比活跃度了。所以这就是AB测试的意义或者他强大的地方。
希望大家能够不断的实现自己产品的优化，实现增长。
本次PPT下载链接:http://pan.baidu。com/s/1nvrmv8l密码:r5hy
往期【起点学院公开课】总结文章请往下看：
整理：李任培，人人都是产品经理社群团队笔记小组成员，是最大的收获，成长比成功更重要
本文系人人都是产品经理社群团队笔记小组@李任培整理发布，未经许可，不得转载。
您的赞赏，是对我创作的最大鼓励。_赞赏
收藏已收藏_80赞_6
扫码到微信
评论（2）
登录后参与评论
李小珂
2016/08/14
PPT失效了，能修复下吗
回复
欧阳俊杰
2016/08/02
哥们讲得不错，第一次听google的人做。
《Google产品优化的秘密：解密增长黑客和AB测试》相关参考资料:
黑客解密技术、google黑客搜索技巧、google搜索优化、google 优化、dnf数字解密答案、解密档案、黑客 uber、黑客 黑龙江、dnf数字解密
