4月20日，字节跳动旗下火山引擎技能开放日中，字节跳动副总裁、算法和数据技能卖力人杨震原首次揭秘字节跳动如何利用A/B测试（AB test）。火山引擎是字节跳动旗下为企业做事的智能科技品牌，字节跳动的A/B测试工具也已通过火山引擎开放给企业客户。数据驱动并非纯挚的唯数据论，更不是数据至上，而是须要对可以量化评估的目标，以A/B测试的办法进行更好地驱动，它代表的是科学决策的理念。
而所谓A/B测试是指对不同策略进行比拟实验，根据结果选择最优方案。作为数据驱动的主要手段，A/B测试目前被广泛运用于互联网推举系统、广告系统、增长黑客、用户增长、数据剖析、数字化运营、智能营销等领域。外洋如Facebook、Google等大体量公司，海内除了字节外，还有借鉴该模式打造爆款的完美日记等。未来随着To C流量红利的消退，A/B测试类工具将越来越被重视。
据杨震原先容，成立之初，今日头条就启动了策略推举类的A/B测试。2016年，字节跳动建立了支持大规模产品实验的A/B测试平台，之后陆续接入抖音、西瓜视频等全线业务，将A/B测试运用在产品命名、交互设计、推举算法、用户增长、广告优化和市场活动等各方面决策上。
最新数据显示，字节跳动每天同时进行的A/B测试达到上万场，单日新增实验数量超过1500个，覆盖400多项业务。随着公司发展，这些数字还在不断扩大。截至今年3月尾，字节跳动累计已经做了70多万次A/B测试。字节A/B测试客户群中以悟空租车为例，该公司已通过火山引擎进行了70多次A/B测试，约有60%为正向实验，提升产品转换率约40%，以往须要一周韶光的需求复盘数据剖析，现在只要一天就能得到数据结论，提升了效率。
字节体系之外，Netflix工程师Gopla Krishnan此前在个人博客上表示：一个产品功能或内容如果无法在90秒之内获取一个用户的把稳，用户很可能就会失落去兴趣，并转向其他行为。背后缘故原由正是平台没有足够的根据，证明用户为何喜好某一个内容，因此没有用精确的思路去呈现内容。于是Netflix在2013年进行一次大规模的A/B测试，通过在电影海报上做出个性化文章提高转化率。
当然，A/B测试也并不是万能的，它也有很多局限性，杨震原表示，A/B测试会定下原则，比如提高商品推举门槛、不推举评分低的商品，如果做A/B测试，短期内交易量肯定会降落，但长期来看结论有可能逐渐反转，这是长周期影响和目标设定的问题。此外，独立的实验条件、统计置信度等问题都是做A/B测试须要考虑的。
A/B测试也并非万能，杨震原以“抖音”为例阐明称，当初给短视频平台起名时内部进行了A/B测试，“抖音”这个选项实际位列第二名，但当时产品经理们从履历角度认为“抖音”长期来讲更符合认知，更能表示这个产品的形态，因此终极选择了“抖音”这个名字。
因此，杨震原认为企业应充分意识到A/B测试的上风和毛病，对目标选择适宜的评估方法,如计策型决策须要专家角色进行长期的思考；细节决策若能做A/B测试只管即便先做，同时关注到量化剖析的实行能力，真正做到数据驱动科学决策。“充分进行A/B测试是一个能够补充信息的过程，肃清偏见，带来很多客不雅观事实。但是它也不是完美的，也须要补充其他方法一起进行，就像给‘抖音’起名字一样。”杨震原表示。
