【统计学】详解 A/B 测试

A / B测试

目录

• 什么是A/B 测试
• A/B测试的工作原理
• 为什么要进行A/B测试？
• A/B测试过程
• A/B测试SEO
• A/B测试实例

什么是A / B测试？

A / B测试（也称为分割测试或桶测试）是一种将网页或应用程序的两个版本相互比较以确定哪个版本的性能更好的方法。AB测试本质上是一个实验，其中页面的两个或多个变体随机显示给用户，并且统计分析用于确定哪个变体对于给定的转换目标更好地执行。

运行直接将变体与当前体验进行比较的AB测试可让您提出有关网站或应用程序更改的重点问题，然后收集有关该更改影响的数据。

测试可以消除网站优化中的猜测，并实现数据通知决策，将业务对话从“我们思考”转变为“我们知道”。通过衡量更改对指标的影响，您可以确保每次更改都会产生积极的结果。

A / B测试的工作原理

在A / B测试中，您可以访问网页或应用程序屏幕并对其进行修改以创建同一页面的第二个版本。此更改可以像单个标题或按钮一样简单，也可以是页面的完整重新设计。然后，一半的流量显示页面的原始版本（称为控件），一半显示页面的修改版本（变体）。

当访问者为控制或变体提供服务时，他们对每种体验的参与度将在分析仪表板中进行测量和收集，并通过统计引擎进行分析。然后，您可以确定更改体验是否对访问者行为产生积极，消极或无影响。

为什么要进行A / B测试 ？

A / B测试允许个人，团队和公司在收集结果数据时对其用户体验进行仔细更改。这允许他们构建假设，并更好地了解为什么他们的经历中的某些元素会影响用户行为。换句话说，他们可能被证明是错误的 - 他们对特定目标的最佳体验的看法可以通过A / B测试证明是错误的。

不仅仅是回答一次性问题或解决分歧，AB测试可以持续使用，以不断改善给定的体验，改善单一目标，如转换率随着时间的推移。

例如，B2B技术公司可能希望从活动登陆页面提高其销售线索质量和数量。为了实现这一目标，团队将尝试对标题，可视图像，表单字段，号召性用语和页面的整体布局进行A / B测试更改。

一次测试一个变化有助于他们确定哪些变化对访问者的行为产生了影响，哪些变化没有影响访问者的行为。随着时间的推移，他们可以结合实验中多次获胜变化的效果来展示新体验相对于旧体验的可测量的改进。

这种引入用户体验变化的方法还允许针对期望的结果优化体验，并且可以使营销活动中的关键步骤更有效。

通过测试广告文案，营销人员可以了解哪个版本吸引了更多点击次数。通过测试后续登录页面，他们可以了解哪种布局最能将访问者转化为客户。如果每个步骤的元素尽可能有效地工作以获得新客户，则实际上可以减少营销活动的总体支出。

产品开发人员和设计人员也可以使用A / B测试来演示新功能或用户体验变化的影响。只要目标明确定义并且您有明确的假设，产品入职，用户参与，模态和产品体验都可以通过A / B测试进行优化。

A / B测试过程

以下是可用于开始运行测试的A / B测试框架：

• 收集数据：您的分析通常可以深入了解您可以开始优化的位置。它有助于从您的网站或应用的高流量区域开始，因为这将允许您更快地收集数据。寻找可以改进的低转换率或高丢弃率的页面。

• 确定目标：您的转化目标是用于确定变体是否比原始版本更成功的指标。目标可以是点击按钮或链接到产品购买和电子邮件注册。

• 生成假设：一旦确定了目标，就可以开始生成A / B测试想法和假设，以便您认为它们会优于当前版本。获得想法列表后，根据预期影响和实施难度确定优先级。

• 创建变体：使用您的A / B测试软件（如Optimizely），对您网站的元素或移动应用体验进行所需的更改。这可能是更改按钮的颜色，交换页面上元素的顺序，隐藏导航元素或完全自定义的内容。许多领先的A / B测试工具都有一个可视化编辑器，可以轻松完成这些更改。确保对您的实验进行质量检查，以确保其按预期工作。

• 运行实验：启动实验并等待访问者参与！此时，您网站或应用的访问者将被随机分配到您的体验控制或变体。测量，计算和比较他们与每种体验的相互作用，以确定每种体验的表现。

• 分析结果：实验完成后，就可以分析结果了。您的A / B测试软件将显示实验数据，并显示两个版本的页面执行方式之间的差异，以及是否存在统计上显着的差异。

如果您的变体是赢家，恭喜！看看您是否可以在网站的其他页面上应用实验中的知识，并继续迭代实验以改善结果。如果您的实验产生否定结果或没有结果，请不要担心。将实验用作学习经验并生成可以测试的新假设。

无论您的实验结果如何，请利用您的经验告知未来的测试，并不断迭代优化您的应用或网站的体验。

A / B测试和SEO

Google 允许并鼓励进行 A / B测试，并表示执行A / B或多变量测试不会对您网站的搜索排名造成内在风险。但是，有可能通过滥用A / B测试工具来隐藏您的搜索排名，例如隐藏真实内容。谷歌已经阐明了一些最佳做法，以确保不会发生这种情况：

• 没有伪装 - 伪装是向搜索引擎显示与典型访问者不同的内容的做法。伪装可能会导致您的网站降级甚至从搜索结果中删除。为防止隐藏真实内容，请勿滥用访客细分，以根据用户代理或IP地址向Googlebot显示不同的内容。
• 使用rel =“canonical” - 如果运行包含多个URL的拆分测试，则应使用rel =“canonical”属性将变体指向页面的原始版本。这样做有助于防止Googlebot被同一页面的多个版本混淆。
• 使用302重定向而不是301s - 如果您运行将原始URL重定向到变体URL的测试，请使用302（临时）重定向与301（永久）重定向。这告诉Google等搜索引擎重定向是临时的，并且他们应该保留原始网址的索引而不是测试网址。
• 只在必要时运行实验 - 运行测试的时间超过必要时间，特别是如果您将页面的一个变体提供给大部分用户，可以看作是欺骗搜索引擎的尝试。Google建议您在测试结束后立即更新您的网站并删除网站上的所有测试版本，并避免不必要地长时间运行测试。

有关AB测试和SEO的更多信息，请参阅我们的知识库文章，了解A / B测试如何影响SEO。

一家媒体公司可能希望增加读者人数，增加读者在其网站上花费的时间，并通过社交分享来扩大他们的文章。为了实现这些目标，他们可能会测试以下变化：

• 电子邮件注册模式
• 推荐内容
• 社交分享按钮

旅游公司可能希望增加在其网站或移动应用程序上完成的成功预订的数量，或者可能希望增加辅助购买的收入。要改进这些指标，他们可能会测试以下变体：

• 主页搜索模式
• 搜索结果页面
• 辅助产品介绍

电子商务公司可能希望增加已完成的结帐数量，平均订单价值或增加假日销售额。要做到这一点，他们可能会进行A / B测试：

• 主页促销
• 导航元素
• 结帐渠道组件

一家技术公司可能希望为其销售团队增加高质量潜在客户的数量，增加免费试用用户的数量，或吸引特定类型的买家。他们可能会测试：

• 铅形式组件
• 免费试用注册流程
• 主页消息和号召性用语

A / B测试实例

这些A / B测试示例显示了世界上最具创新性的公司通过Optimizely进行A / B测试所看到的结果类型：

Discovery A / B对其视频播放器的组件进行了测试，以便与他们的电视节目“超级粉丝”进行互动。结果？视频互动率增加6％。

ComScore A / B测试了徽标和推荐书，以增加产品登录页面上的社交证明，并增加69％的潜在客户。

Secret Escapes测试了他们的移动注册页面的变化，使转换率翻倍并增加了终身价值。

原文：https://www.optimizely.com/optimization-glossary/ab-testing/