“科学方法”经过多年以来由许多有影响力的科学家开发和完善，最初的目的是作为发掘自然世界真理的一种手段。
从那时起，包括亚马逊、Netflix、Spotify 等在内的许多世界领先企业都使用了 波兰电报数据 这种强大的方法来挖掘有关用户的洞察力并打造世界一流的产品和用户体验。
科学方法遵循一个简单的生命周期：
- 问题：制定研究问题并将其与方法论相匹配；
- 研究和观察：进行研究并记录您的观察；
- 假设：提出解释或预测；
- 实验：进行控制测试以验证假设；
- 分析：解释实验数据；
- 结论和报告：得出支持或反驳假设的结论并分享结果，然后迭代。
图片由 Steph Le Prevost 于 2024 年创作。
在本文的其余部分，我们将向您展示如何将同样的科学思维应用到您自己的实验程序中。
1. 问题：制定研究问题并将其与方法论相匹配。
这是你的科研生命周期的研究设计阶段。它负责收集初步研究资料，最终用于支持你的假设和实验。
在这里，我们建议从您想要回答的问题开始，然后将这些问题映射到最佳研究方法。
例如，在下表中，我们将这些初始研究问题映射到了不同的研究类型。在这里，确保会计软件与其他模块 您可以看到几个问题现在映射到了用户测试，这立即表明您应该优先考虑用户测试作为研究方法。
通过首先提出您的研究问题并为其映射适当的方法，您将避免分析中的数据搜索陷阱 – 即搜索数据来支持您的猜测。
从这里，您可以进行研究并写下您的观察和见解。
2. 研究和观察：进行研究并记录您的观察。
与实验数据库一样，你应该有一个系统的方法来收集和存储你的研究观察和见解。这很重要，因为它能让你轻松地构建未来的问题和假设。这种分类法构成了系统地捕获和利用研究数据的基础：
- 学习：学习是从一个或多个观察中产生的见解，例如，如果您的观察是“50％的调查受访者表示他们不信任该品牌”，那么您的学习就会是“用户对该品牌缺乏信任”。
- 观察：这是您观察到的具体事物，例如用户难以完成流程；或者类似于来自调查或用户测试参与者的直接引用。
- 障碍/动机：观察和学习是否与阻碍用户转换的事物有关，或者是否激励他们？
- 区域：您从网站上的哪个页面收集了这些数据？例如，PDP、PLP、结账页面等等。收集这些数据非常重要，因为您可以开始了解大部分研究成果的重点。例如，收集完所有研究成果后，您可能会发现其中 70% 都集中在产品页面。这立即表明，该领域存在优化机会。
- 来源：您使用了哪种类型的研究来获得此洞察？例如，竞争对手分析或用户测试。这一点很重要，因为并非所有研究方法都能为实验项目带来同等的价值。
3. 假设：提出解释或预测。
收集到初步研究数据后，下一步就是开始构建实验假设。假设本质上是基于你的研究做出的预测，你将通过实验来尝试验证。
例如，假设你的研究结果是“用户不信任我们的品牌”。那么，你可能想要测试的假设可能是“通过在我们的落地页上以 Trustpilot 评论的形式添加社交认同，我们可以增加销量。”
不过，在继续之前，需要强调的是，在撰写假设时，务必使用框架——毕竟，实验的可靠性取决于假设本身，所以正确理解这一点至关重要。组织中所有进行实验的人都应该使用相同的框架，以确保实验方案的一致性和可信度。
图片由 Conversion.com 创建，2020 年。
对我们来说，上述假设框架之所以如此有效，是因为它将测试的所有要素整合到了一起。我们将逐一讨论每个要素，首先从研究开始：
定量和定性数据是框架的首要要素。这将围绕我们在周期前几步收集的研究数据展开，并重点阐述我们开展这项实验的初衷。本质上，我们掌握了哪些数据表明这项实验是个好主意？
下一部分将杠杆和概念区分开来。这种区分至关重要。杠杆是测试的核心主题（例如，“强调紧迫性”），而概念则是将杠杆应用于特定领域（例如，“在酒店页面上显示可用房间数量”）。区分杠杆和概念至关重要，因为它会影响测试完成后的结果。如果实验成功，您可以将相同的杠杆应用于其他领域，并尝试进行更大胆的迭代。如果实验失败，那么重要的是要思考是杠杆还是概念出了问题：是用户误解了概念，还是杠杆没有引起他们的共鸣？更多内容请参阅“结论”部分。
框架的下一部分着眼于预先选择成功标准。实验的主要关键绩效指标 (KPI) 应在此定义。您可以根据此 KPI 计算最小可检测效应 (MDE) 并确定停止方案。持续时间随后由 MDE 计算确定。深入阅读 AB 测试的统计数据可以帮助您确定最佳停止方案。
在假设和上线阶段之间，您需要确定实验的优先级。您可以使用多种优先级排序方法来执行此操作，但重要的是要尽可能消除偏见并坚持使用相同的方法。优先级排序是实验中极其重要的主题，但同样，它略微超出了本文的范围。如果您想了解更多关于优先级排序的信息，可以在此处阅读。
4. 实验：进行控制测试以验证假设。
这才是真正检验假设的部分！这里有很多内容可以讨论，但我主要想强调一下实验报告需要注意的几点。
“偷看”是指过早查看结果并做出判断。无论您使用哪种测试方法，都应坚持测试计划。如果您使用固定时间范围法，则应在适当的时候暂停。过早暂停测试可能意味着您的结果采样不足，从而导致结果无效。如果您想偷看，顺序测试方法可能适合您。Merrit Aho在 CXL 博客上发表的文章“偷看您的数据？如何避免顺序测试中的误报”值得一读。
当测试组的实际样本量与预期比例显著不同时，就会发生样本比例不匹配 (SRM)。例如，您将测试中对照组和变体组的比例设置为 50:50，但最终比例却变成了 70:30。SRM 可能表明您的设置、随机化过程、数据收集或影响流量分布的外部因素存在问题。这些因素会影响测试结果的有效性，因此务必注意。现在大多数实验工具都已对此进行了检查；但是，如果您的实验工具没有，您可以使用由 Luka Vemeer 开发的这个免费在线检查器。
5. 分析：解释实验数据。
您应该在启动实验之前就决定停止协议，这样您就已经知道您的 KPI 是否具有统计意义 WhatsApp 数字 ，以及结果是失败、成功还是不确定。
人们常常犯一个错误，那就是对不确定的结果进行过深挖。归根结底，这些结果并不足以提供足够的证据让我们从中获得真正的见解，而且如果过度依赖它们，将会非常危险。如果你将统计显著性设定为 90-99%，那么你实际上是在说，有 10-1% 的可能性这是错误的。但如果你开始以 30%、40% 甚至 80% 的概率来看待结果，从统计学角度来看，你就会面临更大的错误结果风险。解读趋势需要谨慎，并了解统计显著性。
下一步是得出结论：你的测试成功了、失败了，还是没有定论？
6.结论：得出支持或反驳假设的结论。
考虑到您为设定 KPI 和定义目标所做的所有前期工作，从实验数据中得出结论通常是整个过程中最简单的部分。
这里重要的是应用“探索、利用、折叠”的方法。
当您第一次在新领域开始实验时，您处于探索阶段：您探索全新的假设，收集新的数据，并对什么有效、什么无效有新的理解。
但是，一旦您收集了一些初步的实验数据，您现在就可以进入利用阶段，在此阶段，您开始利用以前测试的经验来产生影响。
对于成功的例子，您可以通过在不同领域尝试相同的概念或采取更大胆的执行方式来利用这一点。