运用数据检测看不到的用户体验

用户调研和可用性测试常沦为“说服”的工具，我们从中只选择自己想听的内容。如果数据正向，但收到好几个用户的反弹，如何处理？调研结果用户不买单，但是强推后数据非常好，又该如何理解？盘子大了，在线的东西再烂也有人用，要是说不清下线的好处，是不是动不得它分毫？

 

一. 明确商业目标和用户体验目标

一个项目拿到手，要首先确定清楚的就是——商业目标是什么：是尽可能多的卖货，还是拉拢更多观众，或者宣传一个新的品牌活动？在考虑用户需求之前，就要把商业目标对应的数据确定好，一方面给自己一个方向，另一方面也让需求方负起责任。

要达成商业诉求，必须同时也命中用户的体验目标。所以在商业目标之后，要想清楚这个项目满足了什么样的用户诉求。体验目标不能太过笼统，如“买到最合适的商品”是一个大目标，但拆解后还可以得到“高效浏览商品信息”、“便捷地做出购买决策”、“享受到更多的优惠”等细分目标，这都会是后续设计的依据。

就算是做公益，所有的设计策略和方案都是建立在商业、体验目标之上。这会成为后期纠结、商讨时的不二准绳。

 

二. 确定客观数据指标

上面讲的是一些主观描述，但项目中，还是需要拿出每个目标所对应的客观数据指标。

“尽可能多的卖货” 对应 “销售额”、“成交转化率”；

“高效浏览商品信息” 对应 “页面停留时长”、“跳失率”；

“享受到更多优惠” 对应 “优惠券模块点击率”、“优惠券使用率”。

退一万步讲，有些目标可能没有清晰的数值，也可以通过用户调研、业务方好评率等方式主动创造数据。如“用户希望浏览高品质感的品牌介绍” 可以对应 “品牌方满意程度”、“用户调研好评率”等。

商讨最常见的原因就是牛头不对马嘴，你说这个设计“体验好”、页面“设计精美”，但这话谁都能说，谁也都可以反驳，争论起来永远没有尽头。

 

三. 测试时控制变量

上过初中就应该知道“控制变量”是对照实验非常基础的一个前提，即两个实验组除了被测试项以外，其他条件必须保证完全一致，才能说明测试项的对照结果。实际 AB 测试时，我们没有办法保证两组用户“100%相同”，但也要尽可能保证“控制变量”——可惜这常常被忽视。

举个例子，做测试时常用新旧版本做对比试验，以此来衡量新设计方案的效果。但如果仅拿“新版客户端用户”和“旧版客户端用户”在同一个功能下的行为数据做对比，可能就没什么价值。

为什么？因为主动更新 App 的用户，本身就比那些后更新、不更新的用户更加活跃，所有数据正向也是理所应当的。

那应该怎么做？应该在线上做两个版本同时存在，把更新客户端的用户分成2个对照组，分别看到新旧页面（即部分用户更新后看到的还是老版本），然后再看数据结果。

四. 获取数据

一般能获得哪些类型的数据？

商业指标：成交额、注册用户数量、（明确定义后的）活跃用户数量等等，可以在服务端做数据记录，并周期性产出供参考使用；

体验指标：模块点击率、页面内模块点击顺序、操作性功能触发率（左右滑动、长按等），一般是在客户端埋点记录。值得注意的是，凡涉及“率”的数据，分母和分子必须定义清楚，我见过很多数据由于定义不明，导致出来的“率”完全没有可用性。

举个例子，某个电商购买页面，优惠券是根据人群智能发放的，那优惠模块就不是所有用户都能看到。在计算点击率、使用率时，分母必须是能看到的这些用户，而不能粗暴地使用大盘数据。

具体的服务端、客户端埋点方法，一般对应的开发同学都懂。设计师需要按照前面分析的商业、体验目标，把需要的数据列出来，然后和开发同学沟通埋点方案。

至于数据呈现，简单的方法是开发同学定期（如每天）拉数据报表，然后邮件给大家，当然会脚本的设计师也可以自己去取；体验最好的，是做一个数据报表平台，可以定期或实时的查看数据，要能做一些可视化展示以及分析就更好了。

 

五. 数据要联合起来看

没有对比，看单个数据就没有价值。这我要分几种情况来解释。

a. 单个时间点的数据没有价值。

要衡量设计方案的好坏，必须要有“前”、“后”两个数据甚至一段时间内的很多组数据才能有效。这意味着数据采集是一个连续的过程，并且要保证指标定义一致。看起来好像非常基础，但实际工作中很多人做不到；

b. 单个场景的数据不是最有价值的。

你把某功能的点击率从1%提高到了2%牛不牛？牛。但可能竞品能做到5%，你的设计还是很烂。虽然别人家的数据往往很难获得，可一旦有机会，千万不要放过；（也可以拿自家产品的类似场景数据去做对比，比如阿里就可以拿天猫淘宝的数据做参考。）

c. 数据要结合整个流程。

到本页面的流量占前一级页面总量的多少？本页面的流量来源是哪些页面，后续又去了哪里？我们称之为“流量漏斗”，可以对比出哪个环节是真正的短板。另外，如果单看“点击率”显然也没有价值，因为“点击率”既不是商业指标也不是体验指标，点击率高是否点击后的场景转化率高？点击率低是否是因为模块没有被露出？都是要考虑的因素。

举个例子。做了一个改版后，用户在页面的“平均停留时长”从60s变为45s，请问是好还是不好？

答案是不知道。说好，可以说用户在页面的效率高，更快完成任务，完成决策；说不要，可以说用户没有在页面里逛起来，信息不够吸引人。

但就像我表述的，没有商业、体验目标做准绳，一切数据指标都将丧失价值。

 

六. 一些踩过的坑

研究模块“曝光率”时，以前的做法是模块只要被服务端展示，就当被看到——这问题在于，像 List 这种长页面，一次加载20个模块，排在后面的其实并没有进入屏幕，但也被计算为曝光，是不合理的。所以有时候，我们会用“翻屏率”说明用户的访问深度，而不是依赖靠后模块的曝光。

客户端也能做到模块出现在“屏幕可视范围内”时才统计为被曝光。但问题在于，如果用户很快地滑动到底部，中间的内容是算曝光了，还是没曝光？所以我们应该规定内容在屏幕可视范围内的停留时间，比如超过1s，才开始计算曝光。

项目上线前，最好像创业一样，制定“退出策略”。所有规则提前订好，不要等上线了再想去改，去下线，那成本远远超出你的想象。毕竟有的人，觉得东西做上去，就完成任务了。

最后，如果可以，请把目标写纸上贴电脑边缘，或者像我同事一样买个桌上的小黑板。时时刻刻提醒自己到底在做什么，为了什么。因为据我自己体验，常常做着做着就跑偏了……