产品项目的目的无非是两个:用户维系和用户拓展。
用户维系:是对现有用户需求进行挖掘,并对产品进行针对性的优化改进以提高活跃度、降低流失率。此类项目的评估即可从用户周/月活跃度、用户流失率、改进部分的单独的UV、PV量以及用户点击统计等方面来进行评估。
用户拓展:目的的实现方式本质上有两种:1、更好地满足目标用户的需求---从竞品那儿拉人;2、产品运营---让更多的目标用户知道我们的产品。前者的评估方式主要是看UV的一系列统计变化,除此之外还可以通过用户访谈,竞品对比来量化;后者的评估方式就得具体看运营活动的方式来确定评估方式了。
虽然绝大多数项目都不仅仅是单一的维系或者拓展,但PM应该在项目之初确定项目的主要目标。这样在项目结束之后采用与目的相适应的评估方式进行客观分析。
【评估指标】
我把可供分析和评估的数据分成三类:1、核心指标;2、相关统计数据;3、用户体验量化数据。单个项目对这三类数据的影响一般是由小到大。
核心指标一般就是产品的KPI,通常由UV、PV以及产品其他关键指标构成。产品的核心指标通常受多方因素影响,很难说核心指标的变化一定是由单个项目造成的影响。当然如果在新版上线后核心指标数据变化具有统计显著性时(还需要排除其他可能产生较大影响的影响),那说明这个项目确实是非常给力。
相关统计数据一般指可能影响核心指标的一些数据,如下载量/激活量、活跃用户占比、更新量等一些数据。这些数据一般是产品的局部数据,但正因为是局部数据所以更能反映单个项目带来的影响效果。比如这次项目的主要内容是优化了新闻服务,那么单平台单个新闻服务的UV、PV数据更能的反应项目成果。这些局部统计数据是PM需要在项目之初提前重点思考的问题。
用户体验量化数据是指具体某个功能对用户的操作体验的量化分析,包括分析用户操作流、各页面停留时间、用户测试、专家走查等等方式。这方面PM需要和用研工程师、交互设计师一起协作对产品的用户体验进行量化评估。用户体验的量化数据相比其他评估指比所反馈的信息更加局部,同时也是最不容易受其他因素干扰的一种评估指标,所以对于主要内容是优化的项目,这也是最容易反映项目成果的一种评估方式。
不管是那种评估指标,都需要审慎地分析,尽量排除干扰因素,做到诚实、客观。
【分析评估角度】
分析评估时的角度主要指合理运用各种统计学工具对已经掌握的数据进行处理,让这些冰冷的数据说起话来。通常使用的处理方式有以下一些:
1、占比
2、环比:与上一统计段比较,例如2005年7月份与2005年6月份相比较,叫环比;
3、同比:与历史同时期比较,例如2005年7月份与2004年7月份相比,叫同比;
4、横向对比:这里我是指产品线不同平台之间进行对比;
5、纵向对比:这里我是指单个平台内不同服务之间的对比;
6、方差:反应数据变化的稳定度;
7、数据图形化:使数据更容易被理解。
这一部分是我最欠缺的知识,需要多看看统计学相关的书籍学点这方面的知识。
【可能影响项目评估数据的因素】
并不是每个项目做完以后都能得到明确的数据进行支持的。环境往往处于变化之中,使我们的数据无法受项目的单一影响。节日、突发事件、运营活动、行业环境变化、竞品策略调整等等都可能和我们的项目同期对我们的目标指标造成影响。这时候就需要PM思考这些因素对于数据影响的大小,做到尽量合理地对项目进行评估。
近一段时间在看《统计学的世界》,前几章都在介绍如何识别统计数据的误差,并采用各种手段减小误差。知乎上也有一个很热门的问题:“'数据会说谎' 真实例子有哪些?究竟是数据在说谎,还是逻辑在说谎?” 绝大多数人在做数据分析或者数据解读的时候都试图去排除各种干扰、误差。但是在面对实际项目的时候,我相信很多人和我思考到这里时一样,有一点无力感。能客观正确的分析数据所反映的问题确实是一件很不容易的事,我们只能用科学的手段来对它进行处理,并谨慎地去进行验证,最后客观的去解读。我觉得这其中最重要的还是两个字:诚实。