大数据平台001-数据埋点

数据埋点如何实现?

一、可以通过第三方平台来完成,比如诸葛io、growing io、神策等
二、自埋点之全自动化埋点
三、自埋点之手动埋点
四、自埋点之半自动化埋点

不建议第三方平台,由于要做到通用他们支持的功能是有限的并且不提供元始数据。
建议全自动化埋点,因为不太希望新增或修改页面时要增加额外的埋点工作量,虽然对于数据平台来说手动埋点更加的精准和方便一些。
所以以下篇幅都是介绍全自动埋点

数据埋点要解决什么问题?

数据平台的原始数据分为两类,一种是业务数据一种是行为数据
业务数据:主要来源于业务数据库快照,一般回顾过去,用于做报表分析
行为数据:主要来源于埋点,一般是预测未来,用于增加用户体验的
只是通常是这样,但有时也可以做交叉分析,相互服务。

数据埋点的维度也可以是多维度的,如:
IOS/安卓/浏览器,合起来也被称为三端埋点,主要用于记录用户的行为数据,简单的用法如 PV、UV、用户粘度、使用时间分布、路径深度等,可以为用户画像多增加一些指标,也可以单独拿出来展示
服务器埋点,主要收集各服务的使用情况,错误信息等,接口性能等。当然你也可以通过ELK的方式来实现,不过数据放入平台的价值会更大,可以做更加复杂的计算。可能通过数据埋点到数据流中间件,然后ETL到elaticsearch中。 当然适合你的就是最好的,根据自己的需要决定。尽量做到正好够用并且又容易做后期的扩展。

埋点注意事项?

一、质与量之间取个平衡,信息量大固然是好的,但是用户流量也很重要
二、数据格式定义要简洁,即要兼顾埋点的复杂度也要兼顾数据格式带来的信息体增量,我当时是连json都没用,直接用分隔符来与数据平台约定,精简到了极致。但是这个要取决于你的情况,也许你的用户场景并不担心信息体大小的问题。
三、三端格式要统一,其实不统一也没关系,后台计算就要分开,好的约定可以节约计算成本。

埋点数据如何解析?

之前说了,是全自动埋点,这就意味着你新增一个页面,组件的底层就已经把点位自动编号给上传到云端了,但是这个编号代表什么,只有那个开发人员知道。
所以这事还没完,后续还要有几个步骤:
一、数据上传到平台后需要数据平台要把新的埋点数据类型给回传到RDS
二、数据平台需要把新的埋点数据显示到前端管理页面
三、相应开发人员在这里把点位编码给取个别名
四、产品经理可以通过这个别名去理解数据,做些数据查看或是数据的自动化分析

篇外:说到自动化分析这又是另一个大的话题

要点是: 元数据管理、通过元数据来对数据市场进行接口统一、接口支持用户自定义计算工式

数据平台可以有多强大,数据源的质量是一个重要环节,好的数据源可以让你的数据平台更加的强大


如果我的文章对您有帮助,我恭喜你
如果对我的文章有任何的疑问或批评,我特别感谢你,即使你不确定也请大胆的说出来

生命不止,let’s go go go !

猜你喜欢

转载自blog.csdn.net/wangqiang9x/article/details/84570744