如何保证从数据仓库取出的数据质量?

环球青藤 2020/09/29 07:45

一、了解数据仓库的表

在接到一个数据分析的任务时，第一件时间就是找到相关数据的负责人，拿到存储数据的表和文档。一般金融公司会有几个部门：DEV、DE、BI、DS。作为DS的建模人员，去问谁才能获得最准确的信息呢?

这里大部分人会选择问DS内部的同事或者BI，因为都是做数据分析，大家也比较熟悉。但事实上，DS和BI都不是数据质量负责的人;很多时候，数据表的变动他们是不清楚的，询问他们大概率拿到的信息都不能保证权威性。在初步了解一个数据的时候，作为DS，其实最佳的询问对象是DE。因为DE是负责把DEV做的生产数据库的表拉到数据仓库，并构建数仓表的负责人，他们对表的结构和数据的变动是最有发言权的。

二、整理表和表之间的逻辑关系

在找到DE的负责人后，需要他们提供数据表对应的文档，然后整理出这些表之间的逻辑关系，一般数仓表都会有维度表和明细表两大类，常见的套路就是维度表去关联明细表。

三、理解用户数据在数据仓库的落库逻辑

在熟悉了数据表里的字段和表的相互关系后，接下来就需要感受数据在业务逻辑中的流动和落盘。一个数据老鸟在和业务沟通时候，会在脑子里带着表结构去询问业务的SOP。

当业务说用户注册账户，脑子里就要想着在用户维度表增加一行，用户注册的相关信息会被记录在这个维度表里。然后用户填写相关的表格提交信息，就会知道我们收集的用户信息会按SOP流程在规定的时间落盘在用户信息表中。其中哪些信息是必须非空的，哪些是可以有缺失的，缺失的时候数据表里是None值还是默认值。

关于我们怎样保证从数据仓库取出的数据质量，青藤小编今天就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。