伟德BETVLCTOR网页版

资讯中心

资讯中心

数据治理的战略

作者： 时间：2021-12-10 泉源： 字号：大 中 小


01

前言

为什么想开这个话题 ，一是由于现在业内数据产品也基本完成了从0-1的建设事情 ，但主要集中在数据生产加工和数据应用剖析两侧 ，关于数据管治偏向的建设多疏散在了包括清静、指标元数据、SLA等在内的各个环节 ，缺乏统一的妄想统筹 ，笔者以为 ，数据产品可以分为工具类数据产品、营业剖析类数据产品和管控治理类数据产品三类 ，而工具类数据产品和营业剖析数据产品市面上也最先趋近饱和 ，但管控治理类数据产品着实是更高能力要求的一个细分工种 ，既需要懂工具建设也需要懂数据剖析 ，还需要具备跨多团队横向协调的项目推动能力和战略运营能力；二呢 ，笔者一经就做过一次失败的大治理事情 ，也做过一次相对乐成的清静治理事情 ，也加入过指标监控、清静工具等的建设 ，以是也想把这其中那的乐成和失败的履历分享出来供各人参考。

02

看法界说

凭证笔者的研究 ，现在业内数据治理总结起来一共分为两类 ，一类是狭义的数据治理 ，是指数据指标口径一致性的治理 ，此类数据治理主要是解决指标口径的一致性 ，解决数据“禁绝”的问题 ，也由此引申出一些智能数仓、指标元数据工具 ，好比美团的起源、快手的盖亚、阿里的dataphin等等；另一类是指广义的数据治理 ，是指包括数据指标口径治理、数据清静治理、数据资源本钱治理、数据资产元数据治理、数据产出治理等在内的大治理 ，此类数据治理是需要综合解决数据从收罗加工到应用剖析再到销毁全生命周期内的口径、本钱、清静、合规和产出问题 ，在工具建设上 ，现在笔者看到的多是疏散在数据清静、资产中心、SLA中心等差别的产品领域。

03

结论先行

这次笔者就不卖关子了 ，直接抛看法 ，笔者以为 ，数据治理战略层面的设计总结就两点：

第一 ，数据治理是一个系统性工程。数据治理主要面临三个问题 ，一是用户心智作育问题 ，二是组织包管问题 ，三是系统提效问题 ，以是 ，纯粹从组织包管层面发力碰面临效率和质量不高本钱却奇高的问题 ，纯粹从运营机制建设层面发力碰面临缺乏组织和工具来落地战略的问题 ，纯粹从建设工具发力碰面临缺乏组织抓手且找不到焦点使用用户 ，需求无法进入正向循环的问题。以上问题一句话总结就是靠组织无法恒久有用 ，靠运营无法落地实验 ，靠工具又缺乏用户和需求一连跟进 ，因此 ，数据治理是一个需要组织包管、运营实验和工具建设三位一体跟进的事情。

第二 ，数据治理又是一个抓大放小的工程。天下实质是一个熵增的历程 ，即任何事物实质是一个自觉的由有序向无序生长的历程 ，这个既是人性也是客观纪律 ，而数据治理实质是减熵的历程 ，是建设秩序 ，因此任何的治理自己是逆人性和逆客观纪律的 ，需要源源一直投入能量（资源）才华维持熵值平衡。但问题就在于 ，人性自然有建设性和破损性两面 ，想要秩序的保存并维持下去 ，自己就是需要投入很是大的建设精神和本钱的 ，并且这个本钱还不是一成稳固的 ，它是随着公司资产的累加而增添的 ，也是会随着公司战略、制度和文化的刷新转变而转变的 ，因此 ，数据治理工程中追求完善主义是不可取的 ，我们要学会分类分级 ，学会判断优先级 ，学会抓大放小 ，允许有序和无序的并存。

04

问题剖析

数据治理究竟解决什么问题？或者说什么问题的保存才需要数据治理？首先 ，我们来场景化模拟下数据从降生到销毁的一生中遇到的主要问题。

场景1：小明是A视频公司的战略产品司理 ，事情职责之一就是剖析用户的特点和行为习惯 ，从而资助算法工程师优化视频推荐战略 ，从而提高用户对视频APP的使用黏性。这天 ，小明抽样了部分用户浏览行为数据 ，发明部分用户单位时间内视频切换速率较高 ，停留时长较短 ，且点赞和关注数都较少 ，小明推测是算法推荐的质量有问题 ，小明找了算法RD ，算法RD却回复最近视频推荐的准召率（准确率和召回率）没有问题 ，并没有泛起下降 ，一定不是算法的问题 ，是视频内容质量的问题 ，或者是抽样数据的问题。小明很苦恼 ，为什么数据剖析下来 ，小明以为用户对视频的喜欢度是不敷高的 ，但研发说准召率却没问题 ，那问题出在哪？

场景2：小红是B咨询公司的新来的数据剖析师 ，最近她接到一个使命 ，需要为客户的一个市场咨询报告提供数据剖析支持 ，因此小红从营业司理那里相识完需求后 ，最先从公司数据库和第三方数据库获取数据 ，但事情却一波三折 ，就单单在营业数据剖析的界说上就往返相同了好一再 ，营业司理告诉小红她想知道a指标的数据 ，小红翻阅了前人关于a指标的统计口径纪录发明 ，a指标居然有不下10个统计口径 ，诸如a1字段在x1维度下的聚合、a2字段在x2维度下的聚合等等 ，究竟应该遵照哪个规范？效果咨询一堆同砚 ，发明每一个口径都有特定的需求配景和定制化规则 ，这一通忙活。。。

场景3：小东是C公司的数据RD ，最近他经常三更被种种数据跑批使命延迟和失败告警给吵醒 ，原来是公司最近要迎接618 ，活动量的爆炸式增添导致营业数据量的爆炸式增添 ，而营业报表的数据统计逻辑和背后的数据源却没有实时优化 ，导致集群盘算资源缺乏以支持暴涨的需求而泛起使命延迟或者失败的情形 ，这个情形又影响了营业报表的数据实时展示 ，影响了公司各营业KP邮件报表的实时性。

场景4：小阳是D公司的清静运营 ，最近公司上线了一个新营业 ，和已经上线的几家公司形成了假正经关系 ，然后他最近经常收到市场情报反响 ，竞品公司能迅速感知到公司的投放数据和增添数据 ，究竟是哪个环节出了问题 ，为什么竞品公司能这么快知道公司焦点数据神秘 ，这让他最近压力倍增？

剖析以上问题 ，场景1着实是数据指标准确性的问题 ，场景2的问题主要是数据指标规范性和唯一性的问题 ，场景3主要是数据产出实时性的问题 ，而场景4是数据清静性的问题 ，以上 ，笔者以为都属于数据治理需要解决的问题。

05

治理目的


综上 ，数据治理的目的主要是解决以下四方面的问题：


  • · 规范治理：解决数据完整性、规范性和唯一性问题
  • · SLA治理：解决数据产出实时性问题
  • · 口径治理：解决数据指标准确性和口径一致性问题
  • · 清静治理：解决数据收罗生产应用各环节中账号注册认证、权限管理、清静审计和隐私�；さ惹寰仓卫砦侍�


06

战略概述


1.? 建设数据治理委员会 ，提供立法和组织包管：

·? ? 建设治理制度执委会 ，认真研究和出台相关治理制度和规范标准 ，目的是促成公司内各个营业团队告竣共识 ，形成统一规范 ，阻止信息孤岛

·? ? 建设治理产品执委会 ，认真梳理数据各环节的需求处置惩罚流程和营业流转流程 ，认真各环节的治理工具建设 ，形成可执行计划 ，然后报制度执委会推行

·? ? 建设治理手艺执委会 ，认真数据各环节的手艺界说、模子设计和口径维护 ，对数据资产的落库规范性和唯一性等认真

·? ? 建设第三方治理审计监察组 ，认真治理效果的评估、badcase的运营跟进和事后追溯审计

2.? 建设数据治理套件 ，提供工具包管：

·? ? 建设资产治理中心 ，目的是为解决数据元信息的完整性、规范性、唯一性提供手艺支持

·? ? 建设SAL治理中心 ，目的是为解决数据生产加工使命产出的实时性和使命调理的运维提供手艺支持

·? ? 建设指标治理中心 ，目的是统一指标界说、指标生产和服务 ，解决指标口径一致性和服务的效率问题

·? ? 建设清静治理之心 ，目的是为数据清静5A领域）（账号、认证、授权、审计、隐私�；ぃ┑奈侍馓峁┦忠罩С�

07

战略详述


1? 流程包管战略

bevictor伟德官网 - 韦德官方网站

图1：数据治理流程包管妄想示意图

思绪：如上图所示 ，数据治理流程包管妄想整体思绪参考PDCA循环 ，即制订详细规范计划 ，然后去验证并解决问题 ，接着检盘问题是否真实被基础解决 ，最后凭证反响再继续爹迭代计划 ，进入下一个循环。

机制：如上图所示 ，数据治理流程包管妄想整体解决机制上分为三个部分 ，划分是事前预防 ，事中监控和事后处置惩罚。第一部分的目的是只管将潜在问题在未爆发前就祛除掉；第二部分的目的是只管将问题都找出来 ，镌汰影响规模；第三部分的目的是对袒露出的问题举行快速响应息争决 ，并总结履历。

整体流程：如上图所示 ，数据治理流程包管妄想整体流程上将以解决数据质量六性问题（唯一性、规范性、完整性、准确性、实时性、清静性）为目的 ，凭证“规范建设-质检审查-发明问题-评估问题-解决问题-验收问题”的闭环流程 ，贯串整个事前、事中和事后的环节。

详细实验：如上图所示 ，数据治理流程包管妄想的详细实验细则上 ，会重点依托易龙的“数据治理五大项目�？椤� ，然后每个�？槎计局ぁ肮娣督ㄉ�-质检审查-发明问题-评估问题-解决问题-验收问题”的闭环流程举行梳理和妄想。

1.1 界说理想态

①发明问题

·? ? ? 召回率（笼罩率）100%

·? ? ? 准确率100%

指标释义：

召回率（笼罩率）：召回率又叫笼罩率 ，是指所有真实保存的问题中 ，系统或者人工检测出的问题占比。例如一共100条数据 ，其中20条保存异常 ，系统报警显示有30条保存问题 ，事后被验证30条报警中真实保存问题的有10条 ，则召回率（笼罩率）=10/20*100%=50%

准确率：是指所有被系统或者人工检测出的问题中 ，真实保存问题的占比。例如一共100条数据 ，其中20条保存异常 ，系统报警显示有30条保存问题 ，事后被验证30条报警中真实保存问题的有10条 ，则准确率=10/30*100%=33.3%

注重： 理论上最理想的状态就是一次监控使命中 ，所有问题都被发明 ，且所有报警的数据中没有掺杂虚报情形 ，也就是召回率抵达100% ，准确率为100%。可是现实场景中 ，这样的理想情形险些是不保存的！ 太过追求高召回率 ，监控规则一定会设置的异常简朴 ，那往往会有许多正常的波动会被系统判断为“异常”；同理 ，太过追求高准确率 ，监控规则一定会设置的异�？量� ，那自然被报警的数据都是保存异常的 ，准确率100% ，可是这样往往许多异常数据会被监控系统给遗漏 ，漏报率就会异常的高！

因此 ，优异的监控系统都是凭证现实场景一直在找寻召回率和准确率间的平衡点。

②解决问题

·? ? ? 响应时长：24小时内响应问题

·? ? ? 定位问题：3天内完成问题的定位

·? ? ? 解决问题：2周内彻底解决问题

③数据通道质量

·? ? ? 丧失率<0.1%

·? ? ? 重复率<0.1%

·? ? ? 延迟率<0.5%

1.2 规范建设

①唯一性

·? 指标、纬度、模子、库表、数据、报表的唯一

·? ID唯一

·? 名称唯一

·? 界说唯一

·? 加工逻辑唯一

·? 产出渠道唯一

·? 相似的指标、纬度、模子、库表、报表做减法 ，镌汰冗余

②规范性

·? ? ? 流程规范

·? ? ? 需求→评估→处置惩罚→测试→上线→验收环节严酷执行

·? ? ? 数据和流程double check

·? ? ? 测试、试验验证数据质量和流程执行情形

·? ? ? 日志、库表、模子、报表、代码有统一的设计和输出规范 ，信息齐全、分层合理、资源使用合理

③完整性

·? ? ? 日志、库表的元信息完善 ，灰度测试阶段只有空值率、异常值占比、分区缺失等指标及格后方可上线宣布

1.3 发明问题：监控系统建设

如图2和图3所示 ，关于主要级别的日志、指标、库表数据 ，除了粗粒度的质检外 ，还需要天天举行越发严酷和科学的监控 ，以提前发明问题并推动解决：

bevictor伟德官网 - 韦德官方网站

图2：数据埋点质量监控报表

bevictor伟德官网 - 韦德官方网站

图3：数据指标准确性监控报表

①完整性（是否缺失或不可用）

·? 日志

·? 丧失率

·? 库表

·? 丧失率

·? 分区缺失

·? 信息缺失（0、空值、NULL）

②准确性

·? 营业侧

·? 相同指标差别报表间建设交织验证

·? 相同报表差别指标间建设逻辑验证

·? 相同报表相同指标建设波动验证

·? 手艺侧

·? 埋点间的交织验证

·? 多层库表间相同指标交织验证

·? 明细层和统计层建设数据量、行数、盘算效果的比对验证

③实时性

·? 日志上报

·? 有用上传率

·? 延迟率

·? 资源使用

·? 目今占用占比

·? 剩余资源占比

·? 使命调理

·? 完成率

·? 失败率

·? 延迟率

1.4 问题分级

①监控分级

·? 对营业的影响度

·? 模子、库表、报表使用热度

·? 作业耗时热度

·? 故障分级

②预警分级

·? 蓝色预警

·? 黄色预警

·? 红色预警

③报警方法

·? ?电话

·? ?邮件

·? ?短信

·? ?企业微信

1.5 事后处置惩罚

①问题跟踪处置惩罚

·? ?问题分发（按营业、主题、部分等划分问题归属）

·? ?问题跟踪

·? ?问题缘故原由追溯

·? ?问题解决排期

·? ?问题解决反响

②问题验收

·? ?营业验收

·? ?监控系统验收

③定责存档

·? ?事故品级划分

·? ?事故存档

2组织包管战略

bevictor伟德官网 - 韦德官方网站

图4：数据治理组织包管妄想示意图

责任划分：以“规范建设-质检审查-发明问题-评估问题-解决问题-验收问题”的闭环流程为切入点 ，将“需求妄想组、模子工程组、质检监控组、审计评估组、数仓工程组、应急响应组”划分派属到对应的环节中去 ，以提供流程执行的组织人力包管。

平台支持：重点建设埋点管理平台、元数据管理平台、质检监控平台、工单管理平台 ，为各流程环节中的组织人效提供资助和支持。

详细实验：如上图所示 ，数据应用PM、数据平台PM和模子工程师将对整个数据治理组织清静台的康健高效运转认真 ，并对其向数据治理委员会汇报。

2.1 建设数据治理委员会 ，提供立法和组织包管

·? ? 建设治理制度执委会 ，认真研究和出台相关治理制度和规范标准 ，目的是促成公司内各个营业团队告竣共识 ，形成统一规范 ，阻止信息孤岛

·? ? 建设治理产品执委会 ，认真梳理数据各环节的需求处置惩罚流程和营业流转流程 ，认真各环节的治理工具建设 ，形成可执行计划 ，然后报制度执委会推行

·? ? 建设治理手艺执委会 ，认真数据各环节的手艺界说、模子设计和口径维护 ，对数据资产的落库规范性和唯一性等认真

·? ? 建设第三方治理审计监察组 ，认真治理效果的评估、badcase的运营跟进和事后追溯审计

2.2 项目落地实验划分一系列项目小组

·? ? 建设需求妄想小组 ，对所有营业需求的接待和规范认真

·? ? 建设模子工程小组 ，对接数据应用PM ，对数据从营业关联到手艺侧的文档和规范认真

·? ? 建设质检监控小组 ，对数据营业测试和手艺测试的实验认真 ，对数据上报的质量筛查认真 ，对数据质量的监控认真

·? ? 建设审计评估小组 ，对上报的问题评估定级认真 ，对问题的合理分发和处置惩罚希望认真

·? ? 建设数仓工程小组 ，对数仓的规范建设认真 ，对问题的修复认真

·? ? 建设应急响应小组 ，对紧迫高优先级的需求快速高质量认真

3运营思绪

数据治理项目妄想地图横向一共分为机制、流程包管、细则、责任划分、工具平台和各个子项目�？椋òㄈ罩韭竦隳？椤⑼ǖ来淠？椤⒛谌莨娣赌？椤⒓庸だ棠？椤⒂镆褰缢的？椋�

数据治理项目机制划分为：事前预防——事中监控——事后处置惩罚

数据治理项目流程包管划分为：规范建设→质检审查→发明问题→评估问题→解决问题→验收问题

bevictor伟德官网 - 韦德官方网站

图5：数据治理项目妄想地图

05结语

本期主要从数据治理的问题剖析、治理目的和治理战略举行了叙述


作者：显着美团数据清静与易用性事情组PM ，8次马拉松完赛履历 ，在线教育行业双师直播模式的第一批加入者 ，喜欢《三体》 ，偶像章北海 ，神往“不困豫效果 ，不惧悔未来”的人生 ，立志成为一名受人尊重的产品司理。



链接：https://www.toutiao.com/a6985883413601419787/?channel=&source=search_tab

————————————————————————————————————————————

免责声明：本文转载自网络 ，所发内容不代表本网站态度 ，若有侵权请联系删除。


联系伟德BETVLCTOR网页版
网站地图