| 導語 數(shù)據(jù)是資產(chǎn)的概念已經(jīng)成為行業(yè)共識。然而現(xiàn)實中，對數(shù)據(jù)資產(chǎn)的管理和應(yīng)用尚處于摸索階段，企業(yè)數(shù)據(jù)資產(chǎn)管理面臨價值評估難、數(shù)據(jù)標準混亂、數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)安全威脅等諸多挑戰(zhàn)。互娛從2013年開始啟動此項工作，歷經(jīng)從數(shù)據(jù)管理到治理，再到資產(chǎn)化的轉(zhuǎn)變。自年初起，我們啟動實施大數(shù)據(jù)資產(chǎn)管理體系的建設(shè)，本文分享在此過程中的一些實踐經(jīng)驗與思路。

數(shù)據(jù)是資產(chǎn)的概念已經(jīng)成為行業(yè)共識。然而現(xiàn)實中，對數(shù)據(jù)資產(chǎn)的管理和應(yīng)用尚處于摸索階段，企業(yè)數(shù)據(jù)資產(chǎn)管理面臨價值評估難、數(shù)據(jù)標準混亂、數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)安全威脅等諸多挑戰(zhàn)。互娛從2013年開始啟動此項工作，歷經(jīng)從數(shù)據(jù)管理到治理，再到資產(chǎn)化的轉(zhuǎn)變。自年初起，我們啟動實施大數(shù)據(jù)資產(chǎn)管理體系的建設(shè)，本文分享在此過程中的一些實踐經(jīng)驗與思路。

數(shù)據(jù)資產(chǎn)管理（DAM，Data Asset Management）是指規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務(wù)職能，包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計劃、政策、方案、項目、流程、方法和程序，從而控制、保護、交付和提高數(shù)據(jù)資產(chǎn)的價值。--來源《數(shù)據(jù)資產(chǎn)管理實踐白皮書3.0》，即通過流程、制度、技術(shù)等手段，去提升數(shù)據(jù)升值能力，助力產(chǎn)品成功，最終提升企業(yè)的競爭力。

數(shù)據(jù)資產(chǎn)管理的定位及架構(gòu)如上圖所示，其處于大數(shù)據(jù)平臺（中臺）與數(shù)據(jù)應(yīng)用的中間層，連接著底層的大數(shù)據(jù)平臺（中臺），覆蓋數(shù)據(jù)全生命周期管理，同時為上層數(shù)據(jù)應(yīng)用提供高質(zhì)量數(shù)據(jù)的保障能力。

一、 騰訊游戲大數(shù)據(jù)運營概況 

目前我們互娛增值服務(wù)部服務(wù)于50+款端游，40+款頁游，還有300+多款手游，每日數(shù)據(jù)量級為17000億條，每日數(shù)據(jù)增量約為260TB，總存儲是80PB的規(guī)模。技術(shù)棧是使用自研結(jié)合開源的混合模式，采用了TEG數(shù)平的TDW（騰訊大數(shù)據(jù)倉庫）來構(gòu)建離線數(shù)據(jù)的計算與存儲，結(jié)合自研的高性能分布式計算Bitmap技術(shù)實現(xiàn)多維、下鉆分析。

對于具體的數(shù)據(jù)服務(wù)場景，相信大家對上圖這些界面不會感到陌生。圖中只是我們數(shù)據(jù)增值服務(wù)的部分呈現(xiàn)，包括玩家在游戲里面的歷程、對戰(zhàn)的戰(zhàn)績信息、個人中心、社區(qū)交友、任務(wù)系統(tǒng)等服務(wù)。其中，任務(wù)系統(tǒng)是基于我們實時能力構(gòu)建起來的一個數(shù)據(jù)應(yīng)用。

除此之外，我們還面向IEG內(nèi)部的游戲AI、游戲反外掛系統(tǒng)、鐵算盤、游戲助手、渠道管理等提供數(shù)據(jù)服務(wù)。

二、騰訊游戲數(shù)據(jù)資產(chǎn)管理體系介紹

騰訊游戲數(shù)據(jù)資產(chǎn)管理體系如上圖所示自下而上主要分為元數(shù)據(jù)管理、資產(chǎn)管理四大核心組成、資產(chǎn)管理平臺以及數(shù)據(jù)增值服務(wù)等四個層次。

最底層是元數(shù)據(jù)管理。元數(shù)據(jù)在整個資產(chǎn)管理體系中是最核心的一個部件。我們會定制實現(xiàn)整個元數(shù)據(jù)的標準化，存儲的數(shù)據(jù)包含業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)，提供元數(shù)據(jù)的檢索、開放等能力。

往上一層便是資產(chǎn)管理四大核心部分：

1、價值評估，我們定義出用于評估整個數(shù)據(jù)價值的評估模型以及數(shù)據(jù)度量報告，我們認為這是資產(chǎn)管理中最核心的一個點，可以協(xié)助決策者清楚了解數(shù)據(jù)的價值在哪里，到底有多大。

2、數(shù)據(jù)運營，其覆蓋了整個數(shù)據(jù)生命周期管理，包含數(shù)據(jù)的安全、質(zhì)量、成本等部分，我們也采用了DevOps和AIOps這些業(yè)界先進理念貫穿整個數(shù)據(jù)運營過程，參與這個職能的角色我們也叫DataOps。

3、數(shù)據(jù)治理，此概念更多強調(diào)的是數(shù)據(jù)標準化、制度、流程等這一系列的內(nèi)容。這里不詳細展開。

4、數(shù)據(jù)集成，從數(shù)據(jù)的采集、傳輸、整合、到落地存儲，通過標準化去統(tǒng)一不同類型、格式的數(shù)據(jù)源，按指定規(guī)范去實施轉(zhuǎn)換，并最終落地至統(tǒng)一的大數(shù)據(jù)倉庫，且訪問數(shù)據(jù)采用統(tǒng)一標準，這里采用的是TDW提供的方案。

最上層為資產(chǎn)平臺能力。研發(fā)的思路遵循《數(shù)據(jù)資產(chǎn)管理實踐白皮書3.0》，并結(jié)合我們的服務(wù)場景，提供多樣及個性化的數(shù)據(jù)資產(chǎn)管理服務(wù)。最頂層則為我們提供的數(shù)據(jù)增值服務(wù)，比如我們提供數(shù)據(jù)可視化與分析、營銷活動的支持、消息推送、渠道管理等一系列服務(wù)。以上便是我們數(shù)據(jù)資產(chǎn)管理的技術(shù)體系架構(gòu)。

針對如何去評判我們整個資產(chǎn)管理建設(shè)的能力水平這個問題，我們總結(jié)出“三好”能力模型。首先是“用好”數(shù)據(jù)資產(chǎn)，二是“管好”數(shù)據(jù)資產(chǎn)，三是“看好”數(shù)據(jù)資產(chǎn)。

其中“看好” 資產(chǎn)屬于數(shù)據(jù)安全的范疇。數(shù)據(jù)是企業(yè)里面的核心資產(chǎn)，也涉及了數(shù)據(jù)泄露與用戶隱私等問題，一旦發(fā)生數(shù)據(jù)安全事件，對公司的損失是巨大的，甚至是災(zāi)難性的，所以我們認為“看好” 資產(chǎn)是重中之重。踐行“三好”能力模型的過程中，我們會根據(jù)不同的角色去定義并提供相應(yīng)的服務(wù)能力，我們內(nèi)部資產(chǎn)管理平臺研發(fā)與設(shè)計也是基于此評估模型。

三、騰訊游戲元數(shù)據(jù)管理介紹

元數(shù)據(jù)管理在整個數(shù)據(jù)資產(chǎn)管理中占有舉足輕重的地位，接下來介紹我們是如何對其進行設(shè)計和構(gòu)建的。首先它要具備以下幾個能力特點：

1、數(shù)據(jù)的異構(gòu)適配和集中存儲。隨著公司歷經(jīng)不同的發(fā)展階段，必然會出現(xiàn)多種多樣的技術(shù)棧，則不可避免的產(chǎn)生各式各樣的數(shù)據(jù)類型，比如說關(guān)系型、NoSQL類型，還有一些文本的，一些業(yè)務(wù)接口、業(yè)務(wù)系統(tǒng)等。怎樣去采集并且適配如此之多的數(shù)據(jù)類型，怎樣去描述和定義數(shù)據(jù)，其難度是非常大的，因此我們定義了一個適配層，此做法和業(yè)界主流方案有些類似。具體我們構(gòu)建了一個模型橋接器來實現(xiàn)智能轉(zhuǎn)換，去適配異構(gòu)和集中存儲。

2、元數(shù)據(jù)到底存儲了什么數(shù)據(jù)？舉個例子，游戲行業(yè)是有很多指標去衡量它的運營狀態(tài)。比如說7日留存率，意思是說這個玩家注冊當天往后去推移7天有沒有流失，有些業(yè)務(wù)平臺是按注冊后第二天才開始計算，這樣同一個指標大家就理解不一樣，自然導致計算結(jié)果不一致。所以我們將游戲內(nèi)部累計兩、三千個業(yè)務(wù)指標，連同它的計算邏輯等描述都存儲到元數(shù)據(jù)里面去，然后再開放給所有的業(yè)務(wù)平臺。比如DataMore（智能游戲運營方案）、圖靈（數(shù)據(jù)挖掘分析平臺），一體化（游戲指標開發(fā)平臺）等內(nèi)部平臺，大家都采用一套標準，包括指標名稱及計算邏輯，這樣便可有效避免數(shù)據(jù)不一致的情況。

3、描述數(shù)據(jù)，其為元數(shù)據(jù)的本質(zhì)，在元數(shù)據(jù)管理中發(fā)揮核心作用。我們會定義數(shù)據(jù)的來源，包括責任人，創(chuàng)建與更新時間，分區(qū)號及數(shù)據(jù)字典等一系列的描述信息，以及表與表之間的關(guān)系等。通過數(shù)據(jù)描述模型，數(shù)據(jù)使用者可以看到整個數(shù)據(jù)的全景以及數(shù)據(jù)的描述信息，可大大降低其使用數(shù)據(jù)的成本，最大化利用數(shù)據(jù)的能力，協(xié)助產(chǎn)品做精細化的運營，更好地完成運營KPI。

4、自動構(gòu)建血緣關(guān)系鏈，這是一個非常重要的考核指標，后面會詳細講解。

5、擴展能力，輔助運營。元數(shù)據(jù)不僅包括業(yè)務(wù)的元數(shù)據(jù)，還包括技術(shù)的元數(shù)據(jù)、運維日常工作過程當產(chǎn)生的告警指標及閥值，甚至是AIOps模型的算法等，都會統(tǒng)統(tǒng)存儲至元數(shù)據(jù)中，以輔助我們做好運營，提供運營策略支持。

以上是我們元數(shù)據(jù)構(gòu)建的一些特點。

以上是某游戲元數(shù)據(jù)管理功能截圖，包含一個數(shù)據(jù)全景及數(shù)據(jù)屬性描述的功能，可以清晰看到數(shù)據(jù)責任人歸屬、創(chuàng)建時間、最后變更時間，它的表結(jié)構(gòu)、字段、信息等信息，這些信息對數(shù)據(jù)的使用者而言都是非常有用的。

四、 騰訊游戲數(shù)據(jù)質(zhì)量管理介紹

下面介紹我們構(gòu)建數(shù)據(jù)質(zhì)量體系的過程。不合格、不具備交付價值的數(shù)據(jù)則為垃圾數(shù)據(jù)，所以數(shù)據(jù)質(zhì)量的保障是一個核心點。數(shù)據(jù)質(zhì)量體系的構(gòu)建分為以下四個步驟：

第一，定義數(shù)據(jù)的標準，包括它的格式、類型以及上報模式等均需統(tǒng)一標準化。我們內(nèi)部通過制定好的標準去約束，比如定義一張數(shù)據(jù)表的描述，包含數(shù)據(jù)類型，表名稱，字段類型與長度等，研發(fā)人員則根據(jù)此格式打日志，標準貫穿采集、傳輸、轉(zhuǎn)換、存儲全鏈路。

第二，定義質(zhì)量規(guī)則。此部分同業(yè)界一致，我們也采用完整性、一致性、準確性及延時性等監(jiān)控維度。具體介紹如下：

1、“完整性”，比較好理解，即數(shù)據(jù)不能缺失，不能出現(xiàn)“采集一萬落地八千”的不合格情況，此指標我們采用數(shù)據(jù)對賬的方式去做數(shù)據(jù)驗證。

2、“一致性”，相當于數(shù)據(jù)定義的標準化，意思是怎么讓內(nèi)部所有人按照指定規(guī)則去理解數(shù)據(jù)，且涵蓋各個技術(shù)平臺、業(yè)務(wù)線系統(tǒng)。比如我們定義一個ipv4的IP地址是15位，定義手機號碼為13位的或者國內(nèi)的郵編地址為6位，這個理解上大家肯定是統(tǒng)一的，我們也會將這個標準存儲到元數(shù)據(jù)里面去，各業(yè)務(wù)平臺一起去遵循這個標準。最終達成一致性。

3、“準確性”，數(shù)據(jù)中避免出現(xiàn)亂碼或者不是預(yù)設(shè)類型的值。

4、“及時性”，從數(shù)據(jù)的采集到數(shù)據(jù)應(yīng)用，它的時效性是否滿足業(yè)務(wù)的需求，比如正常打完一個對局時會收到系統(tǒng)推送的一條消息，內(nèi)容可能是一個道具或一個金幣，這個及時性要求是非常高的，絕不允許出現(xiàn)對局完成后兩個小時再把金幣推送出去，這就沒有意義了。這是一項非常重要的數(shù)據(jù)質(zhì)量考核指標，對應(yīng)用層面的影響也是非常敏感的。

第三，質(zhì)量監(jiān)控。定義完這些規(guī)則和標準后，接下來便是質(zhì)量監(jiān)控，包括對帳、心跳、內(nèi)容檢查還有延遲告警等相應(yīng)的保障。

第四，質(zhì)量報告。我們會給產(chǎn)品側(cè)輸出整體數(shù)據(jù)質(zhì)量的趨勢報告，包括同比、環(huán)比及各個質(zhì)量維度的達標率情況等，目前數(shù)據(jù)交付的質(zhì)量都維持在三個九。

總結(jié)來說就是通過業(yè)務(wù)+流程+技術(shù)的手段來實現(xiàn)數(shù)據(jù)質(zhì)量的總體保障。

五、大數(shù)據(jù)資產(chǎn)管理之影響評估&快速定位

上圖為一個非常典型的數(shù)據(jù)實時微服務(wù)的架構(gòu)，從開始的采集到傳輸，再到離線的計算和存儲，還有一條實時分支做數(shù)據(jù)的轉(zhuǎn)發(fā)、透傳、會涉及到消息隊列以及流式計算，然后將數(shù)據(jù)的結(jié)果寫到Tredis（NoSQL）中。寫到NoSQL中的數(shù)據(jù)，來源可能是實時計算或者離線計算任務(wù)。研發(fā)人員會根據(jù)業(yè)務(wù)規(guī)則開發(fā)接口邏輯，調(diào)用數(shù)據(jù)存儲層，接下來研發(fā)會將接口交付至運維人員，進入完整的DevOps全鏈路，最終完成整個數(shù)據(jù)+業(yè)務(wù)邏輯的發(fā)布。整個應(yīng)用過程會遇到幾點問題：

第一點是整個數(shù)據(jù)服務(wù)涉及到的環(huán)節(jié)眾多，只要其中一個環(huán)節(jié)出問題，故障的定位就非常困難。

第二點是業(yè)務(wù)層的數(shù)據(jù)異常回溯，難度更大。比如一個玩家看到戰(zhàn)報數(shù)據(jù)，正常的話應(yīng)該是20級，結(jié)果顯示8級，如何快速確認數(shù)據(jù)從哪算的，經(jīng)過哪個環(huán)節(jié)，屬于哪個業(yè)務(wù)邏輯、哪個項目、哪個邏輯指標以及哪個計算服務(wù)集群等。

第三點就是底層數(shù)據(jù)平臺故障，如何快速評估影響面。比如當離線計算平臺其中一個集群掛了，如何確認影響哪個項目、哪個接口、哪些指標、哪些功能，也無從去判斷跟定位。這里給出的解決方案是通過“數(shù)據(jù)”加“業(yè)務(wù)”的血緣組合來解決。

見上圖，我們的血緣數(shù)據(jù)貫穿從數(shù)據(jù)采集開始到最終的數(shù)據(jù)服務(wù)整個鏈路。首先將采集的粒度細到IP、端口與進程，業(yè)務(wù)表ID、計算的任務(wù)ID、透傳的表ID、計算業(yè)務(wù)指標以及Tredis里面的Key前綴，最終交付給接口的業(yè)務(wù)ID以及集群的ID，均上報至血緣數(shù)據(jù)庫。此時整個解決問題思路清晰可見，無論從上往下還是從下至上，均可輕易地實現(xiàn)問題的快速定位以及影響面的快速評估。

上圖為平臺截圖，是一張普通業(yè)務(wù)的血緣關(guān)系圖。從關(guān)系圖中我們可以快速了解數(shù)據(jù)從采集到應(yīng)用中的全部處理過程，知道其部署資源信息、接口信息以及指標信息等。具備這些能力之后，則可運用其有效輔助運營。如，當一個計算任務(wù)出庫出現(xiàn)延遲，運維人員通過血緣監(jiān)控可快速知悉此延遲可能會影響的項目、接口以及相應(yīng)具體指標，且可快速啟動故障預(yù)案，如跟產(chǎn)品溝通，采取掛公告或補償性的動作等預(yù)案策略。

六、大數(shù)據(jù)資產(chǎn)之生命周期管理

下面探討如何去做數(shù)據(jù)的生命周期管理，首先給出一個結(jié)論：數(shù)據(jù)生命周期管理的策略與數(shù)據(jù)的在線度有關(guān)。

數(shù)據(jù)在線度即為數(shù)據(jù)的活躍度，其隨時間推移，數(shù)據(jù)使用價值的降低不斷衰減，用于數(shù)據(jù)的在線程度和使用衰減情況。數(shù)據(jù)在線度主要受兩個方面因素影響：

第一， 其跟定義數(shù)據(jù)的重要級別有關(guān)系，我們共定義了“收入類”、“流水類”、“在線類”、“行為類”和“性能類”等。其中，“收入類”和“流水類”的重要級別比較高，故而打上四星或者五星的標簽。相應(yīng)的，“行為類”或運維監(jiān)控日志，重要級別則相對沒有那么高，為其打上一星或兩星的標簽。數(shù)據(jù)的重要級別由運營人員根據(jù)運營經(jīng)驗定義。

第二，數(shù)據(jù)的價值，主要參考數(shù)據(jù)的熱度和數(shù)據(jù)的廣度。

數(shù)據(jù)在線度的關(guān)聯(lián)函數(shù)我們定義為：

其中V(t)為數(shù)據(jù)訪問熱度，W(t)為應(yīng)用廣度， I為數(shù)據(jù)重要等級。

七、數(shù)據(jù)價值評估思路“三度”模型

接下來介紹我們做資產(chǎn)價值評估的過程和方案。我們從三年前嘗試做這個事情，經(jīng)歷了兩個階段，第一階段是數(shù)據(jù)的成熟期，第二是研究的觀察期，目前處于灰度放量階段。

在數(shù)據(jù)價值評估具體實施方面，我們提出了從“熱度”、“廣度”、“收益度”等三個維度，按照價值指標、評估模型、價值表現(xiàn)等三大評價流程進行價值評估的架構(gòu)思路。

其中，關(guān)于數(shù)據(jù)的“熱度”，我們內(nèi)部有一個共識，就是“只有當數(shù)據(jù)被使用了才有可能產(chǎn)生價值”，當然這是一個很籠統(tǒng)的說法。第二就是“廣度”，舉個例子，比如我們在國際某個機構(gòu)去發(fā)布一個專利，結(jié)果發(fā)現(xiàn)谷歌也引用了、亞馬遜也引用了，F(xiàn)acebook和其他國內(nèi)的公司也引用了，我們就認為這個專利是有價值的，這個理論相信不少人會認同，同樣我們在內(nèi)部也是采用這樣的思路，“廣度”依賴的是我們的數(shù)據(jù)應(yīng)用及功能模塊，只要跟數(shù)據(jù)耦合程度越高，我們就認為它的廣度就越大。第三就是“收益度”，即數(shù)據(jù)干預(yù)之后帶來多大的收益，比如帶來多少活躍用戶、UV、PV、流水等，這些數(shù)據(jù)直接上報給平臺，通過平臺去做模型評估，加上每個價值點權(quán)重去計算。這里我們通過A/B Test方案去做整個模型的訓練。

做資產(chǎn)管理價值評估需經(jīng)過三個階段，第一是做指標的采集，第二階段是做評估模型的定制，最后一個階段就是價值的表現(xiàn)。我們會在平臺上看它的整個分數(shù)區(qū)間分布。下圖為某個業(yè)務(wù)的熱度跟廣度表現(xiàn)趨勢的情況。

最后總結(jié)一下做數(shù)據(jù)資產(chǎn)評估的意義。

數(shù)據(jù)資產(chǎn)評估是衡量投入產(chǎn)出比的重要依據(jù)。通常我們希望 “價值產(chǎn)出”能做到無限放大，同時我們又希望成本能越小越好、甚至沒有。成本核算的方法主流有“成本法”和“價值法”。其中，“成本法”是以數(shù)據(jù)成本來結(jié)算數(shù)據(jù)服務(wù)，“價值法”則認為數(shù)據(jù)服務(wù)的結(jié)算定價應(yīng)該跟成本無關(guān)，跟價值有關(guān)。具體選擇因場景而定。如我們服務(wù)的是IEG內(nèi)部用戶，數(shù)據(jù)服務(wù)結(jié)算的方式采用的是“成本法”，我們的目標是要助力產(chǎn)品成功，應(yīng)盡可能幫助業(yè)務(wù)減少成本與支出，這樣的方式可以很好提升產(chǎn)品的競爭力。對于面向toB、toC或toG的業(yè)務(wù)場景，這時候用價值法也是合理的，因為這樣的機制有益于企業(yè)利益的最大化。