農(nóng)業(yè)銀行緊跟時代發(fā)展的方向，以建設(shè)“讓數(shù)據(jù)說話、用數(shù)據(jù)治行”的生態(tài)環(huán)境為目標(biāo)，依托大數(shù)據(jù)平臺整合全行數(shù)據(jù)，持續(xù)完善數(shù)據(jù)管控機(jī)制，逐步開創(chuàng)出一條農(nóng)業(yè)銀行的數(shù)據(jù)共享服務(wù)之路。

　　創(chuàng)新共享 特色大數(shù)據(jù)平臺

　　農(nóng)業(yè)銀行自2013年啟動大數(shù)據(jù)平臺建設(shè)以來，遵循“統(tǒng)籌規(guī)劃、頂層設(shè)計、共享復(fù)用、分步實施”的建設(shè)思路，搭建了強(qiáng)大、穩(wěn)定、可擴(kuò)展的基礎(chǔ)運行環(huán)境，入庫了海量數(shù)據(jù)，為數(shù)據(jù)融合共享提供了數(shù)據(jù)基礎(chǔ)。

　　第一，搭建了自主可控的大數(shù)據(jù)平臺。在信息技術(shù)“自主可控”的戰(zhàn)略背景下，農(nóng)業(yè)銀行在國內(nèi)首次實現(xiàn)了大型金融商業(yè)公司大數(shù)據(jù)平臺基礎(chǔ)軟硬件的全部國產(chǎn)化，在同業(yè)中率先采用開放式PC Server集群為硬件基礎(chǔ)，以“MPP數(shù)據(jù)庫+Hadoop平臺”混搭結(jié)構(gòu)的方式構(gòu)建了企業(yè)級大數(shù)據(jù)平臺。

　　依托近千節(jié)點的MPP+Hadoop集群環(huán)境，農(nóng)業(yè)銀行已經(jīng)具備了PB級結(jié)構(gòu)化數(shù)據(jù)處理、EB級非結(jié)構(gòu)化數(shù)據(jù)處理以及實時流數(shù)據(jù)處理的能力，在業(yè)界處于領(lǐng)先地位；基于MPP數(shù)據(jù)庫大規(guī)模分布式并行計算的優(yōu)勢，1000億行以上的大數(shù)據(jù)量表做復(fù)雜分析運算達(dá)到了分鐘級響應(yīng)；在每日1TB數(shù)據(jù)增量、月末2TB數(shù)據(jù)增量的壓力下，大數(shù)據(jù)平臺可以穩(wěn)定保持T+1的批量處理能力，為大數(shù)據(jù)的共享應(yīng)用提供了強(qiáng)大系統(tǒng)保障。

　　第二，入倉、整合了海量數(shù)據(jù)。銀行的數(shù)據(jù)主要來自于核心業(yè)務(wù)系統(tǒng)、賬務(wù)核算系統(tǒng)、渠道交易、客戶營銷和流程審批等系統(tǒng)，但單獨一個系統(tǒng)的數(shù)據(jù)稱不上數(shù)據(jù)資產(chǎn)，必須再整合所有的數(shù)據(jù)，形成統(tǒng)一的業(yè)務(wù)和客戶視圖才可稱之為資產(chǎn)，其整體才能構(gòu)成大數(shù)據(jù)。農(nóng)業(yè)銀行由管理信息部牽頭，統(tǒng)籌了對公、零售、銀行卡、電子銀行、金融市場、風(fēng)險管理、經(jīng)營分析等各條線，以及各分支機(jī)構(gòu)、子公司的數(shù)據(jù)來源系統(tǒng)、業(yè)務(wù)規(guī)則、應(yīng)用需要。經(jīng)過近四年的努力，入倉源系統(tǒng)135個，源表7883張，僅行內(nèi)結(jié)構(gòu)化裸數(shù)據(jù)就已達(dá)1.8PB，并且形成了數(shù)據(jù)持續(xù)入倉的常態(tài)化機(jī)制。

　　在緊抓行內(nèi)數(shù)據(jù)入倉的同時，農(nóng)業(yè)銀行也不斷積極拓展外部數(shù)據(jù)來源。目前已經(jīng)入倉了客戶風(fēng)險共享數(shù)據(jù)、公安部經(jīng)偵局全國經(jīng)濟(jì)犯罪信息、最高法院失信被執(zhí)行人信息，以及行外互聯(lián)網(wǎng)新聞、主流論壇、社交媒體相關(guān)的Web非結(jié)構(gòu)化數(shù)據(jù)；司法、工商、海關(guān)、農(nóng)業(yè)，以及Wind、Bloomberg等外部資訊平臺的數(shù)據(jù)也在持續(xù)采集積累中；基于和百度合作開展的聯(lián)合實驗室項目，農(nóng)業(yè)銀行也在積極研究相關(guān)外部數(shù)據(jù)的共享使用方式。

　　質(zhì)量安全 保障共享服務(wù)

　　第一，數(shù)據(jù)質(zhì)量管理是創(chuàng)造數(shù)據(jù)價值的前提。農(nóng)業(yè)銀行在大數(shù)據(jù)平臺建設(shè)之前，數(shù)據(jù)分布散、質(zhì)量差、管理弱、共享難的問題比較普遍，數(shù)據(jù)質(zhì)量管理工作的職責(zé)也不清晰，數(shù)據(jù)低質(zhì)量導(dǎo)致應(yīng)用低效能的問題很突出。為了解決應(yīng)用中的痛點問題，從數(shù)據(jù)共享使用的實際需求出發(fā)，農(nóng)業(yè)銀行先后開展了客戶信息完整性、信貸業(yè)務(wù)跨系統(tǒng)一致性、同業(yè)業(yè)務(wù)一致性等主題相關(guān)的140多項專題數(shù)據(jù)問題整改工作，涉及一級部門33個，修正客戶及業(yè)務(wù)記錄5000余萬條，將個人客戶9要素平均合格率、對公客戶12要素平均合格率提高至90%以上，數(shù)據(jù)治理的持續(xù)推進(jìn)為數(shù)據(jù)共享服務(wù)打下堅實基礎(chǔ)。

　　在數(shù)據(jù)問題治理工作中，農(nóng)業(yè)銀行逐步探索形成了“監(jiān)測-整改-跟蹤-評價”的閉環(huán)管理模式。質(zhì)量定期監(jiān)測是抓手，收集實際工作中遇到的數(shù)據(jù)問題，并基于此設(shè)置檢查點、檢查規(guī)則來收集數(shù)據(jù)問題的整體情況是質(zhì)量管理工作的切入點；問題整改是核心，對發(fā)現(xiàn)的數(shù)據(jù)問題實行“清單制”管理，沿著“發(fā)現(xiàn)問題-分析原因-落實整改”的路徑，持續(xù)推進(jìn)落實；問題持續(xù)跟蹤是關(guān)鍵，質(zhì)量管理不是一次性工作，加強(qiáng)過程管理，持續(xù)反復(fù)的對數(shù)據(jù)問題考察，才能有效推進(jìn)數(shù)據(jù)問題的徹底解決；考評機(jī)制是推動力，農(nóng)業(yè)銀行建立了“橫向評價、縱向考核”機(jī)制，橫向上以質(zhì)量報告為抓手，定期通報各部門主管數(shù)據(jù)的質(zhì)量管理工作進(jìn)展，縱向上以分行數(shù)據(jù)質(zhì)量考核為抓手，將質(zhì)量問題的責(zé)任逐級落實到經(jīng)辦行和個人。同時，農(nóng)業(yè)銀行非常重視質(zhì)量管控工作的信息化，建設(shè)了數(shù)據(jù)質(zhì)量管控平臺，將數(shù)據(jù)質(zhì)量管控的四個環(huán)節(jié)內(nèi)嵌固化到平臺中，實現(xiàn)了數(shù)據(jù)質(zhì)量監(jiān)測、問題分發(fā)確認(rèn)、整改任務(wù)跟蹤、考核評價查詢一站式服務(wù)。目前數(shù)據(jù)質(zhì)量管控平臺已經(jīng)積累質(zhì)量檢查規(guī)則上千條，發(fā)布數(shù)據(jù)質(zhì)量監(jiān)測報告十余期，成為農(nóng)業(yè)銀行開展數(shù)據(jù)質(zhì)量管控的有力抓手。

　　回顧農(nóng)業(yè)銀行數(shù)據(jù)質(zhì)量管理的工作實踐，我們有兩點體會。一是該工作是一項全行性的基礎(chǔ)工作，關(guān)系到總分行各條線各項業(yè)務(wù)的客戶、產(chǎn)品、系統(tǒng)和流程，需要高管層支持，從全行層面出發(fā)，發(fā)動全行力量來共同開展；二是數(shù)據(jù)質(zhì)量管理不能為了質(zhì)量而抓質(zhì)量，在工作開展時以營銷、風(fēng)控、監(jiān)管統(tǒng)計、數(shù)據(jù)分析等具體應(yīng)用工作為切入，尋找同數(shù)據(jù)主管各業(yè)務(wù)部門的價值契合點，變“要你管”為“你要管”，提高了各數(shù)據(jù)主管業(yè)務(wù)部門的積極性。

　　第二，安全防護(hù)體系構(gòu)成了數(shù)據(jù)共享服務(wù)的底線。為了確保大數(shù)據(jù)平臺數(shù)據(jù)服務(wù)的安全合規(guī)，守住數(shù)據(jù)服務(wù)的底線，農(nóng)業(yè)銀行規(guī)劃構(gòu)建矩陣式的數(shù)據(jù)安全防護(hù)體系，橫向貫穿事前、事中、事后全流程，縱向覆蓋管理、技術(shù)、法紀(jì)三道防線。

　　管理防線是第一道防線，通過建立嚴(yán)格的用戶準(zhǔn)入和授權(quán)機(jī)制、明確敏感數(shù)據(jù)的范圍和責(zé)任主體、建立常態(tài)數(shù)據(jù)安全檢查和審計機(jī)制來降低數(shù)據(jù)泄露風(fēng)險；技術(shù)防線是第二道防線，采用數(shù)據(jù)云存儲、敏感數(shù)據(jù)漂白加密、敏感操作實時預(yù)警等手段，發(fā)揮技術(shù)規(guī)則剛性約束作用，封堵數(shù)據(jù)泄露漏洞；法紀(jì)防線是第三道防線，依托安全規(guī)范、保密協(xié)議、合規(guī)培訓(xùn)的落地實施，明確保密責(zé)任和違法懲罰措施，起到威懾作用。基于矩陣式安全管理的工作思路，農(nóng)業(yè)銀行進(jìn)一步細(xì)化落實了18大類的具體工作措施以便依照執(zhí)行，并在后續(xù)不斷優(yōu)化完善。

　　創(chuàng)新數(shù)據(jù)服務(wù)體系

　　第一，一個平臺。數(shù)據(jù)服務(wù)平臺是提供統(tǒng)一服務(wù)的窗口。農(nóng)業(yè)銀行數(shù)據(jù)服務(wù)平臺為日常經(jīng)營管理和數(shù)據(jù)分析挖掘提供一站式服務(wù)。日常經(jīng)管類服務(wù)以權(quán)威性、一致性、時效性、易用性為導(dǎo)向，面向中高級管理層、各領(lǐng)域業(yè)務(wù)管理和營銷用戶提供業(yè)務(wù)看板、常用指標(biāo)、多維查詢、定制查詢等場景化服務(wù)，大幅提升用戶體驗和數(shù)據(jù)共享服務(wù)水平；分析挖掘服務(wù)定位為大數(shù)據(jù)分析創(chuàng)新服務(wù)，為總分行初、中、高級分析師提供定制分析、自助分析、深度挖掘等專業(yè)分析能力，充分發(fā)揮分析師的創(chuàng)造力，深度挖掘數(shù)據(jù)共享服務(wù)的價值。

　　第二，一套機(jī)制。為保障數(shù)據(jù)服務(wù)的開放、共享、便捷、安全，需要一整套數(shù)據(jù)運營管理的制度、機(jī)制和流程。農(nóng)業(yè)銀行通過數(shù)據(jù)服務(wù)地圖和數(shù)據(jù)服務(wù)流程管理，方便用戶接觸數(shù)據(jù)、理解數(shù)據(jù)、使用數(shù)據(jù)；通過數(shù)據(jù)資產(chǎn)和數(shù)據(jù)質(zhì)量管理，實現(xiàn)對數(shù)據(jù)的全生命周期管理，提高數(shù)據(jù)的可用性；通過管理手段和技術(shù)措施聯(lián)動，加強(qiáng)數(shù)據(jù)安全管理，確保在數(shù)據(jù)服務(wù)和應(yīng)用過程中數(shù)據(jù)不泄露。

　　第三，一支隊伍?？鐥l線的分析師隊伍結(jié)構(gòu)是數(shù)據(jù)價值發(fā)揮的關(guān)鍵。農(nóng)業(yè)銀行的分析師隊伍包括數(shù)據(jù)分析師和專業(yè)分析師，組織方式采用“適度集中+重點領(lǐng)域”的方式，即在管理信息部和科技部門設(shè)置一定數(shù)量的數(shù)據(jù)分析師，在營銷、風(fēng)控等條線及分行設(shè)置專業(yè)分析師。數(shù)據(jù)分析師統(tǒng)籌全行數(shù)據(jù)服務(wù)和支持，承擔(dān)全行綜合性分析、跨領(lǐng)域?qū)ｎ}分析、深度數(shù)據(jù)挖掘等；專業(yè)分析師承擔(dān)本領(lǐng)域數(shù)據(jù)分析工作，推動分析成果在業(yè)務(wù)活動中的落地。

　　下一階段，農(nóng)業(yè)銀行將以大數(shù)據(jù)平臺為基礎(chǔ)，以數(shù)據(jù)分析示范項目為抓手，驅(qū)動數(shù)據(jù)服務(wù)體系建設(shè)滾動前進(jìn)，實現(xiàn)海量數(shù)據(jù)資源的充分共享，挖掘大數(shù)據(jù)的深度價值，向建設(shè)“讓數(shù)據(jù)說話、用數(shù)據(jù)治行”生態(tài)環(huán)境的目標(biāo)邁進(jìn)。

　　中國農(nóng)業(yè)銀行管理信息部總經(jīng)理 孫建平

關(guān)注讀覽天下微信， 100萬篇深度好文， 等你來看……