京東（JD.com）自主研發(fā)的分布式文件系統(tǒng)、分布式緩存與高速鍵值（Key-value）存儲服務(wù)目前已經(jīng)成為它開展電子商務(wù)業(yè)務(wù)的基石。

　　作為中國最大的自營式電子商務(wù)企業(yè)，京東用十年的時間，積累了超過4047萬的活躍用戶。2013年，京東的訂單量達到3.222億，成交總額（GMV）超千億元。

　　如今，京東已經(jīng)成為全球PB級數(shù)據(jù)管理俱樂部的成員。而要對PB級的數(shù)據(jù)進行有效的存儲與管理，穩(wěn)健、高效的大規(guī)模分布式存儲體系至關(guān)重要。

　　針對電子商務(wù)業(yè)務(wù)中海量小文件、大文件等數(shù)據(jù)分布式存儲與管理的實際需求，京東從2013年7月開始著手自主研發(fā)分布式文件系統(tǒng)JFS，以及分布式的緩存與高速鍵值存儲服務(wù)Jimdb，目前已經(jīng)取得了階段性的成果。

　　據(jù)京東架構(gòu)委員會主任、云平臺首席架構(gòu)師、系統(tǒng)技術(shù)部負責(zé)人劉海鋒介紹，JFS（即Jingdong File System）已經(jīng)陸續(xù)實現(xiàn)了海量小文件、對象存儲、塊存儲、新圖片系統(tǒng)等功能，此外，元數(shù)據(jù)的結(jié)構(gòu)化存儲以及與Hadoop的集成等問題正處在研發(fā)階段。

　　“京東每天的庫房記錄在十億個數(shù)量級，商品圖片總共有幾十億張。這些文件基本上都是KB級別的，關(guān)系型數(shù)據(jù)庫不太擅長處理這些海量小文件，主要的問題是擴容困難，且需要定期刪除。而使用開源存儲系統(tǒng)也要面臨維護工作繁重，需要定制化開發(fā)等問題?！眲⒑ｄh說。

　　反復(fù)考察后，京東從開源定制開發(fā)轉(zhuǎn)向自行研發(fā)，希望以此實現(xiàn)系統(tǒng)的靈活可控，并且獲得長期、持續(xù)的技術(shù)收益。

　　目前已經(jīng)投入使用的JFS 1.0版本類Paxos算法的強一致性，以及無單點故障、無內(nèi)存索引、透明壓縮等功能，有300余個京東的業(yè)務(wù)應(yīng)用在其上運行。

　　基于內(nèi)存的鍵值存儲方面，京東最早使用的是Redis。當獨立的Redis實例積累到數(shù)千個，分散系統(tǒng)的管理難題也隨之而來。“內(nèi)存超標、啟動慢、難擴展等問題驅(qū)動我們在原有Redis平臺的基礎(chǔ)上去創(chuàng)新?！眲⒑ｄh透露。

　　目前，京東內(nèi)存鍵值存儲系統(tǒng)Jimdb已經(jīng)能夠滿足電子商務(wù)業(yè)務(wù)所需要的精確故障監(jiān)測、自動故障切換、兩級存儲層次、在線縱向擴展和在線橫向擴容等需求，該系統(tǒng)的協(xié)議、數(shù)據(jù)類型全面與Redis兼容。“JFS和Jimdb仍處在持續(xù)研發(fā)的進程之中。在未來，我們希望基于JFS開發(fā)面向文件和對象的統(tǒng)一存儲系統(tǒng)。Jimdb方面，我們希望繼續(xù)完善分布式緩存和快速鍵值存儲的體系。京東的大規(guī)模分布式存儲體系是真正由業(yè)務(wù)規(guī)模驅(qū)動研發(fā)的存儲體系，我們希望對其不斷地進行改進甚至重構(gòu)，從而保持系統(tǒng)的質(zhì)量與活力?！眲⒑ｄh說。

關(guān)注讀覽天下微信， 100萬篇深度好文， 等你來看……