摘要：?本文為您介紹如何利用DataWorks數(shù)據(jù)集成直接從MongoDB提取JSON字段到MaxCompute。

數(shù)據(jù)及賬號(hào)準(zhǔn)備

首先您需要將數(shù)據(jù)上傳至您的MongoDB數(shù)據(jù)庫(kù)。本例中使用阿里云的云數(shù)據(jù)庫(kù) MongoDB 版，網(wǎng)絡(luò)類型為VPC（需申請(qǐng)公網(wǎng)地址，否則無(wú)法與DataWorks默認(rèn)資源組互通），測(cè)試數(shù)據(jù)如下。

{????"store":?{????????"book":?[
?????????????{????????????????"category":?"reference",????????????????"author":?"Nigel?Rees",????????????????"title":?"Sayings?of?the?Century",????????????????"price":?8.95
?????????????},
?????????????{????????????????"category":?"fiction",????????????????"author":?"Evelyn?Waugh",????????????????"title":?"Sword?of?Honour",????????????????"price":?12.99
?????????????},
?????????????{?????????????????"category":?"fiction",?????????????????"author":?"J.?R.?R.?Tolkien",?????????????????"title":?"The?Lord?of?the?Rings",?????????????????"isbn":?"0-395-19395-8",?????????????????"price":?22.99
?????????????}
??????????],??????????"bicycle":?{??????????????"color":?"red",??????????????"price":?19.95
??????????}
????},????"expensive":?10}

登錄MongoDB的DMS控制臺(tái)，本例中使用的數(shù)據(jù)庫(kù)為?admin，集合為?userlog，您可以在查詢窗口使用db.userlog.find().limit(10)命令查看已上傳好的數(shù)據(jù)，如下圖所示。?
?
此外，需提前在數(shù)據(jù)庫(kù)內(nèi)新建用戶，用于DataWorks添加數(shù)據(jù)源。本例中使用命令db.createUser({user:"bookuser",pwd:"123456",roles:["root"]})，新建用戶名為?bookuser，密碼為?123456，權(quán)限為root。

使用DataWorks提取數(shù)據(jù)到MaxCompute

1. 新增MongoDB數(shù)據(jù)源

   進(jìn)入DataWorks數(shù)據(jù)集成控制臺(tái)，新增MongoDB類型數(shù)據(jù)源。?
   
   

   具體參數(shù)如下所示，測(cè)試數(shù)據(jù)源連通性通過(guò)即可點(diǎn)擊完成。由于本文中MongoDB處于VPC環(huán)境下，因此?數(shù)據(jù)源類型需選擇?有公網(wǎng)IP。?
   
   訪問(wèn)地址及端口號(hào)可通過(guò)在MongoDB管理控制臺(tái)點(diǎn)擊實(shí)例名稱獲取，如下圖所示。?
   
   

2. 新建數(shù)據(jù)同步任務(wù)

   在DataWorks上新建數(shù)據(jù)同步類型節(jié)點(diǎn)。?
   
   新建的同時(shí)，在DataWorks新建一個(gè)建表任務(wù)，用于存放JSON數(shù)據(jù)，本例中新建表名為mqdata。?
   
   表參數(shù)可以通過(guò)圖形化界面完成。本例中mqdata表僅有一列，類型為string，列名為MQ data。?
   
   完成上述新建后，您可以在圖形化界面進(jìn)行數(shù)據(jù)同步任務(wù)參數(shù)的初步配置，如下圖所示。選擇目標(biāo)數(shù)據(jù)源名稱為odps_first，選擇目標(biāo)表為剛建立的mqdata。數(shù)據(jù)來(lái)源類型為MongoDB，選擇我們剛創(chuàng)建的數(shù)據(jù)源mongodb_userlog。完成上述配置后，?點(diǎn)擊轉(zhuǎn)換為腳本，跳轉(zhuǎn)到腳本模式。?
   
   腳本模式代碼示例如下。

   {????"type":?"job",????"steps":?[
   ????????{????????????"stepType":?"mongodb",????????????"parameter":?{????????????????"datasource":?"mongodb_userlog",?//數(shù)據(jù)源名稱
   ????????????????"column":?[
   ????????????????????{????????????????????????"name":?"store.bicycle.color",?//JSON字段路徑，本例中提取color值
   ????????????????????????"type":?"document.document.string"?//本欄目的字段數(shù)需和name一致。假如您選取的JSON字段為一級(jí)字段，如本例中的expensive，則直接填寫string即可。
   ????????????????????}
   ????????????????],????????????????"collectionName?//集合名稱":?"userlog"
   ????????????},????????????"name":?"Reader",????????????"category":?"reader"
   ????????},
   ????????{????????????"stepType":?"odps",????????????"parameter":?{????????????????"partition":?"",????????????????"isCompress":?false,????????????????"truncate":?true,????????????????"datasource":?"odps_first",????????????????"column":?[?????//MaxCompute表列名?????????????????"mqdata"
   ????????????????],????????????????"emptyAsNull":?false,????????????????"table":?"mqdata"
   ????????????},????????????"name":?"Writer",????????????"category":?"writer"
   ????????}
   ????],????"version":?"2.0",????"order":?{????????"hops":?[
   ????????????{????????????????"from":?"Reader",????????????????"to":?"Writer"
   ????????????}
   ????????]
   ????},????"setting":?{????????"errorLimit":?{????????????"record":?""
   ????????},????????"speed":?{????????????"concurrent":?2,????????????"throttle":?false,????????????"dmu":?1
   ????????}
   ????}
   }

   完成上述配置后，點(diǎn)擊運(yùn)行接即可。運(yùn)行成功日志示例如下所示。?
   
   

結(jié)果驗(yàn)證

在您的業(yè)務(wù)流程中新建一個(gè)ODPS SQL節(jié)點(diǎn)。?
?
您可以輸入?SELECT * from mqdata;語(yǔ)句，查看當(dāng)前mqdata表中數(shù)據(jù)。當(dāng)然這一步您也可以直接在MaxCompute客戶端中輸入命令運(yùn)行。?
?