好吊操一区I91四虎亚洲I欧美操B片I素人av在线I97神马久久I嗨底一级片I丝袜aV性爱I亚洲一级avI日本涩涩网I香蕉97在线I国产精品96

一、數(shù)據(jù)導(dǎo)入/預(yù)處理驗(yàn)證階段

根據(jù)具體的應(yīng)用背景和業(yè)務(wù)需求,各種數(shù)據(jù)源如網(wǎng)絡(luò)日志,物聯(lián)網(wǎng),社會網(wǎng)絡(luò)及互聯(lián)網(wǎng)文本和文件等被按需加載到HDFS中待處理。在這個(gè)過程可能會由于不正確或不 ** ,存儲而導(dǎo)致的錯(cuò)誤數(shù)據(jù),對于這種情況,可采用以下方式進(jìn)行測試:

1.輸入文件與源文件進(jìn)行比對,保證數(shù)據(jù)的一致性;

2.根據(jù)數(shù)據(jù)需求來保證獲取數(shù)據(jù)的準(zhǔn)確性;

3.驗(yàn)證文件被正確的加載進(jìn)HDFS,且被分割, ** 到不同的數(shù)據(jù)節(jié)點(diǎn)中。

二、MapReduce數(shù)據(jù)輸出驗(yàn)證階段

當(dāng)數(shù)據(jù)加載進(jìn)行HDFS后, ** preduce開始對來自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行處理。在這個(gè)過程中可能會出現(xiàn) ** preduce處理過程中的編碼問題,如在單一節(jié)點(diǎn)上運(yùn)行正確,在多個(gè)節(jié)點(diǎn)上運(yùn)行不正確的問題,包括不正確的聚合,節(jié)點(diǎn)配置,輸出格式等。針對于這個(gè)階段的問題,可采用以下驗(yàn)證手段:

1.驗(yàn)證梳理數(shù)據(jù)處理正常完成,輸出文件正常得到;

2.在單個(gè)節(jié)點(diǎn)上驗(yàn)證大數(shù)據(jù)的業(yè)務(wù)邏輯,進(jìn)

而在多節(jié)點(diǎn)上進(jìn)行相同驗(yàn)證;

3.驗(yàn)證 ** preduce處理過程的key/value對是否正確生產(chǎn);

4.在reduce過程結(jié)束后驗(yàn)證數(shù)據(jù)的聚 ** 并是否正確;

5.通過源文件驗(yàn)證輸出數(shù)據(jù)來保證數(shù)據(jù)處理正確完成;

6.按照大數(shù)據(jù)業(yè)務(wù)所需,驗(yàn)證輸出數(shù)據(jù)文件格式是否符合要求。

三、驗(yàn)證大數(shù)據(jù)ETL到數(shù)據(jù)倉庫

當(dāng) ** preduce過程結(jié)束后,產(chǎn)生的數(shù)據(jù)輸出文件將被按需移至數(shù)據(jù)倉庫或其它的事務(wù)型系統(tǒng).在此過程中,可能會由于不正確地應(yīng)用轉(zhuǎn)換規(guī)則,從HDFS中提取的數(shù)據(jù)不完全而帶來問題。針對于這個(gè)階段的問題可采用以下方法:

1.驗(yàn)證轉(zhuǎn)換規(guī)則是否正確應(yīng)用;

2.通過比較目標(biāo)表數(shù)據(jù)和HDFS文件數(shù)據(jù)來驗(yàn)證是否有數(shù)據(jù)損壞;

3.驗(yàn)證目標(biāo)系統(tǒng)數(shù)據(jù)加載是否成功;

4.驗(yàn)證目標(biāo)系統(tǒng)的數(shù)據(jù)完整性。

上述就是為你介紹的有關(guān)大數(shù)據(jù)功能性測試包含哪些內(nèi)容的內(nèi)容，對此你還有什么不了解的，歡迎前來咨詢我們網(wǎng)站，我們會有專業(yè)的人士為你講解。

關(guān)鍵詞：  功能性驗(yàn)證報(bào)告  購物袋生物降解檢測  除病毒測試  一次性用品生物降解能力檢測  中藥材檢測報(bào)告  毒害物質(zhì)檢測報(bào)告

編輯精選內(nèi)容：

紡織品抗病毒性能的測試方法

各類消毒產(chǎn)品病毒殺滅效果試驗(yàn)標(biāo)準(zhǔn)

什么是生物降解性檢測

生物降解塑料的應(yīng)用

微生物樣品取樣幾種較常見的表面取樣技術(shù)

生物藥品檢測的介紹

可降解材料檢測主要測試項(xiàng)目

細(xì)胞毒理學(xué)安全評價(jià)與功能檢測