8種主流數(shù)據(jù)遷移工具技術(shù)選型

ETL(是Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)，對于企業(yè)應(yīng)用來說，我們經(jīng)常會遇到各種數(shù)據(jù)的處理、轉(zhuǎn)換、遷移的場景。

2023-04-20 標(biāo)簽：ETLJAVA語言HDFS 1145 0

分析Hive與Spark分區(qū)策略的異同點

隨著技術(shù)的不斷的發(fā)展，大數(shù)據(jù)領(lǐng)域?qū)τ诤Ａ繑?shù)據(jù)的存儲和處理的技術(shù)框架越來越多。在離線數(shù)據(jù)處理生態(tài)系統(tǒng)最具代表性的分布式處理引擎當(dāng)屬Hive和Spark，它...

2023-04-11 標(biāo)簽：數(shù)據(jù)存儲IOPsHDFS 998 0

大數(shù)據(jù)計算框架簡介

Hadoop是目前世界上應(yīng)用最廣泛的大數(shù)據(jù)工具。Hadoop具有高容錯率，且其硬件價格低，可以使用普通PC服務(wù)器（個人理解：普通PC服務(wù)器的具體形式包括...

2023-03-20 標(biāo)簽：JAVAPC服務(wù)器編程語言 2389 0

分布式文件系統(tǒng)的設(shè)計框架

因為HDFS系統(tǒng)（分布式文件系統(tǒng)）可由數(shù)百或數(shù)千個存儲文件數(shù)據(jù)片段的服務(wù)器組成，即HDFS系統(tǒng)包含較多的硬件設(shè)備，所以HDFS系統(tǒng)的硬件故障是常態(tài)，而非異常態(tài)。

2023-03-20 標(biāo)簽：服務(wù)器存儲數(shù)據(jù)HDFS 1061 0

大數(shù)據(jù)應(yīng)用的開發(fā)流程

大數(shù)據(jù)常見處理流程包括：原始數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲、統(tǒng)計分析、存儲至數(shù)據(jù)倉庫、數(shù)據(jù)導(dǎo)出、導(dǎo)入數(shù)據(jù)庫、數(shù)據(jù)可視化。

2023-02-22 標(biāo)簽：數(shù)據(jù)庫機器學(xué)習(xí)python 5594 0

介紹一款數(shù)據(jù)高效同步工具DataX

當(dāng)時的打算是通過 mysqldump 或者存儲的方式來進(jìn)行同步，但是嘗試后發(fā)現(xiàn)這些方案都不切實際

2023-02-21 標(biāo)簽：FTPpythonMYSQL數(shù)據(jù)庫 1169 0

大數(shù)據(jù)相關(guān)介紹：Hadoop的生態(tài)系統(tǒng)構(gòu)成

HBase位于結(jié)構(gòu)化存儲層（根據(jù)網(wǎng)絡(luò)資料理解：HBase位于類似windows系統(tǒng)中多層級文件夾的結(jié)構(gòu)中），是一個分布式的列存儲數(shù)據(jù)庫。

2023-02-19 標(biāo)簽：HadoopHDFS大數(shù)據(jù) 2292 0

大數(shù)據(jù)系統(tǒng)包括哪些

Hadoop是分布式（根據(jù)網(wǎng)絡(luò)資料理解：分布式與集中式相對應(yīng)，對于大量數(shù)據(jù)計算，集中于一臺計算機中計算需耗費較長時間，通過將計算分布于多個計算機，節(jié)約整...

2023-02-16 標(biāo)簽：數(shù)據(jù)存儲HDFS大數(shù)據(jù)系統(tǒng) 4486 0

HDFS的主要架構(gòu)/特點/應(yīng)用場景

HDFS（HadoopDistributedFileSystem），是一個適合運行在通用硬件（commodityhardware）上的分布式文件系統(tǒng)，是...

2020-12-10 標(biāo)簽：文件系統(tǒng)HDFS 6112 0

分布式存儲中HDFS與Ceph兩者的區(qū)別是什么，各有什么優(yōu)勢？

對于分布式存儲，尤其是開源的分布式存儲，站在一個SRE的角度，我認(rèn)為主要為商業(yè)公司解決了如下幾個問題： 可擴展，滿足業(yè)務(wù)增長導(dǎo)致的海量數(shù)據(jù)存儲需求； ...

2018-07-03 標(biāo)簽：分布式存儲HDFSCeph 3.1萬 0