大數(shù)據(jù)培訓(xùn)：HDFS的Shell操作

　　大數(shù)據(jù)培訓(xùn)課程中經(jīng)常會(huì)講到HDFS，HDFS提供了多種數(shù)據(jù)訪問方式，其中，命令行的形式是最簡單的，同時(shí)也是許多開發(fā)者最容易掌握的方式，本節(jié)將針對HDFS的基本操作進(jìn)行講解。

　　Shell在計(jì)算機(jī)科學(xué)殼中俗稱“殼”，是提供給使用者使用界面的進(jìn)行與系統(tǒng)交互的軟件，通過接收用戶輸入的命令執(zhí)行相應(yīng)的操作，Shell分為圖形界面Shell和命令行式Shell。

　　HDFS Shell包含類似Shell的命令，示例如下：

hadoop fs<args>
hadoop dfs<args>
hdfs dfs<args>

　　上述命令中，hadoop fs使用面最廣，可以操作任何文件系統(tǒng)，如本地系統(tǒng)、HDFS等;hadoop dfs則主要針對HDFS，已經(jīng)被hdfs dfs代替。

　　文件系統(tǒng)(FS)Shell包含了各種的類Shell的命令，可以直接與Hadoop分布式文件系統(tǒng)以及其他文件系統(tǒng)進(jìn)行交互，如與Local FS、HTTP FS、S3 FS文件系統(tǒng)交互等。通過命令行的方式進(jìn)行交互，具體操作常用命令，如表3-1所示。

　　表3-1 HDFS Shell參數(shù)

　　從表3-1可以看出，HDFS支持的命令很多，但這里只列舉常用的一部分，如果需要了解全部命令或使用過程中遇到問題都可以使用“hadoop fs -help”命令獲取幫助文檔，也可以通過Hadoop官方文檔htp://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html學(xué)習(xí)，接下來對這些常用的命令進(jìn)行操作演示。