HDFS 基本操作
一、 HDFS 基本操作命令 (hdfs dfs)
HDFS 的文件系统操作命令集被称为 FS shell 命令,通常以 hdfs dfs 作为命令前缀 2。
1. 创建目录 (Create Directory)
| 操作 | 命令格式 | 说明 | ||
|---|---|---|---|---|
| 创建目录 | hdfs dfs -mkdir [-p] <path>... 3 | <path> 指定要创建的新目录 4。 | ||
| 可选参数 | -p 5 | 可同时创建多级目录,例如 /dfstest/test/example 6666。 |
2. 上传文件 (Upload File)
将本地 Linux 文件系统(localsrc)中的文件上传至 HDFS 文件系统(dst)。
| 命令格式 | 说明 | |
|---|---|---|
hdfs dfs -copyFromLocal <localsrc> ... <dst> 7 | 将本地文件上传到 HDFS 目标路径 8。 | |
hdfs dfs -put <localsrc> ... <dst> 9 | 功能与 -copyFromLocal 相同,是常用的别名命令。 | |
hdfs dfs -moveFromLocal <localsrc> ... <dst> 10 | 上传后,将删除本地文件。 |
3. 下载文件 (Download File)
将 HDFS 文件系统(src)中的文件下载至本地文件系统(localdst) 11。
| 命令格式 | 说明 | |
|---|---|---|
hdfs dfs -copyToLocal <src>... <localdst> 12 | 将 HDFS 文件下载到本地目录。 | |
hdfs dfs -get <src>...<localdst> 13 | 功能与 -copyToLocal 相同,是常用的别名命令。 |
4. 查看文件内容 (View File Content)
| 命令格式 | 功能 | |
|---|---|---|
hdfs dfs -cat <src> ... 14 | 查看 HDFS 上文件的具体全部内容 15。 | |
hdfs dfs -tail [-f] <file> 16 | 查看 HDFS 上文件的末尾内容。 |
5. 删除文件或目录 (Delete File or Directory)
| 命令格式 | 功能 | |
|---|---|---|
| `hdfs dfs -rm [-f] [-r | -R] ...` 17 | |
| 关键参数 | -r 或 -R 是可选参数,用于递归删除目录及其内容 18。 | |
hdfs dfs -rmdir <dir> ... 19 | 删除 HDFS 上指定的空目录 20。 |
二、 HDFS Web 界面查询
除了命令行方式,您还可以通过 NameNode 的监控服务端口在浏览器中查询 HDFS 信息。
- 访问地址: 在本机浏览器的地址栏中输入
http://master:987021212121。 - 浏览文件系统: 单击界面顶部的 “Utilities”,在下拉列表中选择 “Browse the file system” 22。
- 查看文件内容:
- 在文件列表中,单击具体的文件 23。
- 在弹出的对话框中单击 “Head the file (first 32K)”,即可在对话框下方查看文件前 32KB 的内容 24。