Hadoop 文件系统中目录的路径是什么？

path java filesystems hadoop mahout

2022-09-04 01:48:40

最近我开始学习Hadoop和Mahout。我想知道Hadoop文件系统目录中的目录路径。

在hadoop-1.2.1/conf/core-site.xml中，我指定了：

<property>
  <name>hadoop.tmp.dir</name>
  <value>/Users/Li/File/Java/hdfstmp</value>
  <description>A base for other temporary directories.</description>
</property>

在Hadoop文件系统中，我有以下目录：

lis-macbook-pro:Java Li$ hadoop fs -ls
Found 4 items
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:25 /user/Li/output
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:24 /user/Li/temp
drwxr-xr-x   - Li supergroup          0 2013-11-06 14:50 /user/Li/tweets-seq
-rw-r--r--   1 Li supergroup    1979173 2013-11-05 15:50 /user/Li/u.data

那么 /user/Li/output 目录在哪里？

我试过了：

lis-macbook-pro:usr Li$ cd /user/Li/output
-bash: cd: /user/Li/output: No such file or directory

所以我认为/user/Li/output是一个相对路径，而不是一个绝对路径。

然后我在/Users/Li/File/Java/hdfstmp中搜索它。有两个文件夹：

断续器

地图红

但是我仍然无法在 /Users/Li/File/Java/hdfstmp 中找到 /user/Li/output。

答案 1

您的第一个调用是相对目录列表，对于当前用户，通常植根于HDFS中称为的目录中。因此，您的命令正在列出相对于此位置的文件/目录 - 在您的情况下hadoop fs -ls/user/${user.name}hadoop fs -ls/user/Li/

您应该能够通过运行 aboolute 列表来断言这一点，并确认内容/输出匹配：hadoop fs -ls /user/Li/

由于这些文件位于HDFS中，您将无法在本地文件系统上找到它们 - 它们作为块（对于真实文件）和元数据条目（对于文件和目录）分布在您的集群节点上。

答案 2

所有文件都存在于hdfs下，hdfs是Hadoop分布式文件系统。所以这些文件不存在于您的文件系统或目录结构中

在 hdfs 中，这些存储为

Path("hdfs://host:port/file"));

端口的设置存在于 hadoop $HADOOP_HOME/etc/hadoop/core-site 的配置目录下的 xml 文件中.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9010</value>
</property>

您可以在命令行的帮助下查看hdfs下存在的文件

hdfs dfs -ls

基本的 linux 命令可以从命令行运行

hdfs dfs -<Command>

借助此功能，您还可以创建dir删除文件或dir等其他内容