博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HDFS 开发中的文件配置优先级
阅读量:4694 次
发布时间:2019-06-09

本文共 1793 字,大约阅读时间需要 5 分钟。

一、先看集群上的配置,这里设置了文件块副本数为 3

上传一个文件试试

public class ConfigPriority {    private Configuration conf;    private FileSystem fs;    @Before    public void init() throws Exception {        // 设置 HADOOP_HOME 环境变量        System.setProperty("hadoop.home.dir", "D:/DevelopTools/hadoop-2.9.2/");        // 日志初始化        BasicConfigurator.configure();        conf = new Configuration();        // 获取 hdfs 客户端对象,指定用户名,避免无权限        fs = FileSystem.get(new URI("hdfs://192.168.8.136:9000"), conf, "root");    }    @After    public void close() throws IOException {        fs.close();    }    // 文件上传    @Test    public void testCopyFromLocalFile() throws Exception{        fs.copyFromLocalFile(new Path("D://MyFile/Downloads/Writage-1.12.msi"), new Path("/Priority/AAA.msi"));    }}

 

二、在资源目录添加 hdfs-site.xml 配置后再上传

dfs.replication
1

代码中的上传名字做下改变

 

三、在代码中指定下配置参数

public class ConfigPriority {    private Configuration conf;    private FileSystem fs;    @Before    public void init() throws Exception {        // 设置 HADOOP_HOME 环境变量        System.setProperty("hadoop.home.dir", "D:/DevelopTools/hadoop-2.9.2/");        // 日志初始化        BasicConfigurator.configure();        conf = new Configuration();        conf.set("dfs.replication","2");        // 获取 hdfs 客户端对象,指定用户名,避免无权限        fs = FileSystem.get(new URI("hdfs://192.168.8.136:9000"), conf, "root");    }    @After    public void close() throws IOException {        fs.close();    }    // 文件上传    @Test    public void testCopyFromLocalFile() throws Exception{        fs.copyFromLocalFile(new Path("D://MyFile/Downloads/Writage-1.12.msi"), new Path("/Priority/CCC.msi"));    }}

 

总结:代码设置 > 工程资源目录配置 > 集群配置 > 默认配置

转载于:https://www.cnblogs.com/jhxxb/p/10704806.html

你可能感兴趣的文章
Nginx配置详解
查看>>
02_数据库基础之(一)数据库安装与客户端安装
查看>>
获取本周、本月、本年的时间段
查看>>
开篇有益
查看>>
junzheng
查看>>
破解极验滑动验证码
查看>>
(int)a与(int&)a
查看>>
js中的同步与异步
查看>>
一百行代码爬取漫画喵
查看>>
《大道至简》第一章读后感
查看>>
cors跨域 + 异步上传文件
查看>>
动态规划求两个序列的最长公共子序列
查看>>
extjs model的dirty属性能够查询store中某一个行是否改变过
查看>>
分享一个sb的debug历程
查看>>
对Tomcat启动或运行时,项目对jar包依赖路径的一些粗浅认知
查看>>
配置Python+selenium+firefox自动化测试
查看>>
phpstorm配置xdebug
查看>>
Java中Class对象详解
查看>>
MapReduce项目中的一个JVM错误问题分析和解决
查看>>
Android应用自杀和干掉其它进程
查看>>