hadoop分布式缓存使用
hadoop分布式缓存的使用
介绍
DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理。
缓存内容是在文件中的,各个节点可以根据hdfs中访问路径来读取缓存。
使用步骤
1.添加分布式缓存的时候,
先定义缓存的路径
1 | String cacheFile = "hdfs://xxxx"; |
可以设置别名 “#”号后面的就是别名 在方法中可以直接使用
cacheFile = cacheFile + “#别名”
在main方法中添加到job中(然后在map阶段就可以使用)
1 | // 缓存jar包到task运行节点的classpath中 |
2.使用分布式缓存
1 |
|
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 我想问问天的博客!