跳到主要内容

cosn体系入个门

原来官方hadoop3.3之后默认支持了cosn, 难怪许多demo操作cosn都没有额外配置jar包信息.

hadoop 3.3 默认支持cosn

大概review下可以知道如何使用

https://github.com/apache/hadoop/blob/trunk/hadoop-cloud-storage-project/hadoop-cos/src/site/markdown/cloud-storage/index.md

https://github.com/apache/hadoop/commit/8a9ede5cff816b66afc37e7c9d2b33aee48795d2

https://issues.apache.org/jira/browse/HADOOP-15616

hadoop-cos 单独jar包说明

单独配置使用hadoo-cos, 针对历史版本

https://github.com/tencentyun/hadoop-cos/blob/master/README.md

Hadoop-COS实现了以腾讯云 COS 作为底层文件系统运行上层计算任务的功能,支持使用Hadoop、Spark以及Tez等处理存储在腾讯云COS对象存储系统上的数据。

其他文档demo

Spark 分析 COS 上的数据

https://cloud.tencent.com/document/product/589/12295

Hadoop COS 工具

https://cloud.tencent.com/document/product/436/6884#.E9.80.9A.E8.BF.87-java-.E4.BB.A3.E7.A0.81.E8.AE.BF.E9.97.AE-cosn