cosn体系入个门
原来官方hadoop3.3之后默认支持了cosn, 难怪许多demo操作cosn都没有额外配置jar包信息.
hadoop 3.3 默认支持cosn
大概review下可以知道如何使用
https://github.com/apache/hadoop/commit/8a9ede5cff816b66afc37e7c9d2b33aee48795d2
https://issues.apache.org/jira/browse/HADOOP-15616
hadoop-cos 单独jar包说明
单独配置使用hadoo-cos, 针对历史版本
https://github.com/tencentyun/hadoop-cos/blob/master/README.md
Hadoop-COS实现了以腾讯云 COS 作为底层文件系统运行上层计算任务的功能,支持使用Hadoop、Spark以及Tez等处理存储在腾讯云COS对象存储系统上的数据。
目前hadoop-cos已经正式被Apache Hadoop-3.3.0官方集成:https://hadoop.apache.org/docs/r3.3.0/hadoop-cos/cloud-storage/index.html。
在Apache Hadoop-3.3.0 之前版本或CDH集成Hadoop-cos jar 包后,需要重启NameNode才能加载到jar包。
其他文档demo
Spark 分析 COS 上的数据
https://cloud.tencent.com/document/product/589/12295
Hadoop COS 工具