Bytehouse 云数仓版支持使用外表的方式进行联邦查询，用户无需通过数据导入，可以直接进行通过Iceberg外表查询Iceberg中的数据。 从而提供了数据处理的灵活性和方便性。

费用说明

外部表的功能旨在提供除ByteHouse内部表以外的其他数据的处理能力。通过一条简单的DDL语句，即可在ByteHouse上创建一张外部表，建立ByteHouse表与外部数据源的关联。

• 外部表在ByteHouse侧只会产生计算费用，遵循ByteHouse计算资源计费规则。
• 使用外部表功能时，外部表的数据不会复制一份存在ByteHouse上并产生存储费用。存储费用请关注外部数据源存储侧计费规则。
• 使用ByteHouse外部表访问外部数据源时，外部数据源可能会产生计算、访问、数据传输等费用，具体以外部数据源计费方式为准，请关注相应产品的说明。

Iceberg数据映射方式

对于Iceberg数据表，当前ByteHouse支持创建Iceberg外表和创建Iceberg数据库两种方式实现ByteHouse与Iceberg的数据映射。

创建外表时，您需指定关联的外表库表信息，当前支持指定外表的列信息，或不指定列信息通过自动推导获取对应的列信息。

• 指定列信息：要求所有指定的列名，在对应的Iceberg表中都存在，并且类型等价或者兼容，否则会报错。
• 不指定列信息，自动推导对应的列信息：可以通过enable_schema_covert_fault_tolerance参数控制自动推导类型不存在的处理方式，当Iceberg中的类型无法在 Bytehouse中找到兼容类型时：取值1表示忽略；0表示报错；默认值是1。

Iceberg 的数据可以存放在不同的文件系统上，例如HDFS、S3。下面具体介绍不同文件系统上的建表语句：

Iceberg on HDFS

手动指定列信息

CREATE TABLE `{tableName}` (
    `col_boolean` BOOLEAN,
    `col_integer` Int32,
    `col_long` Int64,
    `col_float` Float32,
    `col_double` Float64,
    `col_decimal` DECIMAL(10, 2),
    `col_date` DATE32,
    `col_timestamp` DateTime64(3),
    `col_uuid` UUID,
    `col_string` String,
    `col_fixed` FixedString(50),
    `col_binary` String,
    `col_list_integer` Array(Int32),
    `col_map` Map(String, Int32),
    `col_struct` Tuple(`field_integer` Int32, `field_string` String, `field_timestamp` DateTime64(3), `field_decimal` DECIMAL(28, 6), `field_binary` String)
) 
ENGINE = CnchIceberg('hadoop', '{warehouse}', '{icebergDatabaseName}', '{icebergTableName}');

自动推导列信息

CREATE TABLE `{tableName}`
ENGINE = CnchIceberg('hadoop', '{warehouse}', '{icebergDatabaseName}', '{icebergTableName}')
SETTINGS enable_schema_covert_fault_tolerance = 1;

Iceberg on S3（TOS）

手动指定列信息

CREATE TABLE `{tableName}` (
    `col_boolean` BOOLEAN,
    `col_integer` Int32,
    `col_long` Int64,
    `col_float` Float32,
    `col_double` Float64,
    `col_decimal` DECIMAL(10, 2),
    `col_date` DATE32,
    `col_timestamp` DateTime64(3),
    `col_uuid` UUID,
    `col_string` String,
    `col_fixed` FixedString(50),
    `col_binary` String,
    `col_list_integer` Array(Int32),
    `col_map` Map(String, Int32),
    `col_struct` Tuple(`field_integer` Int32, `field_string` String, `field_timestamp` DateTime64(3), `field_decimal` DECIMAL(28, 6), `field_binary` String)
) 
ENGINE = CnchIceberg('hadoop', '{warehouse}', '{icebergDatabaseName}', '{icebergTableName}')
SETTINGS region='{region}', 
endpoint='{endpoint}', 
ak_id='{accessKey}', 
ak_secret='{accessSecretKey}',

自动推导列信息

CREATE TABLE `{tableName}` 
ENGINE = CnchIceberg('hadoop', '{warehouse}', '{icebergDatabaseName}', '{icebergTableName}')
SETTINGS region='{region}', 
endpoint='{endpoint}', 
ak_id='{accessKey}', 
ak_secret='{accessSecretKey}',
enable_schema_covert_fault_tolerance = 1;

通过创建ByteHouse外部数据库，在Database维度建立 Bytehouse Database 到 Iceberg Database 的映射。建立库映射之后不需要再手动建立表映射，可自动同步数据库下的表映射。
Iceberg 的数据可以存放在不同的文件系统上，例如HDFS、S3。下面具体介绍不同文件系统上的建表语句：

Iceberg on HDFS

CREATE DATABASE test_iceberg_db_hdfs
engine = Iceberg('hadoop', '{warehouse}', '{icebergDatabaseName}')
SETTINGS enable_schema_covert_fault_tolerance = 1;

Iceberg on S3

CREATE DATABASE {databaseName}
engine = Iceberg('hadoop', '{warehouse}', '{icebergDatabaseName}')
SETTINGS region='{region}', 
endpoint='{endpoint}', 
ak_id='{accessKey}', 
ak_secret='{accessSecretKey}',
SETTINGS enable_schema_covert_fault_tolerance = 1; 

外表的查询和普通表的查询操作一致。

• 通用方式

  select * from  t where xxx;
  

外部库表的删除操作和普通表的删除操作一致。

• 删除外部数据库。

  注意

  删除外部数据库后，外部数据库下的所有外部表也将同时被删除，请谨慎操作。

  DROP DATABASE example_db
  

• 删除外部数据表。

  DROP TABLE example_table
  

-- 指定snapshotId=123456789
select * from tbl$version$123456789;

-- 指定branch名称=branch_1
select * from tbl$version$branch_1;

-- 指定tag名称=tag_1
select * from tbl$version$branch_1;

以下为当前支持查询的所有Iceberg表的元信息：

• snapshots：记录数据集的所有快照信息，用于追踪和恢复数据的历史版本。
• refs：包含指向快照的引用（分支和标签），支持并行开发和标记重要版本。
• history：记录数据集的变更历史，帮助审计和回溯数据的变化。
• files：提供数据集中实际物理存储的数据文件的相关信息，便于数据管理和性能优化。
• properties：Schema相关的配置属性。

select * from tbl$metadata$snapshots;
select * from tbl$metadata$refs;
select * from tbl$metadata$history;
select * from tbl$metadata$files;
select * from tbl$metadata$properties;