如何数据到数据库中现有的增量表？

Question

我在ADLS gen2中有拼花格式的数据。我想在我的项目中实现dalta层。所以我将ADLS Gen2中的所有本地数据通过ADF保存在一个名为着陆区的单独容器中。

现在我创建了一个名为青铜的分离容器，我想在其中保留增量表。为此，我做了如下。我用数据砖创建了一个数据库。我使用下面的SQL代码在数据块中创建了一个增量表。

create table if not exists externaltables.actv_snap_view(
id String,
mbr_id String,
typ_id String,
strt_dttm String,
otcome_typ_id String,
cdc String
)
using delta
location '/mnt/Storage/Bronze/actv_snap_view'

现在我的表没有任何数据。

1. 如何将数据湖登陆区中的数据添加到我创建的增量表中。
2. 将数据添加到将存储下划线数据的表后，我的数据库位于数据库中。

Answer 1

您可以按照以下步骤使用来自landzone（镶木地板文件源）的数据创建表格，其中表格属于青铜容器中存在的数据库。

• 考虑到您的ADLS容器已挂载，您可以创建一个数据库并按照@Ganesh Chandrasekaran的建议将其位置指定为您的青铜容器挂载点。

create database demo location "/mnt/bronzeoutput/" 

• 现在使用以下SQL语法创建一个表，该表使用landingzone容器的挂载点中的拼花文件

create table demo.<table_name> (<columns>) using parquet location '/mnt/landingzoneinput/<parquet_file_name>'; 

使用上面的步骤，您已经在< code>bronze容器中创建了一个数据库，您可以在其中存储您的表。要填充在< code>bronze容器的数据库中创建的表，您需要使用< code>landingzone容器中的文件。

更新:

>

使用上面的create table语句创建一个包含来自拼花文件的数据的表，但该表不会反映在数据湖中。

您可以改用下面给出的查询。它首先在数据库中创建一个表（存在于青铜容器中）。现在，您可以插入登陆区中存在的镶木地板文件中的值。

create table demo.<table_name> (<columns>);
-- demo database is inside bronze container

insert into demo.<table_name> select * from <data_source>.`/mnt/landingzoneinput/source_file`