BigQuery
TapData Cloud 为您提供了云端服务，适合需要快速部署、低前期投资场景，帮助您更好地专注于业务发展而非基础设施管理，注册账号即可领取免费的 Agent 实例，欢迎试用。
TapData Enterprise 可部署在您的本地数据中心，适合对数据敏感性或网络隔离有严格要求的场景，可服务于构建实时数仓，实现实时数据交换，数据迁移等场景。
TapData Community 是一个开源的数据集成平台，提供基础的数据同步和转换功能，可通过 Docker 一键部署，帮助您快速探索和实施数据集成项目。随着项目或企业发展，您可以平滑升级至 TapData Cloud 或 TapData Enterprise，以获得更多高级功能或服务支持。
BigQuery 是 Google Cloud 的全代管式 PB 级经济实惠的分析数据仓库，可让您近乎实时地分析大量数据。完成 Agent 部署后，您可以跟随本文教程在 Tapdata 中添加 BigQuery 数据源，后续可将其作为目标库来构建数据管道。
前提条件
引擎所属机器可访问谷歌云服务。
准备工作
-
登录 Google Cloud 的角色页面，创建角色，该角色将包含 Tapdata 操作 BigQuery 所必须的权限。
-
单击创建角色。
-
在跳转到的页面，填写角色名称，然后单击添加权限。
-
在弹出的对话框中，依次搜索并授予下述权限。
最小权限列表（单击展开）
bigquery.datasets.create
bigquery.datasets.get
bigquery.datasets.update
bigquery.jobs.create
bigquery.jobs.get
bigquery.jobs.list
bigquery.jobs.listAll
bigquery.jobs.delete
bigquery.jobs.update
bigquery.routines.list
bigquery.routines.get
bigquery.tables.create
bigquery.tables.delete
bigquery.tables.get
bigquery.tables.getData
bigquery.tables.list
bigquery.tables.setCategory
bigquery.tables.update
bigquery.tables.updateData- 权限选择完成后，单击创建。
-
-
登录 Google Cloud 的凭据页面，创建服务账号，该账号将用于后续的身份验证。
-
在页面顶部，单击创建凭据 > 服务账号。
-
在服务账号详情区域，填写服务账号的名称、ID 和说明信息，单击创建并继续。
-
在角色下拉框中输入并选中我们刚创建的角色（bigquery-role），单击页面底部的完成。
-
-
为服务账号创建认证密钥。
-
在跳转到的凭据页面，单击页面下方刚创建的服务账号。
-
在密钥标签页，单击添加密钥 > 创建新密钥。
-
在弹出的对话框中，选择密钥类型为 JSON，然后单击创建。
操作完成后密钥文件将自 动下载保存至您的电脑，为保障账户安全性，请妥善保管密钥文件。
-
登录 Google Cloud 控制台，创建数据集和表，如已存在可跳过本步骤。
-
提示
为保障 Tapdata 正常读取到数据集信息，创建数据集时，选择位置类型为多区域。
-
创建表。
-
-
添加数据源
-
在左侧导航栏，单击连接管理。
-
单击页面右侧的创建。
-
在弹出的对话框中，单击 Beta 数据源，然后选择 BigQuery。
-
在跳转到的页面，根据下述说明填写 BigQuery 的连接信息。
- 连接名称：填写具有业务意义的独有名称。
- 连接类型：目前仅支持作为目标。
- 访问账号（JSON）：用文本编辑器打开您在准备工作中下载的密钥文件，将其复制粘贴进该文本框中。
- 数据集 ID：选择 BigQuery 中已有的数据集。
- agent 设置：选择平台自动分配，如有多个 Agent，请手动指定可访问谷歌云服务的 Agent。
-
单击连接测试，测试通过后单击保存。
提示如提示连接测试失败，请根据页面提示进行修复。