🏗️

Big Queryへのイベントログデータ連携について

💡
このページはWEBで公開されています。2022/7/26 更新。

💎 本ドキュメントについて

概要

本記事は、Onboardingのイベントデータ（ガイドの表示、完了など）を、お客様が管理するBigQueryへデータ連携するするために必要な手順や情報について記載しています。

対象者

本記事は、Big Queryなどのクラウドインフラに対する設定権限を持つエンジニアの方を対象としています。

💎 本記事を読んでできること

  • Onboardingのガイドをユーザーに公開した後、ガイドの表示イベントや、完了イベントなどのログデータを蓄積し、それをお客様が管理するBig Queryから定期的に取得しデータをインポートする事ができます。
  • 上記を実現するために、Big Query Data Transfer Service for Amazon S3 を使用します。これにより、Amazon S3 から BigQuery への定期的な読み込みジョブを自動的にスケジュールし、管理できます。

💎 手順

以下のような流れとなります。

  • Onboardingのイベントログファイルが、特定のAWS S3 Bucketに生成されます。周期は1時間ごとで、tsv形式を取っています。
  • Big Query Data Transfer Service for Amazon S3 の設定を行うことにより、Onboardingが利用するS3領域へ定期的にログファイル取得し、指定したテーブルへデータをインポートする処理をスケジューリングします。

💎 構成イメージ

Big Queryとの連携

Last modified by Figma System ⋅ 2 months ago

💎 設定いただく情報

上記を実現するにあたり、弊社から以下の情報をお渡しします。

以下が、Big Query Data Transfer Service for Amazon S3 の設定を行うにあたり必要となります。

詳細は、こちらを御覧ください。

  • データソースの詳細
    • Amazon S3 URI:
      • s3://mybucket/myfolder/... の形式で Onboardingのログファイルが蓄積されるURI 。
    • Access key ID:
      • アクセスキー IDとなります。
    • Secret access key:
      • シークレット アクセスキーとなります。
    • ファイル形式:
      • csv をご指定ください。また、[CSV] セクションでデータを読み込むための追加のオプションとして、フィールド区切り文字 に　\t を指定してください。

💎 ログの形式

取得できるログの形式を以下に記載します。

💎 参考情報