データ取り込み — バッチロードと転送

取り込み方法の全体地図

BigQuery へデータを入れる方法は 1 つではありません。データの発生源・鮮度要件・運用したい人手のかけ方によって、選ぶべき経路が変わります。公式ドキュメントは取り込み方法を大きく「バッチロード」「ストリーミング」「BigQuery Data Transfer Service による定期転送」「外部データソースへのフェデレーション」に整理しています。

ロードジョブの費用・ロケーション・フォーマット

バッチロードの実体は「ロードジョブ」です。公式ドキュメントには「共有スロットプール（shared slot pool）を使う限り、BigQuery へのバッチロードに料金は発生しない」と明記されています（2026-08 時点）。ロード自体は無料ですが、ロード先データセットのロケーションとロード元（Cloud Storage バケット等）のロケーションが一致している必要があり（第 2 章）、ロケーションをまたぐ場合はデータ転送料金が発生することがあります。

ロード可能な形式は Avro・CSV・JSON（改行区切り）・ORC・Parquet です。形式によって並列読み込みの可否が変わり、ロード時間に直結します。

ローカルファイルと Cloud Storage、どちらからロードするか

バッチロードのソースには、ローカルマシンと Cloud Storage の両方を指定できますが、性質はかなり異なります。

• ローカルファイル: コンソール・bq load・API・クライアントライブラリのいずれからでもロードできます。ただしコンソールからのアップロードは 1 ファイル 100 MB までで、ワイルドカードやカンマ区切りの複数ファイル指定はローカルでは使えません（1 ファイルずつロードします）。BigQuery サンドボックスの制限一覧（ストリーミング・DML・BigQuery Data Transfer Service が非対応）にローカルファイルロードは含まれていないため、この方法はサンドボックスでも利用できます。
• Cloud Storage: bq load と LOAD DATA 文の両方が対応します。ただし Cloud Storage 自体は BigQuery サンドボックスの無料枠の対象外で、バケットを新規作成するには課金が有効なプロジェクトが必要です。すでにある公開バケットから読み取るだけなら、自分でバケットを作る必要はなく課金プロジェクトも不要です。

スキーマ自動検出と明示スキーマ

CSV と JSON はスキーマを自己記述しないため、BigQuery はスキーマ自動検出（--autodetect）を提供しています。仕組みはシンプルで、データソースからランダムに 1 ファイルを選び、先頭から最大 500 行をサンプルとして型を推定します。CSV では区切り文字とヘッダー行の有無も推定し、JSON ではネストしたオブジェクトを RECORD 型、配列を繰り返しフィールドとして扱います。

ただし限界もあります。公式ドキュメントには次のような注意点が明記されています。

• 列がすべて空の場合、自動検出は STRING 型にフォールバックする
• 「1 行目が文字列のみで、他の行に文字列以外の型がある場合にヘッダー行と判定する」という仕組みのため、全列が STRING 型の CSV ではヘッダー行を正しく除外できないことがある
• 2025-06-16T16:55:22Z のような一部のタイムスタンプ表記は、自動検出を有効にしないと認識されない
• Avro・Parquet・ORC は自己記述型なので自動検出は不要

スキーマの精密な制御が必要な場面、非標準の日時形式を扱う場面、そして全列 STRING 型の CSV を扱う場面では、明示スキーマを使うべきです。

書き込みモードとパーティションへのロード

ロードジョブには 3 つの書き込みモードがあります。

• WRITE_EMPTY: テーブルが空の場合のみ書き込む。既存データがあるとエラーになる
• WRITE_APPEND（既定）: テーブルの末尾に追記する
• WRITE_TRUNCATE: 既存データをすべて消してから書き込む

LOAD DATA 文ではこれを INTO（追記。テーブルが無ければ新規作成）と OVERWRITE（置換）というキーワードで表現します。パーティション表に対しては、PARTITION BY 句を付けて新規作成時にパーティション定義を与えるほか、PARTITIONS (partition_column_name=partition_value) 句を使うと特定の 1 パーティションだけを追記・置換できます（このときは LOAD DATA INTO で始める必要があります）。

転送サービスとエクスポート — 逆方向のデータ移動

BigQuery Data Transfer Service は、Google 広告・YouTube・Cloud Storage・Amazon S3・Salesforce といった多様なソースから BigQuery へのデータ移動を、スケジュールに基づいて自動化するサービスです。サービス自体に料金はかからず、転送後のデータに対する通常のストレージ・クエリ課金だけが発生します。ただし BigQuery サンドボックスでは利用できないため、本書ではこの位置づけの説明にとどめ、実際の設定はコンソールの「Pipelines & Connections」から行うという流れだけ押さえておきます。

逆方向、つまりテーブルから Cloud Storage への書き出しには bq extract コマンドと EXPORT DATA 文を使います（具体的なコマンドはハンズオン 3-4 で実行します）。CSV・JSON・Avro・Parquet 形式に対応し、1 ファイルにつき論理データサイズ 1 GB までという制限があるため、超える場合はワイルドカードで複数ファイルに分割します。EXPORT DATA 文なら SQL の中で完結させられます。

EXPORT DATA
  OPTIONS (
    uri = 'gs://PROJECT_ID-handson-ch03/us_states/*.csv',
    format = 'CSV',
    overwrite = true,
    header = true)
AS (
  SELECT state_name, state_abbr
  FROM handson_ch03.us_states
);

bq mk --dataset --location=US PROJECT_ID:handson_ch03

curl -o us-states.csv \
  https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.csv

bq load \
  --autodetect \
  --source_format=CSV \
  --location=US \
  handson_ch03.us_states \
  ./us-states.csv

SELECT COUNT(*) AS row_count FROM `PROJECT_ID.handson_ch03.us_states`;

LOAD DATA OVERWRITE handson_ch03.us_states
(state_name STRING, state_abbr STRING)
FROM FILES (
  format = 'CSV',
  skip_leading_rows = 1,
  uris = ['gs://cloud-samples-data/bigquery/us-states/us-states.csv']
);

LOAD DATA INTO handson_ch03.transactions
(timestamp TIMESTAMP, origin STRING, destination STRING, transaction_amount NUMERIC)
PARTITION BY TIMESTAMP_TRUNC(timestamp, DAY)
FROM FILES (
  format = 'CSV',
  skip_leading_rows = 1,
  uris = ['gs://cloud-samples-data/bigquery/sample-transactions/transactions.csv']
);

SELECT partition_id, total_rows
FROM `PROJECT_ID.handson_ch03.INFORMATION_SCHEMA.PARTITIONS`
WHERE table_name = 'transactions'
ORDER BY partition_id;

bq rm -f -t PROJECT_ID:handson_ch03.transactions

gcloud storage buckets create gs://PROJECT_ID-handson-ch03 --location=US

bq extract \
  --destination_format=CSV \
  handson_ch03.us_states \
  gs://PROJECT_ID-handson-ch03/us_states/*.csv

gcloud storage ls gs://PROJECT_ID-handson-ch03/us_states/

gcloud storage rm -r gs://PROJECT_ID-handson-ch03
bq rm -r -f -d PROJECT_ID:handson_ch03

つまずきポイント

理解度チェック

まとめと次章へ

• 取り込み方法はバッチロード・ストリーミング・BigQuery Data Transfer Service・外部データソースの 4 種類に整理でき、この章はバッチロードとエクスポートが主役だった
• ロードジョブ自体は共有スロットプールを使う限り無料。フォーマットは並列読み込み可能な Avro / Parquet が有利
• スキーマ自動検出は 500 行サンプリングで動くが、全列 STRING の CSV ではヘッダー判定に失敗することがある。明示スキーマがその保険になる
• 書き込みモードは WRITE_EMPTY / WRITE_APPEND（既定）/ WRITE_TRUNCATE の 3 種類。LOAD DATA 文では INTO / OVERWRITE に対応する
• ローカルファイルはコンソール・bq load などからロード可能（コンソールは 100 MB まで・ワイルドカード不可）。Cloud Storage は bq load と LOAD DATA の両方に対応するが、自分のバケットを使う操作（エクスポート含む）には課金プロジェクトが必要

データが正しく入ったので、次章からはいよいよ GoogleSQL でそのデータに問い合わせていきます。

• Introduction to loading data
• Batch loading data
• Schema auto-detection
• LOAD DATA statement
• BigQuery Data Transfer Service overview
• Exporting table data
• BigQuery sandbox