運用と監視 — INFORMATION_SCHEMA を武器にする

ジョブという実行単位とライフサイクル

BigQuery でクエリ・ロード・エクスポート・テーブルコピーを実行すると、そのたびにジョブが自動的に作成されます。ジョブは非同期に実行され、進捗をポーリングできる管理単位です。ジョブには 4 つの種類があります。

• query — SQL クエリの実行
• load — 外部データのロード
• extract — テーブルデータのエクスポート
• copy — テーブル・クローン・スナップショットのコピー

ジョブは常に次の 3 状態のいずれかにあります。

ジョブは <project_id>:<region>.<job_id> という完全修飾 ID を持ちます。BigQuery Studio に表示される ID はこの完全形式ですが、bq コマンドの出力は短縮形式（project と location を含まない）です。ジョブの追跡は bq コマンドで一通り行えます。

# 自分のジョブを一覧（bigquery.jobs.list 権限）
bq ls --jobs=true --max_results=10

# 全ユーザーのジョブを一覧（bigquery.jobs.listAll 権限が必要）
bq ls --jobs=true --all=true --max_results=10 PROJECT_ID

# ジョブの詳細を確認
bq show --format=prettyjson --job=true JOB_ID

# 実行中・待機中のジョブをキャンセル（PENDING/RUNNING のみ対象）
bq --location=US cancel JOB_ID

ジョブ履歴はプロジェクトの全リージョン分が 6 か月間保存されます。bq ls --jobs=true は既定で自分のジョブだけを返し、--all=true（bigquery.jobs.listAll 権限が必要）を付けると全ユーザーのジョブが対象になります。

INFORMATION_SCHEMA を武器にする

INFORMATION_SCHEMA は BigQuery の全リソースのメタデータを SQL で問い合わせられる、読み取り専用のシステム定義ビュー群です。課金は次の通りです。

• オンデマンド課金のプロジェクトでは、INFORMATION_SCHEMA へのクエリは最低 10 MB の処理課金が発生します（実際の処理バイト数がそれ未満でも 10 MB として課金）
• 容量ベース課金のプロジェクトでは、購入済みスロットを消費します
• ストレージ料金は発生しません。ただしクエリ結果はキャッシュされないため、同じ SQL を再実行するたびに課金されます

INFORMATION_SCHEMA ビューを問い合わせるには、データセット・リージョン・プロジェクトの 3 種類の修飾子のいずれかでスコープを指定する必要があります。

リージョン修飾子は region-us のように region- の後にロケーション名を続けます。非階層的で、US マルチリージョンの修飾子は us-central1 などの単一リージョンを含みません。プロジェクト修飾子はどのビューでも併用でき、省略時はクエリを実行しているプロジェクトが対象になります。

-- プロジェクト修飾子 + リージョン修飾子 + JOBS ビュー
SELECT job_id, total_bytes_billed, total_slot_ms
FROM `PROJECT_ID`.`region-us`.INFORMATION_SCHEMA.JOBS
WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY);

JOBS ビュー — コスト・スロット・エラーの分析

INFORMATION_SCHEMA.JOBS（別名 JOBS_BY_PROJECT。両者は同じ結果を返す同義語）は、現在のプロジェクトの全ジョブのメタデータをほぼリアルタイムで提供します。creation_time でパーティション化され、project_id と user_email でクラスタリングされているため、creation_time に絞り込むほど効率よくプルーニングされます。主なカラムは次の通りです。

• job_id / job_type（QUERY・LOAD・EXTRACT・COPY）/ statement_type（SELECT・INSERT・SCRIPT 等）
• state（PENDING・RUNNING・DONE）/ error_result（reason と message を持つ RECORD。成功時は NULL）
• total_bytes_billed / total_bytes_processed / total_slot_ms（スロットミリ秒。リトライ分も含む累積）
• cache_hit / referenced_tables / labels（キーバリューの配列）/ user_email

このビューを問い合わせるには、プロジェクトに BigQuery User（roles/bigquery.user）と BigQuery Resource Viewer（roles/bigquery.resourceViewer）ロールが必要です（実体は bigquery.jobs.listAll と bigquery.jobs.create 権限）。全ユーザーのジョブを横断的に見る、管理者寄りのビューです。

自分のジョブだけを見るなら INFORMATION_SCHEMA.JOBS_BY_USER を使います。必要なロールは BigQuery User だけ（bigquery.jobs.list 権限）で、JOBS ビューよりずっと低い権限で済みます。

TABLE_STORAGE ビュー — ストレージ肥大の棚卸し

INFORMATION_SCHEMA.TABLE_STORAGE（別名 TABLE_STORAGE_BY_PROJECT）は、テーブル・マテリアライズドビューごとの現在のストレージ使用量を 1 行ずつ返します。数秒〜数分の遅延はありますが、ほぼ現在値のスナップショットです。必要なロールは BigQuery Metadata Viewer（roles/bigquery.metadataViewer、実体は bigquery.tables.get / bigquery.tables.list）で、JOBS ビューよりも軽い権限で読めます。主なカラムは次の通りです。

• table_schema / table_name / total_rows / total_partitions
• total_logical_bytes / active_logical_bytes（90 日未満）/ long_term_logical_bytes（90 日以上）
• total_physical_bytes / active_physical_bytes / long_term_physical_bytes / time_travel_physical_bytes / fail_safe_physical_bytes
• storage_last_modified_time（最終書き込み日時。未使用テーブルの検出に使う）

データセットが論理課金モデルなら active_logical_bytes と long_term_logical_bytes、物理課金モデルなら active_physical_bytes + fail_safe_physical_bytes と long_term_physical_bytes を使うと、月次ストレージ課金のおおまかな見積もりができます。

クォータの構造とエラーの読み方

クォータには「引き上げ可能なもの」と「変更できないシステム上限」の 2 種類があります。代表的な値は次の通りです（2026-08 時点。プロジェクト単位が既定）。

クォータ・上限の実測値は Google Cloud コンソールの「IAM と管理」→「割り当て」ページ、または各ジョブ種別のドキュメントに記載の「現在の使用量を表示」リンクから確認できます。上限が近いか不安なら、まずは INFORMATION_SCHEMA.JOBS で自分たちの実際のジョブ量を数えるのが早道です。

エラーが発生したら error_result.reason を見て種類を切り分けます。

リザベーションと組織運用の型

継続的に大きなワークロードを抱えるなら、オンデマンド課金ではなくリザベーション（スロットの予約）を使い、プロジェクトを予約にassignment（割り当て）します。assignment には job_type を指定でき、同じ予約でも用途別に振る舞いを分けられます。代表的な job_type は QUERY（既定値）・CONTINUOUS（継続クエリ）・PIPELINE（ロード・エクスポート・コピー等のバックグラウンドジョブ）・BACKGROUND・ML_EXTERNAL です。

-- プロジェクトを予約に割り当てる（job_type で用途を分ける）
CREATE ASSIGNMENT
  `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME.ASSIGNMENT_ID`
OPTIONS (
  assignee = 'projects/PROJECT_ID',
  job_type = 'PIPELINE'
);

割り当て直後にクエリを実行すると、反映まで最大 5 分ほどオンデマンド課金のまま実行される場合があります。またプレビュー機能として、予約に対するプロジェクトキャップ（scheduling_policy_max_slots / scheduling_policy_concurrency）を CREATE ASSIGNMENT の追加オプションで設定でき、同じ予約を使うプロジェクトごとにスロット消費や同時実行数を個別に制限できます。

組織運用では、この技術要素を次のような型に落とし込みます。

• 環境分離 — dev / staging / prod をプロジェクト単位で分け、クォータ超過や事故のブラスト半径をプロジェクトの外に漏らさない
• 命名規約 — プロジェクト ID・データセット名・予約名に環境や用途を機械的に判別できる接頭辞を持たせ、INFORMATION_SCHEMA での横断集計をしやすくする
• ラベルによるコスト配賦 — データセット・テーブル・予約・ジョブに team:analytics のようなラベルを付け、請求データやこの章で書く INFORMATION_SCHEMA クエリで部門別に費用を按分する

ラベルはキー・値ともに小文字英数字とアンダースコア・ダッシュのみ（国際文字も可）で、キーは 1〜63 文字、値は 0〜63 文字、1 リソースにつき最大 64 個まで付けられます。キーはリソース内で一意である必要があります。

bq mk --location=US --dataset PROJECT_ID:handson_ch17

-- 処理: 約 6 MB
SELECT corpus, SUM(word_count) AS total_words
FROM `bigquery-public-data.samples.shakespeare`
GROUP BY corpus
ORDER BY total_words DESC
LIMIT 5;

-- 処理: 約 6 MB
SELECT word, word_count
FROM `bigquery-public-data.samples.shakespeare`
WHERE corpus = 'hamlet'
ORDER BY word_count DESC
LIMIT 10;

SELECT
  job_id,
  creation_time,
  total_bytes_billed,
  total_slot_ms,
  cache_hit
FROM `region-us`.INFORMATION_SCHEMA.JOBS
WHERE job_type = 'QUERY'
  AND state = 'DONE'
  AND creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
ORDER BY total_bytes_billed DESC
LIMIT 10;

bq rm -r -f -d PROJECT_ID:handson_ch17

bq mk --location=US --dataset PROJECT_ID:handson_ch17

CREATE OR REPLACE TABLE `PROJECT_ID.handson_ch17.hamlet_words` AS
SELECT word, word_count
FROM `bigquery-public-data.samples.shakespeare`
WHERE corpus = 'hamlet';

CREATE OR REPLACE TABLE `PROJECT_ID.handson_ch17.all_words_snapshot` AS
SELECT word, corpus, word_count
FROM `bigquery-public-data.samples.shakespeare`;

SELECT
  table_name,
  total_rows,
  ROUND(total_logical_bytes / POW(1024, 2), 3) AS logical_mb,
  ROUND(active_logical_bytes / POW(1024, 2), 3) AS active_mb,
  storage_last_modified_time
FROM `region-us`.INFORMATION_SCHEMA.TABLE_STORAGE
WHERE table_schema = 'handson_ch17'
ORDER BY total_logical_bytes DESC;

bq rm -r -f -d PROJECT_ID:handson_ch17

bq mk --location=US --dataset PROJECT_ID:handson_ch17

-- 存在しないテーブルを参照するため notFound で失敗する（スキャンなし・課金なし）
SELECT * FROM `PROJECT_ID.handson_ch17.does_not_exist_yet`;

SELECT
  job_type,
  state,
  error_result.reason AS error_reason,
  COUNT(*) AS job_count
FROM `region-us`.INFORMATION_SCHEMA.JOBS
WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
GROUP BY job_type, state, error_reason
ORDER BY job_count DESC;

-- 直近の失敗ジョブの詳細（reason と message）
SELECT job_id, error_result.reason, error_result.message
FROM `region-us`.INFORMATION_SCHEMA.JOBS
WHERE state = 'DONE' AND error_result IS NOT NULL
ORDER BY creation_time DESC
LIMIT 5;

bq rm -r -f -d PROJECT_ID:handson_ch17

bq mk --location=US --dataset PROJECT_ID:handson_ch17
bq update --set_label team:analytics PROJECT_ID:handson_ch17

bq query --use_legacy_sql=false \
  --label team:analytics \
  --label env:handson \
  'SELECT corpus, COUNT(*) AS row_count
   FROM `bigquery-public-data.samples.shakespeare`
   GROUP BY corpus'

SELECT
  label.value AS team,
  COUNT(*) AS job_count,
  SUM(total_bytes_billed) AS total_bytes_billed
FROM `region-us`.INFORMATION_SCHEMA.JOBS,
  UNNEST(labels) AS label
WHERE label.key = 'team'
  AND creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
GROUP BY team
ORDER BY total_bytes_billed DESC;

bq rm -r -f -d PROJECT_ID:handson_ch17

つまずきポイント

理解度チェック

まとめと次章へ

• ジョブは PENDING → RUNNING → DONE で進み、bq ls -j / bq show --job=true / bq cancel で追跡・操作できる
• INFORMATION_SCHEMA はデータセット・リージョン・プロジェクトの 3 修飾子でスコープを指定する読み取り専用ビュー群。JOBS は高額クエリ・失敗傾向、TABLE_STORAGE はストレージ肥大・未使用テーブルの定番クエリに使う
• JOBS と JOBS_BY_USER、ORGANIZATION/FOLDER/PROJECT スコープは必要な IAM 権限の強さが異なるので、見たい範囲に応じてビューを選ぶ
• エラーは error_result.reason で種類を切り分け、message で詳細を確認する。quotaExceeded・rateLimitExceeded・resourcesExceeded・billingTierLimitExceeded は原因も対処もそれぞれ異なる
• リザベーションの assignment は job_type で用途別にワークロードを分離でき、ラベルは組織のコスト配賦をそのまま INFORMATION_SCHEMA クエリに落とし込める
• 料金モデルの詳細は第 7 章（料金モデルとコスト管理）、監査ログによる「誰が何を読んだか」の追跡は第 16 章（セキュリティとガバナンス）を参照

• INFORMATION_SCHEMA の概要
• JOBS ビュー
• JOBS_BY_USER ビュー
• TABLE_STORAGE ビュー
• クォータと上限
• エラーメッセージ一覧
• ジョブの管理
• BigQuery の監視の概要
• リザベーションの割り当て
• ラベルの概要