AWS Glue のクローラーでデータカタログを作り Athena で引く

前提条件

1. リージョン: ap-northeast-1（東京）
2. AWS マネジメントコンソールにログイン済みで、S3・AWS Glue・Athena を操作できる権限があること
3. クローラー用の IAM ロールをコンソールから作成するため、IAM ロールとポリシーを作成できる権限（iam:CreateRole、iam:CreatePolicy、iam:AttachRolePolicy）があること

AWS Glue のコンソールは、言語設定を日本語にしていても英語で表示されることがあります。本記事の Glue の手順は、画面の英語表記のまま記載しています。

作成するリソース一覧

> S3 バケット名はグローバルで一意にする必要があるため、<アカウントID> の部分をご自身の AWS アカウント ID に置き換えてください。

サンプルデータを用意する

ローカルマシンで、以下の内容を orders_2026_04.csv として保存します。数値の列を含めておくと、クローラーが 1 行目をヘッダーと判定しやすくなります。

order_id,order_date,store,product,quantity,unit_price
1001,2026-04-01,tokyo,banana,12,150
1002,2026-04-01,osaka,apple,5,220
1003,2026-04-02,tokyo,orange,8,180
1004,2026-04-03,fukuoka,banana,20,150
1005,2026-04-03,osaka,banana,7,150
1006,2026-04-04,tokyo,apple,3,220
1007,2026-04-05,fukuoka,orange,10,180
1008,2026-04-05,tokyo,banana,15,150

あわせて、後半で追加するファイルとして、以下の内容を orders_2026_05.csv として保存しておきます。

order_id,order_date,store,product,quantity,unit_price
1009,2026-05-01,osaka,orange,6,180
1010,2026-05-02,tokyo,banana,25,150
1011,2026-05-02,fukuoka,apple,4,220

S3 バケットを作成して CSV をアップロードする

1. AWS マネジメントコンソールにログインし、リージョンが ap-northeast-1（東京）であることを確認します
2. 上部の検索バーに S3 と入力し、表示された「S3」を選択します
3. 左側ナビゲーションの「汎用バケット」を選択し、「バケットを作成」をクリックします
4. バケット名に glue-handson-data-<アカウントID> と入力します
5. その他の項目はデフォルトのままにし、ページ下部の「バケットを作成」をクリックします
6. 同じ手順で、クエリ結果の保存先として glue-handson-athena-results-<アカウントID> も作成します
7. バケット一覧から glue-handson-data-<アカウントID> をクリックして開きます
8. 「フォルダの作成」をクリックし、フォルダ名に orders と入力して「フォルダの作成」をクリックします
9. orders フォルダを開き、「アップロード」をクリックします
10. 「ファイルを追加」をクリックして orders_2026_04.csv を選択し、「アップロード」をクリックします

orders/ フォルダに orders_2026_04.csv が表示されればアップロード完了です。orders_2026_05.csv はこの時点ではアップロードしません。

Glue のデータベースを作成する

1. 上部の検索バーに Glue と入力し、表示された「AWS Glue」を選択します
2. 左側ナビゲーションの「Data Catalog」を展開し、「Databases」を選択します
3. 「Add database」をクリックします
4. 名前（Name）に glue_handson_db と入力します
5. その他の項目はデフォルトのままにし、「Create database」をクリックします

データベース一覧に glue_handson_db が表示されることを確認します。

クローラーを作成する

1. 左側ナビゲーションの「Data Catalog」を展開し、「Crawlers」を選択します
2. 「Create crawler」をクリックします
3. 「Step 1: Set crawler properties」で、名前（Name）に orders-crawler と入力し、「Next」をクリックします
4. 「Step 2: Choose data sources and classifiers」の「Data source configuration」で、「Is your data already mapped to Glue tables?」に「Not yet」が選択されていることを確認します（デフォルトです）
5. 「Add a data source」をクリックし、表示されたダイアログで以下を設定します
   • Data source: S3（デフォルト）
   • Location of S3 data: In this account（デフォルト）
   • S3 path: s3://glue-handson-data-<アカウントID>/orders/（「Browse S3」から orders フォルダを選んでも構いません）
   • Subsequent crawler runs: Crawl all sub-folders（デフォルト）
6. 「Add an S3 data source」をクリックします
7. 「Data sources」の一覧に S3 パスが追加されたことを確認し、「Next」をクリックします

1. 「Step 3: Configure security settings」の「IAM role」で、「Create new IAM role」をクリックします
2. 表示されたダイアログのロール名の入力欄には AWSGlueServiceRole- が入っています。その続きに glue-handson を入力して AWSGlueServiceRole-glue-handson にし、「Create」をクリックします
3. 「Existing IAM role」に AWSGlueServiceRole-glue-handson が選択されたことを確認し、「Next」をクリックします

コンソールから作成したロールには、AWS 管理ポリシー AWSGlueServiceRole と、指定した S3 パスを読み取るためのカスタマー管理ポリシー（AWSGlueServiceRole-glue-handson-<英数字>-s3Policy）が付与されます。

1. 「Step 4: Set output and scheduling」で以下を設定します
   • Target database: glue_handson_db
   • Crawler schedule の Frequency: On demand（デフォルト）
2. その他の項目はデフォルトのままにし、「Next」をクリックします

1. 「Step 5: Review and create」で設定内容を確認し、「Create crawler」をクリックします

クローラーを実行する

1. 作成したクローラー orders-crawler の詳細画面で、右上の「Run crawler」をクリックします
2. 下部の「Crawler runs」タブで、Status が「Completed」になるまで待ちます（今回は 1 分弱でした。画面右上の更新アイコンで表示を更新できます）
3. 実行結果の「Table changes」に「1 table change, 0 partition changes」と表示され、テーブルが 1 つ追加されたことを確認します

データカタログでスキーマを確認する

1. 左側ナビゲーションの「Data Catalog」を展開し、「Tables」を選択します
2. テーブル一覧に orders が表示されていることを確認し、orders をクリックします
3. 「Table details」で、Database が glue_handson_db、Location が s3://glue-handson-data-<アカウントID>/orders/、Classification が CSV になっていることを確認します
4. 下部の「Schema」タブで、CSV の 1 行目の列名（order_id、order_date、store、product、quantity、unit_price）が列名として登録され、それぞれにデータ型が推測されていることを確認します（今回は order_id・quantity・unit_price が bigint、order_date・store・product が string でした。order_date は日付に見えますが、date 型ではなく string になります）

テーブル名は、クロール対象にしたフォルダ名 orders から付けられています。列名が col0、col1 のようになっている場合は、1 行目がヘッダーとして判定されていません。CSV の内容を見直してください。

Athena のクエリ結果の保存先を設定する

1. 上部の検索バーに Athena と入力し、表示された「Athena」を選択します
2. 初回アクセス時は「クエリエディタを起動」をクリックします
3. 上部の「クエリ設定」タブを選択し、「クエリ結果の暗号化」の右にある「管理」をクリックします
4. 「クエリ結果の場所」に s3://glue-handson-athena-results-<アカウントID>/ と入力します（「S3 を参照」からバケットを選んでも構いません）
5. その他の項目はデフォルトのままにし、「保存」をクリックします

Athena でクエリする

1. 上部の「エディタ」タブを選択します
2. 左側パネルの「データソース」が AwsDataCatalog、「データベース」が glue_handson_db になっていることを確認します（違う場合はドロップダウンから選択します）
3. 「テーブル」に orders が表示されていることを確認します

Athena 側で CREATE TABLE を書いていないのに、クローラーが登録したテーブルがそのまま見えています。

1. クエリエディタに以下の SQL を入力し、「実行」をクリックします（2 回目以降は同じボタンが「もう一度実行する」と表示されます）

SELECT * FROM orders LIMIT 10;

1. 結果タブに 8 件のデータが表示され、1 行目のヘッダーがデータとして混ざっていないことを確認します

続けて、店舗別の売上を集計します。

1. クエリエディタに以下の SQL を入力し、「実行」をクリックします

SELECT
  store,
  COUNT(*) AS order_count,
  SUM(quantity * unit_price) AS total_sales
FROM orders
GROUP BY store
ORDER BY total_sales DESC;

1. 結果タブに店舗ごとの注文件数と売上合計が表示されることを確認します
2. 「クエリ結果」タブの上部に表示される「スキャンしたデータ」で、このクエリが読み取ったデータ量を確認します

Athena の料金は、クエリがスキャンしたデータ量に応じて決まります。スキャン量はメガバイト単位に切り上げられ、1 クエリあたり最小 10 MB として計算されます。なお、CREATE TABLE などの DDL や失敗したクエリには課金されません。

ファイルを追加して再度クエリする

データカタログのテーブルは「orders/ フォルダのデータ」を指しているため、同じ形式のファイルを同じフォルダに追加すれば、クローラーを再実行しなくても Athena の結果に反映されます。

1. S3 コンソールで glue-handson-data-<アカウントID> の orders フォルダを開き、「アップロード」から orders_2026_05.csv をアップロードします
2. Athena のクエリエディタに戻り、以下の SQL を入力して「実行」（または「もう一度実行する」）をクリックします

SELECT
  substr(CAST(order_date AS varchar), 1, 7) AS order_month,
  COUNT(*) AS order_count
FROM orders
GROUP BY 1
ORDER BY 1;

1. 結果タブに 2026-04 が 8 件、2026-05 が 3 件と表示され、追加したファイルの行も集計されていることを確認します

列を増やすなどスキーマが変わる場合や、パーティション（year=2026/ のようなフォルダ分け）を新しく追加した場合は、クローラーを再実行してデータカタログを更新します。