インポート環境準備(load data LOCAL infile)・法人の基本３情報のデータ(法人番号)

国税庁が公開している「法人の基本３情報のデータ(法人番号)」データは膨大です。
レコードにして400万レコードを超えるデータで、
レンタルサーバーにWeb経由で取り込むのは地味に苦労しますが取込は可能です。
ここでは「load data LOCAL infile」を利用して取り込みを行う前の、
テーブル作成についてご紹介します。前準備です。

本記事は以下の一連作業の１コンテンツです。

ダウンロードデータの取り込み先準備

ダウンロードしたファイルは.zip形式で保存されます。
ファイルの中はそれぞれのエンコード方式のテキストデータです。

以下仕様書に従って、データベースの作成を行います。

リソース定義書（PDF形式）（Ver.3.0)　ダウンロード（PDF/261KB：k-resource-dl-ver3.pdf）

PDFの一覧の通りではありますが「項目の説明」列部分に、
「CSV形式で取得する場合は設定されない（XMLのみ）」といった記述がある項目は、
「ダウンロード」列に「〇」表記があってもCSVにその項目は含まれてきません。

ざっくりと私が取り込みを行った際のテーブル作成のSQLは以下のようにしています。
適宜、変更してご活用を。

Shift-JIS版のデータを取り込む場合

Shift-JIS版のデータを取り込む場合に悩んだのが、
MySQLで言うところの「sjis」なのか、sjis-for-windowsである「cp932」なのかです。

結論としては、どちらでも問題はありませんでしたが、
念のため、両方を記載いたします。

sjisエンコード利用

「sjis」を利用してデータを格納する場合、以下のテーブル定義で作業します。

cp932エンコード利用

「cp932」を利用してデータを格納する場合、以下のテーブル定義で作業します。

基本的にはWeb利用が目的ならUTF-8を利用されるのが主流になっていますし、
Unicode版を採用されたほうが後々は楽だろうと思います。

Unicode版を取り込む場合

Unicode版として公開されているCSVファイルが示す
Unicodeって・・・そもそも何？という部分は最初ありましたが、

MySQLへのインポートを行って表示を確認しましたところ、
MySQL的に表現すれば「utf8mb4」という文字コードの扱いで問題ありません。

以下は、MySQLWorkBenchから作成済みテーブルから生成したCREATE文です。
MySQLWorkBenchの仕様か、各カラムに「COLLATE utf8mb4_unicode_ci 」が出ていますが、
基本的には最下部の「ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;」のみで問題ありません。

尚、デフォルトの文字コードはUTF8の環境を利用しています。

テーブルの作成が済んだら、データの取り込みを行います。

後記

誰かこういうSQLコピペでサクッとテーブル作れるようにと、
公開してくれていればなぁと思ったりするんですけど、
検索すると意外と見つからないので、いつもメイン作業から脱線してしまいます。

なので、轍はちゃんと遺しておきたい。
次に通る人が楽になったらいい。

とはいえ、今やってる開発というか作業は、
別にこのデータを取り込むことが目的じゃないんですよね。

「法人名は取得できる」けど、そのキーが取得できないので、
そのままデータを格納すると、主キーが法人名か単なる連番を振るしかなくて。

そんな気持ち悪い状態でデータベースに格納できない。

ならキーを持ったテーブルを用意して、法人名で主キーを取るぞ！となり、

完全にドツボにハマっているというステータスにあります。
「主キーを取るぞ！」となった結果、460万件必要になるという鬱。

まぁ、やっちゃえば自DBでサクッと処理出来ていいんでしょうけど。とほほ。

本サイトで公開しているツールについては、
十分にテストは行っておりますが個人で作成している為、
潜在的なバグがないとは言い切れません。
その為、ツールを用いた結果については十分検証の上ご利用ください。
当サイトおよび、管理人は如何なる損害もその責を負いません。

当サイト内のコンテンツおよび画像において、
出典・引用の外部著作権者の明記がないものは、
すべて管理人による著作物です。
当サイトでご紹介しておりますコンテンツの著作権の放棄は致しません。

サイト内コンテンツを引用される際にはご連絡は不要です。
ただし、出典元として当サイト(個別記事)へのリンクをお願いいたします。
申し訳ございませんが、無断転載、複製をお断りさせて頂いております。

コンテンツを有益であると感じていただけましたら非常に光栄です。
ありがとうございます。