Love web applications » Perlで横浜市の区別年齢別人口データを自動入手する

こんにちは。今日もPerlを使った横浜市の人口データを収集を進めます♪

前回の記事「Perlで横浜市統計webから人口データを入手する」で、個別のHTMLソースファイルから目的の人口データを入手するスクリプトを作成しました。今回はこのスクリプトを拡張して、区別データを自動入手、ファイル書き出しまで行います。

横浜市の区別年齢別人口データを入手する

横浜市の区別年齢別の人口データは、下記のサイトに掲載されています。

http://www.city.yokohama.lg.jp/ex/stat/jinko/age/new/age-j.html

区名タブを押すと、区別の人口データが出て来ますよね。これらを手でコピペするのも大変なので、Perlで自動収集して、最後にJSONファイルで書き出すスクリプトを作成しました。

read_yokohama_stat.pl

#! /opt/local/bin/perl use strict; use warnings; use 5.012; use Encode; use HTML::TableExtract; use utf8; use LWP::Simple; use JSON qw( decode_json encode_json ); my $url_dir = "http://www.city.yokohama.lg.jp/ex/stat/jinko/age/new/"; my @file_keys = qw(age tsurumi kanagawa nishi naka minami konan hodogaya asahi isogo kanazawa kohoku midori aoba tsuzuki totsuka sakae izumi seya); my $browser = LWP::UserAgent->new(keep_alive=>3, timeout=>30); my @stat; foreach my $key (@file_keys) { # URLフレーズを作成する my $url = $url_dir . $key . "-j.html"; print $url, "\n"; # HTMLソースを入手する my $content = get_content_by_url($url); # HTMLソースから目的の人口データのみ入手する my $res = get_stat_from_html($content); # 結果を入れる配列にpush push(@stat, {'key' => $key, 'stat' => $res, }); # Webサイトへのアクセスするタイミングを1sec開ける sleep(1); } my $json = encode_json(\@stat); open(FILE, ">yokohama_stat.json") or die "Cannot open json file."; print FILE $json; close(FILE); sub get_content_by_url { my $url = shift; my $response = $browser->get( $url ); # 正常に読み込みできたか確認する if ( $response->is_success ) { my $content = decode('Shift_JIS', $response->content) or die "Decode html source code failed."; return $content; } else { die "Get html form web failed."; } } sub get_stat_from_html { my $content = shift; my $te = new HTML::TableExtract(headers => [qw(年齢（歳）総数)]); $te->parse($content) or die "Parse file by htmlextract failed."; my $ts = ($te->tables)[0]; my %nums; if(defined $ts and defined $ts->rows) { foreach my $row ($ts->rows) { print encode('utf-8', join(": ",@$row)), "\n"; my $age; # 行見出しが0-5歳に該当する場合をそれぞれPickup（見出し数値は全角表記されている） if ($row->[0] eq '総数' ) { $age = "TTL"; } elsif ($row->[0] eq '０' ) { $age = 0; } elsif ( $row->[0] eq '１' ) { $age = 1; } elsif ( $row->[0] eq '２' ) { $age = 2; } elsif ( $row->[0] eq '３' ) { $age = 3; } elsif ( $row->[0] eq '４' ) { $age = 4; } elsif ( $row->[0] eq '５' ) { $age = 5; } else { next; } # 桁区切り文字を取り除いて、再度文字列として連結した後で数値に変換。Validationも兼ねて行う my $num = join('', split(/,/,$row->[1])) + 0 or die "The population number invalid."; # 結果をhashに追加 $nums{$age.""} = $num; } } return \%nums; }

L40〜のget_content_by_urlで、WebサイトにアクセスしてHTMLソースを入手するsubルーチンが定義されています。

L54〜のget_stat_from_htmlは、前回記事で作成したスクリプトをほぼ流用しています。↑のHTMLソースコードから、０−５歳各年齢別人口と総計値を入手してhashテーブルにまとめるsubルーチンです。

L16〜のforeachループで、上の２つのsubルーチンを呼び出して、行政区毎に処理を行うようにしてあります。

・・・

JSONファイルが出来ました♪

次はこのJSONファイルを元にD3.jsを使ってグラフでも描いてみようかと思います。

それでは、よい１日をお過ごしください♪