連載コラム『データ分析』

第7回 データ分析実践編②(最終回)

2016.09.29

データ分析、第7回目です。今回が最終回となります。
前回に引き続き、実際に簡単なテーマを設定して分析を実践してみたいと思います。

データ分析の流れ(おさらい)

まずはデータ分析の流れのおさらいです。

data_6_1課題・問題の発生!
data_6_2まず検証に必要なデータを集める
data_6_3データを綺麗にして分析できるようにする
data_6_4集計や可視化を行い、人が理解しやすいようにする
data_6_5なんらかの示唆や仮説を得る 
data_6_6予測や分類モデル(規則)を作る
data_6_7ユーザが利用できるようシステム化する

前回同様、この流れに沿って実際のテーマに取り組んでみましょう。

データ分析実践編

テーマ2:演説内容分析

前回とはガラッと変わって文章の分析を紹介します。
「テキストマイニング」という単語が注目されているように、文章や単語を分析して何かを発見したい、といったニーズも高まっています。

data_6_1課題・問題の発生

「総理大臣の演説内容から、総理がどのような演説を行い何に注目しているのかを調べたい」といったテーマを考えたいと思います。
演説でどのような単語が多く使われているかを分析してみましょう。

data_6_2データ集め

総理の演説内容は外務省のwebページにて公開されているため、そちらのデータを利用します。

data_6_3データを綺麗にする・分析できる状態にする

今回は単語に着目したいのですが、日本語の文章は単語と単語の間に区切りがありません。
「すもももももももものうち」という文章があった場合、人間なら

すもも / も / もも / も / もも / の / うち

data_7_8と理解できますが、コンピュータに区切り目はわかりません。

そこで、コンピュータに単語の辞書を与え、言葉ごとに分割できるようにする形態素解析という技術を用います。この技術により文章を分解して単語を抽出することができます。

data_6_4集計や可視化を行う
着眼点1:頻出ワード集計

単語単位に分割できたことで、どのような単語が多く使われているか集計することができます。ためしに頻出形容詞の集計を行ってみるとこのようになりました。
data_7_9
ポジティブな形容詞が多く出現しています。「新しい」や「力強い」が多く出現することから、熱のこもった演説である様子が想像できます。

頻出1位の「ない」も、「切れ目のない」、「遜色ない」や「~しなければならない」など、力強い文章に出てくるものでした。

着眼点2:単語の関連を調査

テキストマイニングでよく利用される考え方として共起性の分析があります。これはどの単語とどの単語が同時に登場しているか、ということに着目した分析手法です。
例えば今回、「日本」という単語とセットでどんな単語が登場しているか、というようなことを調べることができます。
data_7_10
日本と“近い”単語はこのようになりました。

「は」や「、」はひとまず置いておくとして、地名や国名に特徴が見られます。
ASEANや中央アジア、中南米が話題に挙がっていることがわかります。

505638共起は以前に連載で紹介したレコメンデーションにも使われる考え方です。

data_6_5示唆や仮説

これらの結果から仮説を導き出し、さらに分析を進めていくという流れです。

  • ASEANや中南米との連携を重視している?
  • 過去の総理大臣と比較すると頻出単語が異なるかもしれない。そこから総理大臣の特徴を現す単語がわかります。
data_6_6予測や分類モデル化
data_6_7システム化

また、集計結果や仮説の検証結果を活用することも考えられます。
例えば様々な議員の演説や発言を同様に分析し、単語の出現傾向から「発言の類似度を算出するモデル」ができたすると、総理大臣との主義主張の相違を明らかにしたり、類似の意見を持つグループを分類し、政策の検討や選挙の際の参考情報として活用したりすることができるかもしれません。


このようなテキスト分析は、企業での活用も急速に進んでいます。
例えば自社商品の評判を知るには、インターネット上に書かれる批評の記事、個人のつぶやき、SNS内での話題性などに着目するというようなことも多くの企業で行われていますし、SNSや個人のブログから流行の兆しを捕らえたり、顧客情報を収集したりすることでマーケティングに活用する例などがあります。

さいごに

7回に渡ってデータ分析のご紹介をしてまいりました。
最近、脚光を浴びているデータ分析というのがどういうものなのか、雰囲気だけでも伝われば幸いです。
data_7_11データ分析は思いもよらない答えをもってくる魔法の箱ではありません。
でも、何か新しい可能性を開く有効なきっかけになります。
新しい可能性から探す価値。
そのパートナーとして弊社をご指名いただければ幸いです。


データ分析サービス紹介ページはこちら
この連載のバックナンバーはこちら