定型の分析の流れが知りたいな。
こんなお悩みを解決します。
どうも。こんにちは。
ケミカルエンジニアのこーしです。
せっかくデータ分析をするのなら、「意味のあるアウトプット」を出したいですよね?
しかし、データ分析を始める前の「課題設定」がうまく出来ないと、せっかくの分析が無駄になってしまいます。
本記事では、「データ分析の設計方法」について例題を用いてわかりやすく解説しますので、これからデータ分析を学びたいと考えている方は、ぜひ読んでみてください!
本記事の内容
- データ分析のプロセスとは
- データ分析の設計とは
- 「分析概念図」を描くための6つの手順
- 参考文献
この記事を書いた人
こーし(@mimikousi)
目次
データ分析のプロセスとは
手に入れたデータを”思いつき”で分析するのは、非常に危険です。
「どのような流れでデータを分析するのか」正しいデータ分析のプロセスを身につけましょう!
2つのデータ分析方法
データ分析には、下記の2種類の方法があります。
(1)仮説検証型データ分析
(2)探索的データ分析
(1)仮説検証型データ分析(基本)
仮説検証型データ分析とは、事前に仮説を立てて、その検証を行う分析方法です。
つまり、「どんなデータが必要か」というところから始まり、データ分析の基本的な手法になります。
仮説検証型データ分析の特徴
- データ分析の「分析概念図」をきっちり描く
- 必要なデータを見極めてから分析する
(2)探索的データ分析(応用)
探索的データ分析は、与えられたデータから、何かしらの関係性や法則を探し出す手法です。
目的と手段が逆転しやすいため、データ分析の応用と言えます。
よって、探索的データ分析は、下記のような状況で用いられます。
探索的データ分析の適用例
- 問題が複雑で、仮説が立てにくい
- 思いつきもしなかった要因を見つけ出したい
- データの種類がたくさんあり、どれが必要なのか判断できていない
分析の指針を見える化しておこう!
データ分析のプロセス
本記事では、(1)仮説検証型データ分析の設計方法を解説します。
データ分析のプロセスを図示すると下図のようになります。
データ分析のプロセス
①データ分析の設計
・目的:何のためにやるのか、何が知りたいのかを確認
・課題設定:仮説をたて、何をもって良しとするのかを決定
・データ収集:どのようなデータを集めるのかを決定
②データの前処理・可視化
・クレンジング、データ加工、データ結合
・データの可視化
・基本統計量(平均、標準偏差、最小値、最大値、相関係数など)の確認
③分析の実行
④評価・解釈
・分析結果の信頼性を確認
・先入観でゆがんだ解釈をしていないか確認
⑤結果の表現
・「要するに何が言えるのか」「何をすべきなのか」を明言
・グラフ、言葉で適切に表現
上記のデータ分析プロセスに従って実践することで、抜けや漏れ、無駄な作業を避けることができます。
本記事では、①データ分析の設計について詳細を解説していきます。
データ分析の設計とは
設計図なしでは、モノが作れないのと同じで、データ分析にも設計図が必要になります。
そこで、「分析概念図」を作成します。
分析概念図
①課題領域:何を決めるか(施策の決定)
②評価軸:何をもって施策を選択するか
③要因:何をもって施策の良し悪しを評価するか
分析概念図の例
上図のように、「分析概念図」を書いて見える形で残しましょう!
書いて残しておかないと、せっかく思いついたことも忘れてしまい、致命的なミス(漏れ)につながります。
「分析概念図」を描くための6つの手順
分析概念図を描くための手順を下表にまとめました。
手順 | 内容 |
1)課題領域の決定 | 「何に答えを出すべきか」を決める |
2)評価軸の決定 | 「何をもって良いとするか」を決める |
3)文章化(言語化) | 基本方針を文章にする |
4)要因の列挙 | 評価軸に影響しそうな要因を挙げる |
5)要因の選択 | 要因を取捨選択する |
6)課題の表現 | 全体像を図解する |
【参考】1000人受講、大阪ガス「ビッグデータ研修」を追体験
それでは、例題を使って一つずつ詳しく解説していきます!
【例題】
化学プラントの排水処理工程に、「新たに排水処理装置を導入し、排水負荷を下げる」ように上司から指示されました。
あなたは、どのような排水処理装置を導入すべきでしょうか。
1)課題領域の決定
依頼者(上司や顧客など)から言われたまま、無条件に「課題」を決めつけないことが大事です。
課題は通常、「上位概念」と「下位概念」の多層にわかれており、「課題"領域"」と呼ばれます。
①上位概念を考える
「なぜ、その課題を解きたいのか?」
「なぜ」を繰り返して上位概念を把握しましょう。
例題における課題は、「新たに排水処理装置を導入し、排水負荷を下げる」ですので、上位概念を考えてみましょう。
上位概念の例
①排水の成分Aが環境基準を超えそうだから
②排水処理のコストを削減したいから
③脱炭素の観点で、現状の排水処理方式は不適だから(重油をたくさん使うなど)
④排水から異臭がしているから
⑤現状の排水処理装置が老朽化しており、今にも壊れそうだから
「上位概念は何か」によって、どんな排水処理装置を入れるべきかが変わってくることがわかります。
例えば、①の場合、成分Aを確実に除去できる処理方式を選ぶ必要がありますし、③のような脱炭素の視点は必要ないことがわかります。
一方、⑤のように老朽化が問題であれば、実績のある現状の排水処理方式で新規購入するだけでよいですね。
厄介なのは、②のコスト削減です。
排水処理装置を入れるのは、基本的にコスト増加方向です。
よって、コストを下げたいのであれば、排水処理設備を導入するのではなく、排水の発生源を減らす施策を考えないといけない場合があります。
このように、課題は「解く」よりも「見極める」ことの方が大事です。
まず最初に「目的(何がしたいのか)」を確認し、その後に「課題(何を解決すべきか)」を選択しないといけません。
依頼された課題はもちろん、自分で考えた課題についても「要は何がしたいのか?」に立ち返って考える習慣を身につけましょう!
いきなり「目的は何ですか?」なんて言ったら角が立ちます。。
②下位概念を考える
ここでは、課題の上位概念が「排水の成分Aが環境基準を超えそうだから」だったとします。
そこで、下位概念(具体的な課題)についても考えておきましょう。
すぐに思いつかない場合は、「どこに(Where)」、「何を(What)」、「どうやって(How)」を意識して、考えてみましょう。
下位概念の例
・どこの工程に排水処理装置を導入すべきか
・どの処理方式を採用すべきか
・どのメーカーの装置にするか
・排水量・排水濃度をどこまで下げるか
・設備投資額はいくらくらいか
・ランニングコストはどのくらいか
ここで、上位概念や下位概念を探る優れた方法を紹介します。
それは、シンプルに「紙に書き出すこと」です!
多くの方は、頭の中に「もやもやとしたイメージ」が存在する状態だと思います。
その「もやもやとしたイメージ」を紙に書き出すことで、アイデアが明確になります。
面白いことに、自分が書いたその文字をキッカケに、新しいイメージがどんどん浮かんできます。
今からでも良いです。ぜひ実践してみてください!
A4紙を横向きにして、「思いつくがままに、箇条書き」で書くのが基本です!
用意するもの
- A4紙(裏紙の方が気軽にかけてオススメです!)
- ボールペン(水性の方がスラスラ書ける)
【例】
PCを使うと、どうしても思考が止まってしまいますので。。
③課題の基本情報を調べる
「上位概念」と「下位概念」を書き出したら、この段階で「課題の基本情報」を調べておきます。
「課題領域」を決定する上で、理解しておかないといけないことをざっくり調べます。
基本情報を調べる際のコツは、下記2点です。
基本情報を調べる際のコツ
- 極力、一次情報を得ること
- 集め過ぎない・知り過ぎないこと
一次情報というのは、誰のフィルターも通っていない「生の情報」です。
下記のように、現場に足を運び、自分の五感で情報をインプットしましょう。
- 報告書のグラフではなく、生データを眺める
- 装置であれば、稼働しているところを自分の目で見る
- 装置を使っている(運転している)人の話を聞く
また、情報を集めに時間をかけ過ぎないことです。
情報収集にかけるべき時間を決めてから調査した方が良いです。
疑問⇒調査、疑問⇒調査を繰り返すようなイメージですね。
闇雲に情報を集めるのは時間の無駄です。
時間をかけた分だけ報われる訳ではありません。(下図参照)
引用:イシューからはじめよ
また、「知り過ぎ」による弊害も無視できません。
何年も同じテーマを担当していると、新たなアイデアが浮かびにくくなります。
下図は、その状況を端的に表しています。
知識は、あるレベルを超えると、アイデアを生み出す上では障害になり得ます。
引用:イシューからはじめよ
④課題領域を決定する
ここまで来たら、やっと「課題領域」を決定できます。
例題における課題領域は、
「排水中の成分Aの濃度・量を下げるために、どこにどんな排水処理装置を入れるべきか」とします。
はじめ上司に言われた課題は、「新たに排水処理装置を導入し、排水負荷を下げる」でした。
しかし、上位概念と下位概念を考えることで、課題領域が少し明確になりました。
2)評価軸の決定
「どこにどんな排水処理装置を入れるべきか」を決める上での「評価軸」を決めていきます。
評価軸は、下記2通りの方法で見つけ出します。
①ボトムアップ式(具体⇒抽象)
②芋づる式(抽象⇒抽象)
①ボトムアップ式(具体⇒抽象)
例えば、評価軸として下記の3つが思い浮かんだとします。
- 装置の値段
- ランニングコスト
- メンテナンス費用
これは、「経済性」を表す評価軸であり、評価軸に「経済性」を組み入れるべきだとわかります。
②芋づる式(抽象⇒抽象)
逆に、抽象的な評価軸を1つ挙げて、そこから他の抽象的な評価軸を芋づる式に考え出す方法もあります。
例えば、「安全性」を評価軸に考えたとします。
そこで、「安全性さえ良ければ、なんでも良いのか?」と問いかけます。
そうすると、下記のようなアイデアが思いつきます。
- 「経済性」も重要だし、
- 「処理能力」も重要だし、
- 「作業性」も需要だし、
- 「デザイン(サイズ感など)」も重要かもしれない。
このように、芋づる式に考えていきます。
③評価軸の決定
上図に、「評価軸の抽出例」を示しました。
評価軸が多すぎると、分析が複雑になるため、2~4個までにしましょう。
評価軸がたくさん見つかったら、「抽象化」の出番です。
- 「作業性」と「安全性」はほぼ同じことを言っているのではないか?
- 「デザイン」は結局、「作業性」と「経済性」に内包されるのではないか?
このように、さらに抽象的な概念を考えることで、評価軸をさらに絞り込みます。
よって、例題における評価軸は下記の3つとします。
評価軸の例
- 経済性
- 安全性
- 処理能力
3)文章化(言語化)
課題領域と評価軸が決まったら、分析の方針を文章にして表現しましょう。
言葉で表現してみて、詰まるところがあれば、考えが明確になっていない場所であり、完成度が低いと言うことです。
言葉にすることで初めて、「課題をどこまで自分の中に落とし込めているのか」がわかります。
文章に出来ないのは自分の考えが定まってないだけなのです!!
それでは、例題の「課題領域」と「評価軸」を文章で表現してみましょう。
まず、骨格をいったん表でまとめてみます。
主語 | 私 |
課題領域 | 排水中の成分Aの濃度・量を下げるために、どこにどんな排水処理装置を入れるべきか |
評価軸 | 経済性・安全性・処理能力 |
そして、「分析の方針」を文章にまとめると、下記のようになります。
【分析の方針】
私は、「排水中の成分Aの濃度・量を下げるために、どこにどんな排水処理装置を入れるべきか」について、「経済性」と「安全性」と「処理能力」を考慮して決定します。
4)要因の列挙
「分析の方針」を文章で明確にしたら、次は要因を列挙していきます。
ここでも、「紙に書き出す」を実践しましょう!
今回は、「評価軸」をベースにアイデアをとことん書き出していきます。
ポイント
- 評価軸を明記することで、要因の抜けや漏れを防ぐ。
- 「質より量」を意識する。迷ったら書く!
- ダブっても良し。テンポ良く書き出す。
下図は、見やすいように書き直した図です。
これは作らなくても良いですが、あとで見返すときに便利ですね。
5)要因の選択
質より量を意識して、たくさん書き出したので、今度は「要因の選択」をしていきます。
付箋を使っても良いのですが、付箋は持ち歩いてないことが多く、無くしてしまうリスクもあるため、極力紙に書き出すことをオススメします。
たいした手間ではないので、何度も書き直すつもりでやってみてください。
ある程度固まったら、Power Pointに書き出して、微調整していきましょう。
要因の選択は、横軸に「重要度」、縦軸に「答えの出しやすさ」を取って、要因を並べ替えます。
「重要度」と「答えの出しやすさ」を同時に考えると混乱しやすいので、ひとつずつ仕分けしていきます。
①「重要度」で仕分けする
まず、横軸に「重要度」をとって、仕分けしていきます。
ポイント
- 意思決定に影響を与えるかどうか
- これが無いと説得力が無くなるかどうか
- 重要である理由が説明できるか
②「答えの出しやすさ」で仕分けする
次に、縦軸に「答えの出しやすさ」をとって、仕分けしていきます。
③分析する要因を決定する
上図の「目安」を元に、分析する「要因の選択」を行います。
6)課題の表現
最後に、「要因同士」の関係や「要因」と「評価軸」の関係を整理し、「分析概念図」を完成させます。
ここでも、Power pointを活用しましょう。
マインドマップでも良いですが、他人に見せることが目的の場合は、Power Pointを使った方が良いと思います。
- 要因の並べ替え
- 要因のグルーピング
- 要因ー要因、要因ー評価軸の関係性のメモ
を行って、分析概念図を完成させましょう!
【分析概念図の例】
これで、データ分析の設計図(分析概念図)が完成しました。
仮説検証型のデータ分析手法では、きっちりと「分析概念図」を作成してから、データ分析を行います。
ビジネスにおいては、データなし意思決定はあり得ません。
よって、本記事で解説した「データ分析の設計方法」は、仕事をする上で確実に必要になってくると思います。
身につけるまで、何度も読み返して見てください!
参考文献
この本をベースに本記事を書きました。
課題設定から、Excelでのデータ可視化、前処理方法を実践形式で学べます。
とても簡潔で実践に結びつきやすいので、新入社員の時に読んでおきたかったなと思いました。
新入社員〜若手社員にぜひおすすめです。
2) イシューからはじめよ
名著「シン・ニホン」の著者である安宅さんが執筆した本です。
「犬の道」という概念がとても有名ですね。
本物のデータ分析力が身に付く本と内容が近いので、一緒に読み進めるとより理解が深まると思います。
3) ゼロ秒思考
この本のおかげで、前よりも思考を整理できるようになりました。
著者が数十年の試行錯誤を経て確立した思考法を学ぶことができます。
全然、難しいことはないです。
「紙に書き出す」ことの威力を体感してみてください。
4) メモの魔力
この本も「書き出す」ことの重要性を説いています。
そして、「抽象化」の効用・威力を学ぶことができました。
また、この本は「自己分析」の本でもあります。
後悔しない人生を送るためにも、徹底的な「自己分析」を万人がやるべきだと感じました。
5) アイデアのつくり方
めちゃくちゃ短い本ですが、本質を端的にまとめてくれています。
実例を示したりなどして、文章を長くすること無く、読者に実際の行動(仕事)を促しています。
アイデアは、既存の要素の新しい組み合わせ以外の何ものでもない
アイデアのつくり方より引用