【図解あり】ソフトセンサーの作成方法（学習方法も解説）

こんなお悩みを解決します。

どうも。こんにちは。
ケミカルエンジニアのこーしです。

本日は、「ソフトセンサーの作成方法」についてわかりやすく解説します。

ソフトセンサーが有用であることはわかっているけど、どうやって作成したら良いのか、またどんな勉強をしたら良いのかわからないという方が多いと思います。

本記事では、ソフトセンサーの作成方法と学習方法について体系的に解説しますので、興味のある方はぜひ読んでみてください。

ソフトセンサーとは何か、ソフトセンサーの役割については下の記事にまとめています。

【図解あり】ソフトセンサーとは　〜コスト削減の武器〜

続きを見る

この記事を書いた人

こーし(@mimikousi)

ソフトセンサーの作成方法

ソフトセンサー構築の流れを下記にまとめました。

それでは、一つ一つ具体的に解説していきます。

データ収集

データ収集のポイントは下記２点です。

１．質・信頼性の高いデータを集める

ソフトセンサーを構築するためには、まずデータを集めないといけません。

データが多ければ多いほどソフトセンサーの予測精度は向上します。

しかし、測定ノイズばかりのデータを集めていては精度の高いモデルを構築することは困難です。

よって、質・信頼性の高いデータを集める必要があります。

質・信頼性の高いデータを集めるために、考慮すべきことを下記にまとめました。

 

化学プラントを例にもう少し具体的に書くと下記の通りです。

 

２．ソフトセンサーを構築する目的を明確にする

ソフトセンサーを構築する目的によって、追求する予測精度が異なります。

例えば、品質規格ギリギリを攻めた運転管理をしたいという場合、要求する予測精度は高くなります。

一方、分析計の異常を検知したいという目的であればそこまでの予測精度はいらないでしょう。

また、品質規格ギリギリを攻める場合、品質規格近辺で運転した際のデータをたくさん集めてモデルを作成します。

つまり、「予測したい領域」のデータを十分に集めておくことが重要です。

 

データの前処理

データの前処理は、データ解析作業の８割を占めると言われるほど重要な作業になります。

代表的なデータの前処理を下記にまとめました。

１．外れ値除去

外れ値除去の方法としてはいくつかありますが、ソフトセンサー構築時に用いられる代表的な手法は下記３つです。

化学プラントではプロセスが周期的に変動している場合が多く、③が有効な場合が多い印象です。

①３シグマ法や②Hampel identifierについては下記記事でまとめています。

【エクセルでできる】外れ値の検出方法

続きを見る

 

２．ノイズ処理（平滑化）

ノイズ処理としては、下記３つがよく使われています。

移動平均をとるデータ数やSG法の多項式の次数、近似するデータ幅などのパラメータについては、ノイズの正規性を元に決定します。

詳しくは下記の記事を参考にしてみてください。

スペクトル・時系列データの前処理の方法～平滑化 (スムージング) と微分～

その他、PLSやSVRのようなノイズに頑健な回帰分析手法を用いるという手もありますね。

 

３．プロセス動特性の考慮

製造プロセスにおいて、各プロセス変数ｘは時間遅れを伴って目的変数ｙに影響を及ぼします。

よって、プロセス知識に基づいて、数時間または数分だけ過去の変数をモデル構築に用います。

例えば、目的変数ｙの前工程にあるプロセス変数（説明変数）であれば、滞留時間分（１時間とか）遅らせた変数をモデルに用います。

しかし、どのくらい時間遅れを考慮したら良いのかはっきりしない場合もあると思います。

その際は、次に説明する「変数選択」を組み合わせて試行錯誤的に時間遅れを決定します。

 

４．変数選択

目的変数ｙと関係のないプロセス変数ｘはモデルの精度を低下させる要因となります。

そこで、目的変数ｙと関係の深いプロセス変数ｘの組合せのみでモデルを構築する手法が開発されています。

代表的な変数選択手法を下記にまとめました。

ステップワイズ法

ステップワイズ法は、変数を取り込んだり取り除いたりしながら回帰モデルを構築し、ある評価指標が最適値となるような変数の組合せを探索する手法です。

評価指標としては、AICやBIC、RMSEなどが用いられます。

ステップワイズ法については、下記記事にまとめてあります。

【python】ステップワイズ法による入力変数選択

続きを見る

 

 LASSO

LASSO回帰は、正則化項と呼ばれる罰則項を設けることで過学習を防止できます。

この正則化項は、回帰係数の大きさを制限する役割を果たしますが、特にLASSO回帰では回帰係数がゼロに収束しやすいことから変数選択手法としても活躍します。

LASSOについては、下記記事が図解があってわかりやすいです。

スパースモデリングはなぜ生まれたか？ 代表的なアルゴリズム「LASSO」の登場

 

GA（遺伝的アルゴリズム）

遺伝的アルゴリズム（GA）は、自然界の進化を模倣して最適化問題を解決するアルゴリズムです。

GAWLSは、スペクトル解析分野において遺伝的アルゴリズムを用いて最適な波長を選択する手法です。

そして、GAVDSはGAWLSを改良し、プロセス動特性を考慮したプロセス変数選択に使えるようにした手法です。

GAWLSやGAVDSについては、下記記事が参考になります。

[Pythonコードあり] スペクトル解析における波長領域や時系列データ解析におけるプロセス変数とその時間遅れを選択する方法

 

PLS-VIP

Variable Importance for Projection (VIP) は、PLS (Partial Least Squares) モデルにおいて、各変数の予測モデルに対する寄与度を評価するための指標です。

VIPは、PLS モデル構築中の変数選択に役立ち、モデルの予測性能を向上させることができます。

参考に、LASSOやステップワイズ法、GA、PLS-VIPを比較した資料を紹介します。

変数選択手法っていろいろあるけど、何を使えばいいの？

 

NCSC-VS

NCSC 法は、相関識別法（Nearest Correlation Method; NC 法） とスペクトラルクラスタリング（SC）  を組み合わせた手法で、変数間の相関関係に基づいてサンプルをクラスタリングします。

NCSC-VS（Nearest correlation spectral clustering based Variable Selection）は、NCSC法でクラスタリングしたグループ毎に変数選択をする手法です。

詳しくは下記文献を参照してください。

高精度ソフトセンサ開発に関する研究

 

Boruta

Borutaは、全ての特徴量を含む仮想的な特徴量群（shadow features）を生成し、ランダムフォレストを用いて、実際の特徴量と仮想的な特徴量群の間で、有意な差異があるかどうかを検定します。

Borutaについては下記記事を参考にしてみてください。

[解析結果付き] Boruta、ランダムフォレストの変数重要度に基づく変数選択手法

 

また下記書籍には、ステップワイズ法やLASSO、PLS、PLS-VIP、NCSC-VSについて、理論的な解説とPythonコードが載っています。

とても勉強になったので、興味があれば読んでみてください。

 

５．ｘやｙの変数変換

変数を解釈可能な次元に変換することも重要です。

例えば、ポリマー重合におけるMFR（Melt Flow Rate）をエネルギーの次元にするために対数変換することはよく知られています。

 

モデル構築

データの前処理が終わったら、いよいよモデル構築に移ります。

（実際は、モデル構築とデータ前処理は試行錯誤しながら同時に進めていきます。）

モデリング手法は大きく分けて３つに分類できます。

物理モデルを構築することができれば理想的ですが、実際のプロセスでは様々な外乱が存在し、物理モデルで精度の良いソフトセンサーを作成できることは稀です。

よって、世の中の大半のソフトセンサーが統計モデルを採用しています。

一方、統計モデルにも弱点があり、モデル構築時のデータ範囲外である外挿領域においては予測精度が大きく落ちてしまいます。

そこで、化学的・物理的な知識を取り入れたハイブリッドモデルを採用し、外挿領域でも良好な予測精度を維持させる例もあります。

 

ソフトセンサーによく用いられる統計モデルを下表にまとめました。

線形回帰手法	非線形回帰手法
最小二乗法（OLS）	Kernel PLS
主成分回帰（PCR）	人工ニューラルネットワーク（ANN）
部分的最小二乗回帰（PLS）	サポートベクター回帰（SVR）
リッジ回帰（RR）	ロジスティック回帰（LR）
LASSO	回帰木（RT）
	ガウス過程回帰（GPR）
	LightGBM

ソフトセンサーの精度向上のため、これまで様々な統計モデルの研究が行われてきました。

1990年代は、PLSとニューラルネットワークの研究が盛んに行われ、2000年代になるとサポートベクター回帰（SVR）が注目されました。

2010年代からはガウス過程回帰（GPR）と勾配ブースティング（LightGBMなど）がソフトセンサー構築に使われるようになっています。

 

モデル解析

モデル解析では、モデルの解釈とモデルの検証を主に行います。

モデルの解釈

構築したモデルの目的変数ｙへのプロセス変数（説明変数）ｘの寄与度から、対象のプロセス知識を得ることができます。

これは、ソフトセンサーの役割であるプロセス変数間の関係の解明に繋がります。

 

モデルの検証

モデルの検証では、モデル構築用（学習用）データとは別の検証用データに対しての予測精度を確認します。

ここで過学習（オーバーフィッティング）の有無をチェックしておきましょう。

また、ソフトセンサーが十分な性能を発揮できるデータ範囲（モデルの適用範囲）を確認することも重要です。

モデルの適用範囲外では、予測精度が落ちてしまうことを理解しておく必要がありますね。

 

モデル運用

モデル運用のポイントは、下記の３点です。

それでは、一つ一つ具体的に解説していきます。

１．モデルの劣化

ソフトセンサー作成において最も重要な問題が「モデルの劣化」です

下記のように、様々なプロセス特性の変化によってモデルの予測精度が低下してしまいます。

ここで、モデルの劣化のイメージ図を示します。

その他、プロセス特性の変化がA徐々に起こる場合とB急激に起こる場合にも分類できますね。

 

モデルの劣化への対応策

２．のようにモデルの劣化要因を特定し、それを踏まえたモデル構築・予測を行うのが理想です。

しかし、特定自体が難しいですし、要因が重なり合っている場合もあってなかなか難しいアプローチです。

よって、１．の適応型モデルの導入で対応するのが一般的です。

 

適応型ソフトセンサー

適応型モデルを用いたソフトセンサーを適応型ソフトセンサーと呼びます。

適応型モデルには下記３つの種類があります。

それぞれの特徴を下記にまとめました。

①Moving Window（MW）

同じプロセス状態と考えられる直近のデータのみを用いてモデルを構築・更新していく適応型モデルです。

逐次モデルを更新していくので、古いデータの影響がモデルに残ります。

よって、モデル劣化の③傾きの変化には強いですが、①②の値シフトや急激な変化には弱いです。

 

②Just-In-Time（JIT）

プロセス変数ｘのデータ空間においてデータが近いとプロセス状態も近いと仮定する適応型モデルです。

類似したデータのみを用いてモデルを構築したり、類似度に基づいてデータに重み付けしてモデルを構築します。

類似度としては下記を想定しています。

• ユークリッド距離
• マハラノビス距離
• 相関係数
• カーネル関数

MWとは異なり、古いデータの影響を受けにくい特徴がありますが、①ｙの値シフトや③傾きの変化には弱いです。

また、データベースにあるデータとの類似度を計算する必要があるため計算負荷が大きいというデメリットがあります。

 

③Time Difference（TD）

単純にｘとｙの時間差分の間で構築された適応型モデルです。

モデル劣化は①②値のシフトに対応可能で、値のシフトであれば急激な変化にも対応できます。

モデルを再構築しないので、過去の異常値の影響も受けず、計算負荷も小さいという特徴があります。

一方、MWと異なり③傾きの変化に弱いのが弱点です

 

モデル劣化の種類に応じて、どの適応型モデルを使うべきか簡単に表にまとめてみました。

モデルの劣化		MWモデル	JITモデル	TDモデル
種類	速さ
①ｙの値シフト	ゆっくり	○	×	○
	急激	×	×	○
②ｘの値シフト	ゆっくり	○	○	○
	急激	×	○	○
③傾き変化	ゆっくり	○	×	×
	急激	×	×	×

ｘとｙの傾きが変化しない場合は、モデル再構築を行わず異常値の影響を受けにくいTDモデルを用います。

しかし、傾きが変化する場合には対応できないため、安定時はTDモデルを使用し、TDモデルの予測誤差が大きくなった場合のみMWモデルに切り替えるといった手法があります。

 

２．データベース管理

MWやJITといった適応型モデルでは、変動の少ない安定したデータでモデルが更新され続けると、その後に大きなプロセス変動が起こると予測精度が急激に悪化してしまいます。

よって、幅広いデータを用いてモデルを更新していく必要があり、データベースの適切な管理が重要です。

具体的には、新しいデータが得られた際にデータベースに保存するかどうか判断する指標を導入します。

これをDMI（Database Monitoring Index）と呼びます。

ガウシアンカーネルを用いたDMIを下式に示します。

$$\text{DMI} = \frac{|y_i - y_j|^a}{\text{exp}(- \gamma\|\mathbf{x_i} - \mathbf{x_j}\|^2)}\tag{2}$$

\(a\)：\(ｘ\)に対する\(ｙ\)の重みを調整する変数
\(\gamma\)：ガウシアンカーネルのパラメータ

二つのデータが類似しているとDMIは小さくなります。

新しいデータに対してデータベース内の全データとDMIを計算し、その最小値が閾値より大きい場合のみデータベースに追加します。

 

しかし、DMIによるデータベース管理だけでは、「異常値」を取り除くことができず、異常値をモデルに混入させてしまうことでモデルの予測精度を悪化させてしまいます。

そこで、異常検出を考慮しながらデータベース管理をする必要があります。

例えば、異常検出モデルとして下記のような手法が用いられます。

 

３．予測誤差の推定

ソフトセンサーの運用では、ソフトセンサーの予測誤差がどの程度かを把握することが重要です。

今までにない運転条件であれば当然予測精度が落ちますし、想定していた予測誤差よりも実測値が大きくズレるような場合は、分析計の異常を疑う必要があります。

そこで、予測誤差を推定する具体的な方法を解説します。

 

ソフトセンサーの学習方法

ソフトセンサーの作成方法について解説してみましたが、よく分からない単語が出てきて理解しにくかったかもしれません。

ソフトセンサーはデータ解析技術の元に成り立つため、統計学や機械学習、Pythonを勉強しないといけません。

よって、学習方法についてまとめてみました。

必要な学問

必要な学問は、大きくわけて下記の3つです。

データを扱うため、どうしても統計学の知識が必要となります。

そして統計学を理解するためには、微分積分と線形代数の知識が必要です。

また、ソフトセンサー構築のためのデータ解析や実際に運用するためにはPythonなどのプログラミング言語の習得が必要です。

 

おすすめの学習方法

ソフトセンサーを作成するためのおすすめの学習方法は以下の通りです。

それでは、一つ一つ解説してみます。

１．ソフトセンサー入門を読む

ソフトセンサーの入門書といえば、「ソフトセンサー入門」一択です。

本記事も「ソフトセンサー入門」を参考に書いています。

ソフトセンサーの作成方法や注意点について体系的に学ぶことができます。

５．ケモメトリックスの内容を下記にリストアップしました。

下記を読んでみて、内容がピンとこなければ以下に紹介する勉強方法で勉強してみてください！

 

２．統計学を勉強する

ソフトセンサーに限らず、データ解析を必要とする技術には統計学の知識が欠かせません。

思いつくものを少しだけ列挙してみました。

統計学の勉強方法については下記の記事にまとめてあります。

いきなり難しい教科書に挑戦せず「急がば回れ」方式で、下記のような３STEPで学んでいきましょう。

【初心者向け】統計学のおすすめ本5選（特徴も解説！）

続きを見る

 

３．線形代数を勉強する

主成分分析やPLSなどを理解するためには線形代数の知識が不可欠です。

しかし、気負って難しい教科書を読む必要はなく、簡単な本で復習すれば問題ありません。

特にオススメは「意味がわかる線形代数」です。

統計学（主成分分析）の理解を意識して書かれている教科書だと勝手に思っています。

 

４．機械学習（多変量解析）を学ぶ

主成分分析やPLS、サポートベクターマシンなどを理解するためには多変量解析、機械学習を学ばないといけません。

後述の「化学系のpython教科書」でも紹介しますが、下記２冊を読めば理論的な部分とpythonコードの両方が学べます。

化学のためのPythonによるデータ解析・機械学習入門

スモールデータ解析と機械学習

 

理論的な部分を深掘りしたい方は、下記の２冊が特にオススメです。

多変量解析入門

はじめてのパターン認識

 

５．プログラミング（Python）を身につける

非エンジニアの方であれば、プログラミングを身につける必要があります。

初心者からソフトセンサーを実装しようとしたら、今ならPythonがオススメです。

pythonの学習方法については下記の記事にまとめてあります。

【初心者向け】データサイエンスのためのPython学習方法

続きを見る

 

６．化学系のPython教科書を読む

４．機械学習（多変量解析）を学ぶでも触れましたが、下記２冊を読めばpythonでソフトセンサーを実装できるようになります。

化学系でデータ解析をやるなら必読の２冊かもしれませんね。

 

参考文献

ソフトセンサー入門　（船津、金子共著）

本記事は、こちらの教科書を参考に書きました（良書だったので、２周読みました！）

ソフトセンサーの作成方法などについて興味がありましたら、ぜひ読んでみて下さい！

 

化学のためのPythonによるデータ解析・機械学習入門

pythonコードが非常に充実しており、化学系エンジニアがPythonを使ってデータ解析するなら、まず手に取って欲しい一冊です！

 

スモールデータ解析と機械学習

本書は、理論的な部分も詳しく解説してくれて、かつPythonコードも載っているのでとても気に入っている教科書です。