データの前処理

Pythonを使って大量のCSVファイルを一度に読み込み、pickleファイルに保存して高速化する方法を解説します。これにより、次回からのデータの取り扱いが迅速になり、データの前処理時間を大幅に削減することができます。

「pythonを用いた単変量の外れ値除去」についてわかりやすく解説します。外れ値を除去する３つの手法について、比較しながらそれぞれの特徴について詳しく解説します。

「プロセスデータの平滑化（savgol_filter）」についてわかりやすく解説します。本記事では、Savitzky-Golay法という平滑化手法を紹介し、最適な平滑化パラメータの決定方法について具体的に解説していきます。

「プロセスデータの特徴量エンジニアリング」についてわかりやすく解説します。pythonを使ってプロセスデータに特有の特徴量を作り出す手段として、時間遅れ変数（ラグ特徴量）、二乗項、交差項の作成方法を紹介します。

「pandasによるプロセスデータの抽出方法」についてわかりやすく解説します。特徴量（列）を指定して抽出したり、期間（行）を指定して抽出する方法を詳しく解説します。pandasを使った効率的なデータの取り扱いについて学びましょう！

pythonの標準化モジュールの作成方法ついて解説します。本記事では極力ライブラリを使用せず、自作した関数をモジュール化して標準化を行います。

ステップワイズ法による入力変数選択について解説します。回帰分析の変数選択手法として有名なステップワイズ法をpythonで実装してみました。初心者にも扱いやすい内容ですので、本記事を読みながらぜひ一度手を動かしてみてください。

pandasによるデータフレームの結合について解説します。現場のデータ解析では、異なるデータを一つのデータセットに結合する機会が多々あります。そこで、初心者にもわかりやすいよう図で解説しましたので、ぜひ参考にしてみてください。

本記事では、化学プラントの運転データに特化し、Pythonによるデータの読み込み方法を解説していきます。