現場で使える化学工学・データ解析のノウハウ

雷電風雨のエンジニア

データの前処理

: Python データの前処理

【python】大量のcsvファイルをpickleに保存して高速化

2024/3/27 pickle, python

Pythonを使って大量のCSVファイルを一度に読み込み、pickleファイルに保存して高速化する方法を解説します。これにより、次回からのデータの取り扱いが迅速になり、データの前処理時間を大幅に削減することができます。

: Python データの前処理

【python】単変量の外れ値除去：3つの手法を比較

2024/4/6 python, 外れ値除去

「pythonを用いた単変量の外れ値除去」についてわかりやすく解説します。外れ値を除去する３つの手法について、比較しながらそれぞれの特徴について詳しく解説します。

: Python データの前処理

【python】プロセスデータの平滑化（savgol_filter）

2024/4/6 python, Savitzky-Goley法, 平滑化

「プロセスデータの平滑化（savgol_filter）」についてわかりやすく解説します。本記事では、Savitzky-Golay法という平滑化手法を紹介し、最適な平滑化パラメータの決定方法について具体的に解説していきます。

: Python データの前処理

【python】プロセスデータの特徴量エンジニアリング

2024/4/13 python, 特徴量エンジニアリング

「プロセスデータの特徴量エンジニアリング」についてわかりやすく解説します。pythonを使ってプロセスデータに特有の特徴量を作り出す手段として、時間遅れ変数（ラグ特徴量）、二乗項、交差項の作成方法を紹介します。

: Python データの前処理

【python】pandasによるプロセスデータの抽出方法

2024/4/13 python, データ抽出

「pandasによるプロセスデータの抽出方法」についてわかりやすく解説します。特徴量（列）を指定して抽出したり、期間（行）を指定して抽出する方法を詳しく解説します。pandasを使った効率的なデータの取り扱いについて学びましょう！

: Python データの前処理

【python】標準化モジュールを作成しよう！

2024/4/13 python, モジュール, 標準化

pythonの標準化モジュールの作成方法ついて解説します。本記事では極力ライブラリを使用せず、自作した関数をモジュール化して標準化を行います。

: Python データの前処理

【python】ステップワイズ法による入力変数選択

2024/4/13 python, ステップワイズ法

ステップワイズ法による入力変数選択について解説します。回帰分析の変数選択手法として有名なステップワイズ法をpythonで実装してみました。初心者にも扱いやすい内容ですので、本記事を読みながらぜひ一度手を動かしてみてください。

: Python データの前処理

【python】pandasによるデータフレームの結合(concat)

2024/4/13 concat, python

pandasによるデータフレームの結合について解説します。現場のデータ解析では、異なるデータを一つのデータセットに結合する機会が多々あります。そこで、初心者にもわかりやすいよう図で解説しましたので、ぜひ参考にしてみてください。

: Python データの前処理

【初心者向け】Pythonによるデータの読み込み方法

2024/4/13 python, データ読み込み方法

本記事では、化学プラントの運転データに特化し、Pythonによるデータの読み込み方法を解説していきます。

こーし

■ケミカルエンジニア
■化学メーカー勤務
■現場配属の生産技術
■化学工学技士、統計検定1級など
■化学工学 × データサイエンス
pythonと数理統計学を勉強中！

サイト内検索

サイトマップ

アーカイブ