最近、機械学習と人工知能技術がデータ分析の分野で果たす役割が増大しています。そして、chatgpt は、この分野で最も人気のある人型チャット AI です。ただし、chatgpt は多くのデータ サイエンティストやアナリストにとって最適なツールではありません。それに対して、pandas 、sk-learnは、大量のデータを簡単に処理、分析できるPythonのデータ分析ライブラリであるため、データサイエンティストに愛用されています。
この記事では、chatgpt と pandas を併用する場合の 3 つの主なシナリオ(データ クリーニング、データ視覚化、特徴エンジニアリング)を紹介します。
この記事のすべてのコードは「Knowledge AI Q&A」からのものです。次の例は、各シナリオでのアプリケーションを示しています。ここで簡単に説明しますが、「AIを知っていますか?」の質問と回答は、この深さの応用に限定されません。
次の例はすべて、支援プログラミングのコード生成モジュールを使用しています。
- データクリーニング
データ クリーニングはデータ分析の重要な部分です。データ分析では、収集したデータに重複データ、欠落データ、または不規則なデータが多数存在する可能性があります。データの正確性と信頼性を確保するには、データをフィルタリングしてクリーンアップする必要があります。
たとえば、アドレス帳情報を含むデータがある場合、「電話番号」、「電子メール」、「ID 番号」などの情報をクリーニングし、繰り返し値、NULL 値、不正な形式のデータでマークする必要があります。。
- 「コード生成」モジュールをクリックして、要件と生成する必要があるスクリプト言語を入力します。
2. 生成されたコードの品質を評価し、コードに統合します。
2. データの視覚化
データ分析のもう 1 つの重要な部分は、データの視覚化です。データを視覚化することで、データをより深く理解することができます。
たとえば、企業の株価や収益性の変化を記述するコードを生成する財務データを考えてみましょう。棒グラフ、折れ線グラフ、散布図が含まれます。
3. 特徴量エンジニアリング
機械学習において、特徴量エンジニアリングは最も重要なタスクの 1 つです。このタスクでは、データ内の主要な特徴を特定して抽出するために、賢い特徴エンジニアリング手法を利用する必要があります。chatgpt を使用すると、データ内の特徴、属性、関係のPythonコードを説明するテキストを生成できます。特徴量エンジニアリングの内容は数多くありますが、この記事ではよく使われるいくつかの手法を簡単に紹介します。
- 線形回帰は傾きと分散を計算します
2. データ密度計算の正常状態・期間
DBSCAN は、典型的な (正常な状態の) 特徴を抽出するためのクラスタリング - データ密度 (DBSCAN) に基づいて、サンプル セットの密度を記述する近傍セットに基づく空間クラスタリング アルゴリズムであり、十分な密度を持つ領域をクラスターに分割します。
3. 相関分析は特徴間の関係を計算します
ピアソン相関 (ピアソン相関) は、特徴と応答変数の間の関係を理解するのに役立つ最も単純な方法です。この方法は変数間の線形相関を測定し、結果の値の範囲は [ -1 ,1 ] [ -1 ,1 です。 ][-1,1]、-1 は完全な負の相関を意味し、+1 は完全な正の相関を意味し、0 は線形相関がないことを意味します。
4. 正規化と標準化
現実的なデータには一般に単位があります。たとえば、高さの一般的に使用される単位はメートルとセンチメートルです。これらの状況はデータ分析の結果に影響します。この非次元化は、統一された寸法がメートルであることを意味するのではなく、それがどのようなものであっても問題ありません。メートルはまだセンチメートルであり、最終的には 1 になります。つまり、単位はありません。無次元化は、異なるサイズのデータを同じサイズに変換します。一般的な無次元化手法には標準化と正規化が含まれます
5. KMeans のクラスタリング
K-Means アルゴリズムの原理は、特定のサンプル セットについて、サンプル間の距離に従ってサンプル セットが K 個のクラスターに分割されることです。クラスター内の点をできるだけ近くに接続し、クラスター間の距離をできるだけ大きくします。
これらを組み合わせて使用することで、データ クリーニング、データ視覚化、特徴量エンジニアリングなどのさまざまなシナリオで役割を果たすことができます。最終的には、データをより適切に分析し、主要な特性を特定し、有意義な洞察を生成するのに役立ちます。
ChatGPTの力は、現在の人間の「非知覚型」知識のほとんどを学習していることです。ChatGPT と通信すると、比較的確実な答えと、質問に最もよく一致する知識が得られます。
