Python データマイニングと機械学習

近年、Python プログラミング言語はますます多くの研究者に支持されており、複数のプログラミング言語ランキングで優勝を続けています。同時に、ディープラーニングの急速な発展に伴い、人工知能技術はさまざまな分野でますます広く使用されています。機械学習は人工知能の基礎であるため、一般的に使用される機械学習アルゴリズムの動作原理を理解し、Python を使いこなして実際の機械学習モデルを構築できることが、人工知能の研究を行う前提と基礎となります。

Pythonプログラミングと機械学習の理論とコード実装方法を学び、「基礎プログラミング→機械学習→コード実装」と段階的にマスターしていきます。

イノベーションのポイントを磨き上げる方法や、レベルの高い論文を発表する方法などを実際の事例を交えて紹介しています。学生が Python プログラミング、特徴エンジニアリング (データ クリーニング、変数次元削減、特徴選択、グループ最適化アルゴリズム)、回帰フィッティング (線形回帰、BP ニューラル ネットワーク、極限学習マシン)、分類認識の基本的な知識とスキルを習得できるようにすることを目的としています。 (KNN、ベイジアン分類、サポートベクターマシン、デシジョンツリー、ランダムフォレスト、AdaBoost、XGBoost、LightGBMなど)、クラスター分析(K-means、DBSCAN、階層的クラスタリング)、相関分析(相関ルール、協調フィルタリング、アプリオリアルゴリズム) )とPythonコードの実装方法について説明します。

Python プログラミングを始める

1. Python 環境を構築します (ダウンロード、インストール、バージョンの選択)。

2. Python エディターはどのように選択すればよいですか? (IDLE、Notepad++、PyCharm、Jupyter...)

3. Pythonの基礎(データ型と変数、文字列とエンコード、リストとタプル、条件判定、ループ、関数定義と呼び出しなど)

4. 一般的なエラーとプログラムのデバッグ

5. サードパーティモジュールのインストールと使用

6. ファイルの読み書き(I/O)

7. 実践的な演習

Python の進歩と改良

1. Numpy モジュール ライブラリ (Numpy のインストール、ndarray 型の属性と配列の作成、配列のインデックス付けとスライス、Numpy の共通関数の導入と使用)

2. Pandas モジュール ライブラリ (DataFrame データ構造、テーブル変換、ソート、スプライシング、融合、グループ化操作など)

3. Matplotlib の基本的なグラフィック描画 (折れ線グラフ、ヒストグラム、円グラフ、バブル チャート、ヒストグラム、箱ひげ図、散布図など)

4. グラフィックスタイルの美化(色、線種、マーク、フォント等の変更)

5. グラフィックレイアウト(複数のサブグラフ描画、規則的および不規則なレイアウト描画、キャンバス内の任意の位置に座標軸を追加)

6.高度なグラフィック描画(3Dグラフ、等高線図、綿棒グラフ、ダンベルグラフ、ファンネルグラフ、ツリーグラフ、ワッフルグラフなど)

7. 座標軸の高度な応用(共有描画領域の座標軸、座標軸スケールスタイルの設定、座標軸の表示制御、座標軸の位置の移動)

8. 実践的な演習

データクリーニング

1. 記述統計分析(データの度数分析:統計ヒストグラム、データの中心傾向分析:算術平均、幾何平均、最頻値、範囲と四分位差、平均分散、標準偏差、分散係数、データ分布:歪度係数、尖度、データ相関分析: 相関係数)

2. データの標準化と正規化 (なぜ標準化と正規化が必要なのですか?)

3. データの外れ値と欠損値の処理

4. データの離散化と符号化処理

5. 新しい機能を手動で生成する

6. 実践的な演習

可変次元削減

1. 主成分分析(PCA)の基本原理

2. 部分最小二乗法 (PLS) の基本原理

3. 事例演習

4. 実践的な演習

機能の選択

1. 共通の特徴選択方法 (最適化検索、フィルターおよびラッパーなど、前方および後方選択方法、間隔方法、非有益な変数の削除方法、通常のスパース最適化方法など)

2. 事例演習

3. 実践的な演習

グループ最適化アルゴリズム

1. 遺伝的アルゴリズム(Genetic Algorithm、GA)の基本原理(遺伝的アルゴリズムに代表される群最適化アルゴリズムの基本的な考え方とは? 粒子群アルゴリズム、トンボアルゴリズム、コウモリアルゴリズム、シミュレーテッドアニーリングアルゴリズム、などと遺伝的アルゴリズム)

2. 遺伝的アルゴリズムのPythonコード実装

3. 実践例 1: 単項関数の最適計算

4. 実践事例 2: 離散変数の最適計算 (特徴選択)

5. 実践的な演習

線形回帰モデル

1. 単線形回帰モデルと重線形回帰モデル(回帰パラメータの推定、回帰式の有意性検定、残差分析)

2. リッジ回帰モデル (動作原理、リッジパラメータ k の選択、リッジ回帰による変数の選択)

3. LASSOモデル(動作原理、特徴選択、モデリング予測、ハイパーパラメータ調整)

4. Elastic Netモデル(動作原理、モデリング予測、ハイパーパラメータ調整)

5. 事例演習

6. 実践的な演習

フィードフォワード ニューラル ネットワーク

1. BP ニューラル ネットワークの基本原理 (人工知能の開発プロセスにはどのような紆余曲折があったのか? 人工ニューラル ネットワークの分類とは何なのか? BP ニューラル ネットワークのトポロジーと学習プロセスとは何なのか? 勾配降下法とは何なのか)方法?BPニューラルネットワークのモデリングその性質は何ですか?)

2. BP ニューラル ネットワークの Python コード実装 (トレーニング セットとテスト セットを分割する方法?正規化はなぜ必要ですか?正規化は必要ですか?勾配爆発と勾配消失とは何ですか?)

3. BPニューラルネットワークパラメータの最適化(隠れ層ニューロン数、学習率、初期重みや閾値などをどう設定するか?交差検証とは?)

4. 研究する価値のあるいくつかの問題 (過小適合と過適合、汎化パフォーマンス評価指標の設計、サンプルの不均衡など)

5. Extreme Learning Machine (ELM) の動作原理

6. 事例デモンストレーション 7. 実践演習

KNN、ベイズ分類およびサポート ベクター マシン

1. KNN分類モデル(KNNアルゴリズムの核となる考え方、距離測定法の選択、K値の選択、分類決定ルールの選択)

2. 単純ベイジアン分類モデル (BernoulliNB、Naive Bayesian CategoricalNB、Gaussian Naive Bayesian besfGaussianNB、Multinomial Naive Bayesian MultinomialNB、Supplementary Naive Bayesian ComplementNB)

3. SVM の動作原理 (解決すべき SVM の本質は何ですか? SVM の 4 つの典型的な構造とは何ですか? カーネル機能の役割は何ですか? サポート ベクターとは何ですか? SVM の拡張知識 (多分類問題を解決するにはどうすればよいですか?)それに、他に何ができるでしょうか?)

4. 事例演習

5. 実践的な演習

デシジョン ツリー、ランダム フォレスト、LightGBM、XGBoost

1. デシジョン ツリーの動作原理 (Microsoft Xiaoice のインスピレーション、情報エントロピーと情報ゲインとは何ですか? ID3 アルゴリズムと C4.5 アルゴリズムの違いと関連性)、デシジョン ツリーはモデルの構築以外にも役立ちます。どうしたの?

2. ランダムフォレストの動作原理(なぜランダムフォレストアルゴリズムが必要なのか? 「ランダムフォレスト」とは広義と狭義の何を指すのか? 「ランダム」とはどこに反映されるのか? ランダムフォレストの本質とは何か? 視覚化する方法フォレストのランダムフォレスト結果を解釈しますか?)

3. バギングとブースティングの違いと関連性

4. AdaBoost と Gradient Boost の仕組み

5. 一般的に使用される GBDT アルゴリズム フレームワーク (XGBoost、LightGBM)

6. 事例演習

7. 実践的な演習

K 平均法、DBSCAN、階層的クラスタリング

1. K-means クラスタリング アルゴリズムの動作原理

2. DBSCAN (Density-Based Spatial Clustering of Applications with Noise) クラスタリング アルゴリズムの動作原理

3. 階層的クラスタリングアルゴリズムの動作原理

4. 事例説明

5. 実践的な演習

アソシエーション ルール協調フィルタリング アプリオリ アルゴリズム

1. 相関ルールアルゴリズムの動作原理

2. 協調フィルタリングアルゴリズムの動作原理

3. アプリオリアルゴリズムの動作原理

4. 事例説明

5. 実践的な演習

情報検索と共通の調査ツール

1. Google、YouTube、その他のウェブサイトに障壁なくアクセスするにはどうすればよいですか? (Google アクセス アシスタント、VPN など)

2. 文献を参照するにはどうすればよいですか? 最新の論文を確実に追跡するにはどうすればよいでしょうか?

3. Google ScholarとResearchGateの使い方

4. 論文に関連するデータとコードはどこに行けばよいですか?

5. 文献管理ツール (Endnote、Zotero など) の使用

6. コードでエラーが発生した場合、それを効率的に解決するにはどうすればよいですか?

7. 実践的な演習

1. SCI の異なる部門の論文間の違いは何ですか? なぜ紙が薄く見えるか知っていますか?

2. 査読者の観点から、SCI ジャーナル論文にはどのような要素が必要ですか? (査読者の懸念は何ですか?査読者のコメントにどう対応しますか?)

3. イノベーションのポイントをどのように調整して活用するか? (アルゴリズムレベルで独自の作品を作ることが難しい場合、自分自身の実際的な問題と組み合わせて革新的なポイントをどのように改良して活用するか?)

4. 関連する学習教材の共有とコピー(書籍の推奨、オンラインコースの推奨など)

5. 後のディスカッションや Q&A のために WeChat グループを確立する

6. 質疑応答(事前に質問を用意しておきます)

おすすめ

転載: blog.csdn.net/weixin_46433038/article/details/132054662