経験と一般的なアルゴリズム機械学習アルゴリズム式

これは特に良い私の交通の一部ですので、私はダウン抜粋します

面接の過程で実際には、これらのアルゴリズムの処理に関する基本的な考え方を理解して十分ではありません、インタビュアーは、多くの場合、これらのトピックを尋ねる社内業務の一部は、多くの場合、これらのアルゴリズムの理論的なコースを理解するだけでなく、あなたを必要としていますだけでなく、その上のアルゴリズムの長所と短所、機会がそれを使用するかを、それを使用するだけでなく、アシスタントの経験や方法に精通。端的に言えば、ポイントは理論であることを、ほかのアプリケーションを指していますだけではない、なぜなら各インタビュアーの趣味、それは少し深さに必要ですが、また少し幅、または不運を簡単に洗い流すことができます。

インテリジェントな意思決定は次のように重要な性能、されたデータベースの私たちがどのような状況下で何をしますか：として「トリガー」の概念は、その意味を表現することができますか？MLフィールド「分類」という概念それに類似する、インテリジェントな決定は同様の分類と出発の意思決定の基準から判断した結果です。分類は、IF（）は（）ステートメントのように表すことができ、画像がBOOL、IF（特集> X）の論理的な組み合わせとして表されそして（ClassLabel = 1）、意思決定、およびトリガーはそう言うことができます。ルールから直接データを取得するために、パターン認識データ、機械学習、機械分類機能を使用すると、このステップ、暗黙的にモデルの方法によって明らかにルールをスキップします。

科学的な法律が検出ルールは、比較的少数の制約文法規則によって、複雑な意味論のように、複雑な方法の単純化された表現であり、正式な意味論の規則を習得、ターゲットを追いかけている - 構文、あなたは複雑に対処するためのストレージの少量を使用することができますシーンは、機械学習は、手続きの明示的または隠された複雑なシーンを探している暗黙のルール、モデルによって明らかです。

エキスパートシステムは、システムのルールは全く矛盾しないことを、完全性の最初の目標です。機械学習モデルの最初の目標は、完全な意思決定モデルは、より多くの空間サンプルを分類することができる汎化性能を、です。

ルールベースのエキスパートシステムは、ハードルールシステムでは、システムにおける知識のパフォーマンスの規則は、エキスパートシステムは、機械学習モデルの形で究極の表現を表すことができます。ルールの促進が際限なく増加させることができないにも関わらず、新たな目標が常に存在していることは知識獲得の源である、に対処することはできません - データは、意思決定を制限し、ルールが間違っているというわけではありません、ルールによって細分化することができます - 意思決定ツリーが完了するまでに分割します。

エキスパートシステムのルールは、新しいターゲットの障害に直面したとき、フィードバックが同じ状態「オンライン決定木」アルゴリズムにマッピングされている機械学習の分野では、「オンライン機械学習」のパフォーマンスに対応し、システムの規則性、完全性、完全なルールによって再構成することができます。

新しいシーンに関連した原因と結果を決定するために>インスタンス - アルゴリズムの拡張は、サンプルを追跡するために機械学習アルゴリズムの性能評価指標の一つ、機械学習アルゴリズムです。中間ステップのタイプおよびモデルに応じて、公知の種々に分割されます。「拡張性」、「一般」準同型数学システムにおけるレンジ拡張延性範囲の関数として、

>モデル - - サンプル場合はブラックボックスとしてモデルを決定するために、シーンの>新しいインスタンス、この、さえパラメータの意味を知らなくても良い結果を得ることができ、記述されたパラメータを使用して、ニューラルネットワークの代表者によって、ニューラルネットワークモデルを表現することができますこれは、この知性がそれを追求する価値がある代わりに「決定」の構造の使用が記載されていますか？

サンプル場合 - >モデル - >インスタンスこの方法の事前確率と事後確率は、ナイーブベイズ、ナイーブベイズ規則および理由を推定するために結果を使用し、デジタルを使用する可能性」である新たなシーンモデルとの間の関係を決定します「規則を記述するために、他のモデルは精度の限界のすべてを達成することができるある特定のエラーレートが存在しなければなりません。

もしサンプル - >モデル - >新しいシーンモデルのインスタンスが決定されるブール追加のロジックルール、決定木のような方法。決定木「と」操作の使用は、機能が再発の葉へのルートから完成された「そして」操作を使用して、階層ツリー構造の確立を優先順位付け、意思決定プロセスを完了します。オーバーフィッティング現象に結合された決定木が、その分割特性の明らかトポロジカルな制約のサンプルの分布により、その汎化性能は、意思決定空間はブロックに分割され、その異なる親との間の表面の分類は無関係残します。

　　サンプルは場合 - >モデル - >新しいシーンインスタンスが決定されたモデルは連続関数である、それは必要なフィッティング、線形回帰法です。

ナイーブベイズ：

　　注意すべき点がいくつかあります。

　　所与の特徴ベクトルの長さが異なっていてもよい場合は1、それは、例えば、に（ここでは、テキスト分類の例）正規化されたベクトルの長さを介して単語の文章、語彙の全体の長さの、その後長さ、対応する位置が必要です単語が表示された回数です。

　　2.次のように式であります：

　　条件付き確率の一つが独立したナイーブベイズ条件によって拡張することができます。そのことに注意することは、計算の方法は、仮定を前提ナイーブベイズを見て、

= 、

したがって、2つがあり、一つは、それらのサンプルの濃度Ciのカテゴリである、WJは、出現回数の和を見つけるために、サンプルの合計を分割するステップと、第二の方法は、出現WJの数を求める、それらのサンプルのCIカテゴリに集中することです合計は、サンプルのすべての機能の出現回数の合計で割っています。

　　場合3. 項目が0である場合、同時確率は、製品であってもよく、すなわち式2の分子は、通常の状態では1に初期化されるこの現象を回避するために0であり、0でありますもちろん、等しい確率を確保するために、分母は2に初期化し対応する必要があります（ここでは、それはクラス2であるため、分母プラスkは、全確率の公式を満足させることであるので、あなたがKを追加する必要がクラスkは、スムーズなラプラス用語で呼ばれる場合、それは、プラス2 ）。

　　ナイーブベイズの利点：

　　インクリメンタル訓練のためのマルチ分類タスクのための小規模な井戸のパフォーマンスに関するデータ。

　　短所：

　　式は、入力データの形式に非常に敏感です。

追伸：

第2の決定ツリー：

　　非常に重要なポイントは、決定木の枝の属性を選択し、その計算されている情報ゲインに注意を払う、それの深い理解することです。

　　次のようにエントロピーが計算されます。

　　nはn番目の分類カテゴリ表す（そして、このようなタイプ2の問題としては、想定されたn = 2）。我々はプロパティを分岐する前に、選択されていないエントロピーを計算することができるように、確率P1を計算し、サンプル全体に表示されているカテゴリ2サンプルP2。

　　XIは、現在分岐に使用プロパティを選択し、この時の分岐規則がある：XI = VX場合、試料は、ツリーのブランチに割り当てられ、他の分岐に進むと等しくない場合。もちろん、サンプルはおそらくブランチは二つのカテゴリー、二つのブランチが計算されているエントロピーH1とH2備えている、総エントロピーHは、分岐「= P1 * H1 + P2は*の後に計算さ H2。、その後、この情報ΔH= H-H」を得ます。原則についての情報を得るために、すべての属性のテスト側、ゲインこのブランチの属性として最大の属性を選択します。

　　ディシジョンツリーの利点：

　　計算の簡単、強い説明は、欠落している属性値、処理することができない関連の特性との比較のためにサンプルを処理します。

　　短所：

　　簡単に過剰適合（ランダムフォレストのその後の発生、オーバーフィッティングを減らします）。

三の.Logisticリターン：

　　ロジスティックは、線形分類器をソートするために使用され、警告は、次のとおりです。

　　1.ロジスティック関数式は次のとおりです。

　　その誘導体の形：

　　2. logsitc回帰法は、主に学習する最尤推定を用いているので、単一のサンプルの事後確率です。

　　サンプル全体の事後確率：

　　どこで：

　　：として、いくつかのさらなる簡略化を通じて、

　　3.実際には、損失関数-l（θ）であるので、我々は、勾配降下法を得るために使用することができる、最小の損失関数を作成する必要があります。勾配降下方程式は次のとおりです。

　　ロジスティック回帰の利点：

　　1、シンプル。

　　2、分類計算は、非常に小さい、非常に速く、低い記憶資源です。

　　短所：

　　1、簡単underfitting一般的な精度が高すぎません

　　図2は、2つのだけの処理分類（この派生ソフトマックス複数の分類に基づいて使用してもよい）、及び線形分離でなければなりません。

四の線形回帰：

　　線形回帰は、実際の回帰のために、ロジスティック回帰分類ではなく使用した、基本的な考え方は、もちろん、最適化のための誤差関数の形で最小二乗の勾配降下法を使用することで、また、正規方程式のパラメータによって直接得ることソリューション、結果は次のとおりです。

　　LWLR（ローカル加重線形回帰）では、計算式のパラメータは次のとおりです。

　　この時点で最適化があるので：

　　各回帰計算が少なくとも一度トレーニングサンプルを横断しなければならないので、このようLWLR及びLR異なる、LWLRは、ノンパラメトリックモデルです。

　　線形回帰の利点：

　　シンプル、簡単な計算。

　　短所：

　　非線形データに適合しません。

ファイブ.KNNアルゴリズム：

　　KNN最近傍アルゴリズムという、メインプロセスは以下のとおりです。

　　1.（ユークリッド距離、マハラノビス距離、等とメトリック共通距離）訓練および試験各サンプル点からサンプルを計算します。

　　2.上記ソート距離値のすべて。

　　最初のkの最小距離を選択3.サンプル。

　　4. k個のサンプルのラベルの投票は、最終的な分類カテゴリを取得します。

　　如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响。但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。

　　近邻算法具有较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。

　　注：马氏距离一定要先给出样本集的统计性质，比如均值向量，协方差矩阵等。关于马氏距离的介绍如下：

　　KNN算法的优点：

　　1. 思想简单，理论成熟，既可以用来做分类也可以用来做回归；

　　2. 可用于非线性分类；

　　3. 训练时间复杂度为O(n)；

　　4. 准确度高，对数据没有假设，对outlier不敏感；

　　缺点：

　　1. 计算量大；

　　2. 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；

　　3. 需要大量的内存；

六.SVM：

　　要学会如何使用libsvm以及一些参数的调节经验，另外需要理清楚svm算法的一些思路：

　　1. svm中的最优分类面是对所有样本的几何裕量最大（为什么要选择最大间隔分类器，请从数学角度上说明？网易深度学习岗位面试过程中有被问到。答案就是几何间隔与样本的误分次数间存在关系：，其中的分母就是样本到分类间隔距离，分子中的R是所有样本中的最长向量值），即：

　　经过一系列推导可得为优化下面原始目标：

　　2. 下面来看看拉格朗日理论：

　　可以将1中的优化目标转换为拉格朗日的形式（通过各种对偶优化，KKD条件），最后目标函数为：

　　我们只需要最小化上述目标函数，其中的α为原始优化问题中的不等式约束拉格朗日系数。

　　3. 对2中最后的式子分别w和b求导可得：

　　由上面第1式子可以知道，如果我们优化出了α，则直接可以求出w了，即模型的参数搞定。而上面第2个式子可以作为后续优化的一个约束条件。

　　4. 对2中最后一个目标函数用对偶优化理论可以转换为优化下面的目标函数：

　　而这个函数可以用常用的优化方法求得α，进而求得w和b。

　　5. 按照道理，svm简单理论应该到此结束。不过还是要补充一点，即在预测时有：

　　那个尖括号我们可以用核函数代替，这也是svm经常和核函数扯在一起的原因。

　　6. 最后是关于松弛变量的引入，因此原始的目标优化公式为：

　　此时对应的对偶优化公式为：

　　与前面的相比只是α多了个上界。

　　SVM算法优点：

　　可用于线性/非线性分类，也可以用于回归；

　　低泛化误差；

　　容易解释；

　　计算复杂度较低；

　　缺点：

　　对参数和核函数的选择比较敏感；

　　原始的SVM只比较擅长处理二分类问题；

七.Boosting：

　　主要以Adaboost为例，首先来看看Adaboost的流程图，如下：

　　从图中可以看到，在训练过程中我们需要训练出多个弱分类器（图中为3个），每个弱分类器是由不同权重的样本（图中为5个训练样本）训练得到（其中第一个弱分类器对应输入样本的权值是一样的），而每个弱分类器对最终分类结果的作用也不同，是通过加权平均输出的，权值见上图中三角形里面的数值。那么这些弱分类器和其对应的权值是怎样训练出来的呢？

　　下面通过一个例子来简单说明。

　　书中（machinelearning in action）假设的是5个训练样本，每个训练样本的维度为2，在训练第一个分类器时5个样本的权重各为0.2.注意这里样本的权值和最终训练的弱分类器组对应的权值α是不同的，样本的权重只在训练过程中用到，而α在训练过程和测试过程都有用到。

　　现在假设弱分类器是带一个节点的简单决策树，该决策树会选择2个属性（假设只有2个属性）的一个，然后计算出这个属性中的最佳值用来分类。

　　Adaboost的简单版本训练过程如下：

　　1. 训练第一个分类器，样本的权值D为相同的均值。通过一个弱分类器，得到这5个样本（请对应书中的例子来看，依旧是machine learning in action）的分类预测标签。与给出的样本真实标签对比，就可能出现误差(即错误)。如果某个样本预测错误，则它对应的错误值为该样本的权重，如果分类正确，则错误值为0. 最后累加5个样本的错误率之和，记为ε。

　　2. 通过ε来计算该弱分类器的权重α，公式如下：

　　3. 通过α来计算训练下一个弱分类器样本的权重D，如果对应样本分类正确，则减小该样本的权重，公式为：

　　如果样本分类错误，则增加该样本的权重，公式为：

　　4. 循环步骤1,2,3来继续训练多个分类器，只是其D值不同而已。

　　测试过程如下：

　　输入一个样本到训练好的每个弱分类中，则每个弱分类都对应一个输出标签，然后该标签乘以对应的α，最后求和得到值的符号即为预测标签值。

　　Boosting算法的优点：

　　低泛化误差；

　　容易实现，分类准确率较高，没有太多参数可以调；

　　缺点：

　　对outlier比较敏感；

八.聚类：

　　根据聚类思想划分：

　　1. 基于划分的聚类:

　　K-means, k-medoids(每一个类别中找一个样本点来代表),CLARANS.

　　k-means是使下面的表达式值最小：

　　 k-means算法的优点：

　　（1）k-means算法是解决聚类问题的一种经典算法，算法简单、快速。

　　（2）对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt)，其中n是所有对象的数目，k是簇的数目,t是迭代的次数。通常k<<n。这个算法通常局部收敛。

　　（3）算法尝试找出使平方误差函数值最小的k个划分。当簇是密集的、球状或团状的，且簇与簇之间区别明显时，聚类效果较好。

　　 缺点：

　　（1）k-平均方法只有在簇的平均值被定义的情况下才能使用，且对有些分类属性的数据不适合。

　　（2）要求用户必须事先给出要生成的簇的数目k。

　　（3）对初值敏感，对于不同的初始值，可能会导致不同的聚类结果。

　　（4）不适合于发现非凸面形状的簇，或者大小差别很大的簇。

　　（5）对于"噪声"和孤立点数据敏感，少量的该类数据能够对平均值产生极大影响。

　　2. 基于层次的聚类：

　　自底向上的凝聚方法，比如AGNES。

　　自上向下的分裂方法，比如DIANA。

　　3. 基于密度的聚类：

　　DBSACN,OPTICS,BIRCH(CF-Tree),CURE.

　　4. 基于网格的方法：

　　STING, WaveCluster.

　　5. 基于模型的聚类：

　　EM,SOM,COBWEB.

　　以上这些算法的简介可参考聚类（百度百科）。

九.推荐系统：

　　推荐系统的实现主要分为两个方面：基于内容的实现和协同滤波的实现。

　　基于内容的实现：

　　不同人对不同电影的评分这个例子，可以看做是一个普通的回归问题，因此每部电影都需要提前提取出一个特征向量(即x值)，然后针对每个用户建模，即每个用户打的分值作为y值，利用这些已有的分值y和电影特征值x就可以训练回归模型了(最常见的就是线性回归)。这样就可以预测那些用户没有评分的电影的分数。（值得注意的是需对每个用户都建立他自己的回归模型）

　　从另一个角度来看，也可以是先给定每个用户对某种电影的喜好程度（即权值），然后学出每部电影的特征，最后采用回归来预测那些没有被评分的电影。

　　当然还可以是同时优化得到每个用户对不同类型电影的热爱程度以及每部电影的特征。具体可以参考Ng在coursera上的ml教程：https://www.coursera.org/course/ml

　　基于协同滤波的实现：

　　协同滤波（CF）可以看做是一个分类问题，也可以看做是矩阵分解问题。协同滤波主要是基于每个人自己的喜好都类似这一特征，它不依赖于个人的基本信息。比如刚刚那个电影评分的例子中，预测那些没有被评分的电影的分数只依赖于已经打分的那些分数，并不需要去学习那些电影的特征。

　　SVD将矩阵分解为三个矩阵的乘积，公式如下所示：

　　中间的矩阵sigma为对角矩阵，对角元素的值为Data矩阵的奇异值(注意奇异值和特征值是不同的)，且已经从大到小排列好了。即使去掉特征值小的那些特征，依然可以很好的重构出原始矩阵。如下图所示：

　　其中更深的颜色代表去掉小特征值重构时的三个矩阵。

　　果m代表商品的个数，n代表用户的个数，则U矩阵的每一行代表商品的属性，现在通过降维U矩阵（取深色部分）后，每一个商品的属性可以用更低的维度表示（假设为k维）。这样当新来一个用户的商品推荐向量X，则可以根据公式X'*U1*inv(S1)得到一个k维的向量，然后在V’中寻找最相似的那一个用户（相似度测量可用余弦公式等），根据这个用户的评分来推荐（主要是推荐新用户未打分的那些商品）。具体例子可以参考网页：SVD在推荐系统中的应用。

　　另外关于SVD分解后每个矩阵的实际含义可以参考google吴军的《数学之美》一书（不过个人感觉吴军解释UV两个矩阵时好像弄反了，不知道大家怎样认为）。或者参考machinelearning in action其中的svd章节。

十.pLSA:

　　pLSA由LSA发展过来，而早期LSA的实现主要是通过SVD分解。pLSA的模型图如下：

　　公式中的意义如下：

　　具体可以参考2010龙星计划：机器学习中对应的主题模型那一讲

十一、LDA：

　　主题模型，概率图如下：

　　和pLSA不同的是LDA中假设了很多先验分布，且一般参数的先验分布都假设为Dirichlet分布，其原因是共轭分布时先验概率和后验概率的形式相同。

　　GDBT：

　　GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，好像在阿里内部用得比较多（所以阿里算法岗位面试时可能会问到），它是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的输出结果累加起来就是最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。

　　GBDT是回归树，不是分类树。其核心就在于，每一棵树是从之前所有树的残差中来学习的。为了防止过拟合，和Adaboosting一样，也加入了boosting这一项。

　　关于GDBT的介绍可以可以参考：GBDT（MART）迭代决策树入门教程 | 简介。

　　Regularization:

　　作用是（网易电话面试时有问到）：

　　1. 数值上更容易求解；

　　2. 特征数目太大时更稳定；

　　3. 控制模型的复杂度，光滑性。复杂性越小且越光滑的目标函数泛化能力越强。而加入规则项能使目标函数复杂度减小，且更光滑。

　　4. 减小参数空间；参数空间越小，复杂度越低。

　　5. 系数越小，模型越简单，而模型越简单则泛化能力越强（Ng宏观上给出的解释）。

　　6. 可以看出是权值的高斯先验。

　　异常检测：

　　可以估计样本的密度函数，对于新样本直接计算其密度，如果密度值小于某一阈值，则表示该样本异常。而密度函数一般采用多维的高斯分布。如果样本有n维，则每一维的特征都可以看作是符合高斯分布的，即使这些特征可视化出来不太符合高斯分布，也可以对该特征进行数学转换让其看起来像高斯分布，比如说x=log(x+c),x=x^(1/c)等。异常检测的算法流程如下：

　　其中的ε也是通过交叉验证得到的，也就是说在进行异常检测时，前面的p(x)的学习是用的无监督，后面的参数ε学习是用的有监督。那么为什么不全部使用普通有监督的方法来学习呢（即把它看做是一个普通的二分类问题）？主要是因为在异常检测中，异常的样本数量非常少而正常样本数量非常多，因此不足以学习到好的异常行为模型的参数，因为后面新来的异常样本可能完全是与训练样本中的模式不同。

　　另外，上面是将特征的每一维看成是相互独立的高斯分布，其实这样的近似并不是最好的，但是它的计算量较小，因此也常被使用。更好的方法应该是将特征拟合成多维高斯分布，这时有特征之间的相关性，但随之计算量会变复杂，且样本的协方差矩阵还可能出现不可逆的情况（主要在样本数比特征数小，或者样本特征维数之间有线性关系时）。

　　上面的内容可以参考Ng的https://www.coursera.org/course/ml

　　EM算法：

　　有时候因为样本的产生和隐含变量有关（隐含变量是不能观察的），而求模型的参数时一般采用最大似然估计，由于含有了隐含变量，所以对似然函数参数求导是求不出来的，这时可以采用EM算法来求模型的参数的（对应模型参数个数可能有多个），EM算法一般分为2步：

　　E步：选取一组参数，求出在该参数下隐含变量的条件概率值；

　　M步：结合E步求出的隐含变量条件概率，求出似然函数下界函数（本质上是某个期望函数）的最大值。

　　重复上面2步直至收敛。

　　公式如下所示：