https://study.163.com/course/courseMain.htm?courseId=1004570029
这个课讲得很不错的，把数学部分省略了不少，虽然这是一件危险的事（在危险的边缘疯狂试探。误）。
目前看到19，更新到19的笔记。笔记我采用的是英文的，方便和文档接轨。
词汇：
Field:
1.non-spam Email Help computer to learn without being explicitly
2.program let robot watch you demonstrate the task how human brain works:many scientist think the best way to make progress on this is through learning algorithm called neural network ,which mimic how the human brain works.
3. autonomous robotics(自主机器人)
4.computational biology
5.Database mining :web click data ,medical records ,biology ,engineercomputational biology:gene sequences ,DNA sequences
6.autonomous helicopter
e.g:handwriting recognition ,most of natural language processing (NLP),computer vision (cv),self customizing progress (like Amazon ,netflix product recommendations )
What is the machine learning ?
learning practitioners isn’t a well accepted definition of what is.
1959 Arthur Samuel :field of study that gives computers the ability to learn without being explicitly programmed.
1995 Tom Mitchell :a well posed learning problem as follow ,a computer program is said to learn from experience E,with respect to some task T,and some performance measure P,if its performance on T as measured by P improves with experience E.For checker playing example :
E----------tens of thousands of games
T----------playing checker
P----------probability
Machine learning algorithm
unsupervised learning:learn by itself
supervised learning:Teach computer how to do
other:reinforcement learning ,recommender systems (以后会讲到)
后面的内容，有空再补充，一个是代价函数cost function，一个是假设函数hypothesis
问题收集：
1.梯度下降得到的结果不是局部最小？
SGD基本是local minmal，对于convex optimization可以收敛到到全局最小，但实际问题往往不是强凸问题，但是可通过几个局部最优取平均结果。或者用cycle learning迭代，但是NN很难收敛到全局最优。
这里信息量有点大的，第一个需要解决的是什么是SGD，然后是强凸问题，和最后对于结果的处理，取平均这种做法。
SGD
强凸问题
取平均的处理2.对于多元极值，我第一想到的是拉格朗日乘法来做，是否合理
由于ML问题local miminal并不是只有有限个，求解全局最优可能是一个NP问题，无法一个个比较。
.3.代价函数
cost function、假设函数Hypothesis，LMS算法，SGD梯度下降之间的关系。代价函数采用的是线性拟合，这里是一个多元线性拟合。LMS算法是最小均方算法，最小二乘是它的
cost function即代价，梯度下降是它的解法。
Hypothesis：不一定是线性，可以非线性，随机森林，神经网络。梯度提升树等。
cost function：不一定是LMS，可以是RMSE、MAE、MSPE、HingeLoss，也可以自己定义更复杂的函数
求解：不一定是SGD，可以用到二阶梯度LBGFS或者SAG，除了SGD还有GD、PGD等等，只不过SGD的优势在于时间和空间的复杂度都很低。一般来说不需要关注与优化到最优，更重要的是特征、数据量 一般选用默认的优化方式即可。
本质来说，机器学习就是一个优化求解参数：L(w)+Gamma(W),L是损失函数，例如最小二乘等，Gamma是约束惩罚项。
总结
总的来说，就19课之前，大概是这么几件事
1.机器学习的应用，列举计算生物学，自主机器人，基因工程等。
2.什么是机器学习的问题。
3.怎么实现机器学习。有监督学习、无监督学习、强化学习等等
4.对有监督学习的展开
4.1什么是有监督学习
4.2介绍假设函数和代价函数
4.3梯度下降
需要注意的是区分他们之间的关系
以上
2018.10.18----总结