虽然过去我主持了很多数据挖掘相关的项目, 但smp是我第一次参加的数据挖掘类型比赛.经历了一个多月的煎熬, 我想我也积累了许多宝贵的经验和教训,而这比赛对我最大的锻炼是心态上的成熟, 让我学习了如何在困境中冷静思考,在绝境中寻求希望.
迎接新领域与新知识
不管是比赛还是项目,我们总会遇到未知的盲区.关于如何冲破盲区, 不同人有不同的看法. 我个人的做法是先寻求这样问题的类似解决方案, 论文或博客, 并记录和罗列这些方案(我有一个习惯, 就是总有一张纸在手上, 方便记录和思考).然后结合自己的实际情况, 比较哪种方法容易见效. 在这个过程中, 碰壁是很常见的情况. 碰壁不一定说明方法的不行, 有可能是自己的小错误导致, 这时候需要的是耐心,以及仔细地检查思路上的每一个步骤(对于步骤, 我也会写在小纸条上).如果检查后还是不行, 我就会结合回溯法的思想, 采用其他方法.当然, 我会将之前的方法暂存在我的小脑袋中, 说不定以后灵光一闪这方法想通呢. 寻求方法,或新或旧, 去解决未知的问题是十分有趣的过程,但时间一长就容易产生疲倦感, 所以时刻保持自己的热度很重要, 至于如何保持热度, 我主要依靠我的小纸条, 它就像魔方, 你放在那里, 你就忍住不去思考如何解决.
关于工具的使用
现在的数据辅助工具层出不穷, 选用哪种工具也是一个难点. 对于工具的使用, 我尽量避开工具主义思想, 尝试着如何理解他的原理, 犹如认识一个朋友,不仅仅认识他的名字, 最好还要了解他的性格和喜好(bat面试很喜欢问面试者关于工具的原理).这次比赛, 我主要采用的工具有python的scikit-learn, gensim的lsi模型与doc2vec模型, 以及hadoop和spark做数据预处理, 中间掺杂一些linux命令行处理. 在比赛中, 我也想学习tensonflow的深度学习框架, 不过觉得训练的数据有点少, 所以没有采用.由于比赛, 我对scikit-learn的模型更加了解, 学习了许多模型及特征选择的方法, 尽管最后只有一到两个是有效的. 不仅如此, 我还查阅到许多关于使用scikit-learn训练机器学习模型的博客, 对这过程的建模有更深的体会. 接触得越多这样的思路, 你就拓展更多的思维, 看似对原本的问题没有用处, 但是你往往培养到一种触类旁通的感觉, 这感觉能保持你对问题的新鲜感.
坚持与放弃
坚持与放弃不能光谈道理, 需要自己亲身经历与感悟.在比赛中, 我们一直突破不了任务二, 花了一个多月的时间, 收益也很少, 这过程免不了有很多沮丧感和怨声. 有时候, 想放弃,让任务二自生自灭, 但有时候又想继续研究, 觉得还是有希望的曙光. 这过程很锻炼一个人的心志, 对我而言, 最大的感悟就是要保持自己的冷静, 不管任务二是否突破, 研究还是会继续的, 要让自己保持高度的注意力在解决问题上, 不要为后面的结果做太多的顾虑, 这个不能说到做到, 需要不断的磨炼. 一个月下来, 我感觉每一天都是对自己心志的锻炼,虽然结果任务二还是拖了后腿, 但它的意义就不仅仅在比赛的分数了.另外, 坚持的信念其实很难靠一个人维持, 幸运的是我有一个不错的团队, 为这同一个目标共同进退, 所以即使过程漫长, 也不会孤单和寂寞.