一次项目经历[2]

推荐阅读:
一次项目经历[1] http://haibuo1981.iteye.com/blog/1407862
一次项目经历[3] http://haibuo1981.iteye.com/blog/1409142

在我磕磕碰碰的带领下,5月份,第二个版本的检测程序出来的时候,在相同的数据集上,已经能够达到10%过检时,不良图片检测准确率90%以上了在实际图片(后来整理的网络图片测试集中的过检比例在15%,正确检测率在80%以上)。后来在电信的主持下,与几个同行的产品做背靠背测试。当时是网络部的人过去部署测试的。测试的方式是各自整理一些样本出来,混合到一起,进行黑箱测试。最后的测试结果是我们胜出了。当然,这个中间有些是非传闻,我当时不在公司,也不甚明了,就不多说了。

然后测试后电信没有说上。因为如果要对电信的总出口进行检测,大约60Gbps的峰值流量,必须用分光器结来做。当时电信这边不想花费太高的费用来做这个事情。而如果不采用分光,仅仅用端口镜像的方式,那样只能将部分的包解出来做抽查,但是,当时网络部对1Gbps的镜像端口的流量的解包组包还存在一些问题(好像是调用wireshark来做的,具体过程我没参与,不甚了解),加之当时的网站界面也处于demo阶段,界面都简陋的很,但总的来说,电信对产品也没表示不满意,但只是表示不愿上分光器那一套硬件,口头上仍然是进行合作开发。

项目第二阶段

项目到了5月份底,基本上就在停滞了。毕竟测试也做了,对方需求也基本满足了,但是仍然得不到一个明确的答复,没有合约也没有协议,这事就是很蹊跷。
当时项目基本上算是停滞了,只是我这边没接到任何通知,所以依然在带着实习生一起做一些新模型的训练什么的。

2010年6月底,某地电信的主管领导更换了。新的领导带着先前的那些参与过项目的人来我们公司开会讨论合作的事情。会上提出了一套新的基于C/S检测的方案,让我们考虑一下是否能做:即通过在host在电信机房的服务器上安装客户端,进行检测,然后提交到我们的主控服务器进行管理展示的方式。检测对象也变成只要检测图片。说是文本检测的有以前的关键字检测可以用(关键词检测的检测结果后来在别的合作伙伴处我是看过,误伤太多,导致检测出来的结果根本没有参考价值。大家可以回顾一下自己在一些审查较严格的论坛的发帖经历,即使你是出于赞美,只要你的发言里包含了那个词,你要么发帖不成功,要么被删)。

当时我提出的异议是,服务器的管理人员一般对安装监控软件有抵触,很难推广开来。当时电信答复是说他们会强制推行安装,成功后可以向其他兄弟电信进行推广云云。

后来公司领导同意做这套新的方案。而为了均衡计算及网络负担,我当时跟网络的负责人设计了一套两级检测的方式,即在客户端只做粗略检测,将可疑图片提交到我们的主控服务器进行二级检测。检测结果通过网站进行显示管理,可以通过主控网站设置客户端运行检测的时间,以避开客户的服务器在利用率过高的时候造成资源竞争等等。

8月份网络部负责这个项目的那位同事离职(以前是他总体负责这个项目,我只负责图像检测后台与客户端的工作),安排我跟他做的交接,我从老家赶到公司,住了半个多月。我刚到时他在休假,我真正见到他的时间不超过一个周,而进行工作交接只用了不到一个下午。当时很汗,他主要的工作是服务器的配置管理,以及php网站脚本的一些东西,我根本是一窍不通。但他走的很急,而且当时公司只有我一个人会用点Linux系统(当时公司的主要服务器都是FREEBSD,跟linux比较相近)。最后他交接给我的只有公司十几台服务器的密码,和几个连注释文档都没有的php网站代码。最后跟我说,电信的项目公司还会外聘他做,所以不用交接。我跟公司老总确认了下,确有其事。我看了下他留下的东西,把几个自认为比较重要的项目过了一遍,知道都放在哪儿哪儿;把不明白的东西问清楚,就算交接完了。当时最不明白的是,公司做了那么久,竟然对做文档没有任何要求。

回老家前,他已离职了。等到回老家再做电信的项目的时候,公司跟他却闹翻了,他不担任外聘,对电信的项目的一些事情也是问而不答。好在服务器还在,总体架构我还算了解。我只好没日夜的理顺这些东西,然后讲给分配到我手下的两个phper。幸运的是,他把整个方案的架构搭起来了。通过proftp做上传管理,客户端通过想一个php页面post信息来提交需要上传的内容信息进行确认,然后获取分配的proftp帐号进行上传。上传后通过crontab定时调用脚本,执行检测,更新结果到数据库,用网站来展示。但不幸的是,中间许多环节都有问题,网站也只是做了个样子,没有实质性的东西。所以不用太担心php框架或者代码的问题。

经过这次变故后,我对我手下那两名php人员的要求比较高。后来只有一人留下,而另一人因为代码和文档质量不够标准,被我T出小组,后来转去做其他的项目。其实T人是很让人为难的事情。被T的那小伙跟我私交还不错,但代码不够规范,文档的质量也太差,经过了一次折腾,我实在不想在遭第二次了。

转眼到9月份,项目算是继续下来了。电信方面也不断接触,最终在9月底,将widnows客户端产品打包,网站的功能基本也完善了,按电信的要求,进行了初步的商业话包装。提交给电信进行测试。

当时我已经主要负责整个项目,所以也比较有发言权。我对这个项目没有协议没有合同的状态很是担心,所以提出来要求与电信签订书面文件。但是10月份的会议,电信仍旧以这里需要改改,那里需要添个什么功能为由,没有形成书面的东西。

2010年9月份后我这边做的就很是吃力了。公司的两名实习生离开,其中一名是我做客户端比较倚重的,另一名则是在做算法实验分析有比较不错的表现。另外两名老员工,女的休产假,男的因为合同没谈妥已经离开。当时既要做客户端的开发,又得统筹服务器的一些事情,图片检测的算法改进基本上已经停滞。

推荐阅读:
一次项目经历[1] http://haibuo1981.iteye.com/blog/1407862
一次项目经历[3] http://haibuo1981.iteye.com/blog/1409142

猜你喜欢

转载自haibuo1981.iteye.com/blog/1408235