回到杭州当天，来不及休息，马云就给自己的朋友和学生打电话，说是有重要事情相商。
那天晚上，24个人挤在马云家里，听他讲述“美国奇遇记”和他的互联网启发之旅。
他告诉朋友们，自己想成立一家互联网公司，问他们有没有什么想法。
大家一连问了马云5个问题，他一个都答不上来。
所有人一起摇头叹息，说这样不行的。马云让大家投票表决，其中23个人投了否决票。只有一个叫宋卫星的人说可以试试，不行再回来呗。
见大家都反对，马云也陷入矛盾之中。
这一次创业和翻译社完全不同。翻译社还只是兼职做一下，而这次要做的话，必须全力投入，大学老师的工作就得辞掉了。
在那个年代，大学老师的工作是含金量非常高的金饭碗，要放弃，需要很大的勇气，所以马云纠结了很久，始终无法下定决心。
有一天下班时，马云遇到了买菜回家的系主任。系主任骑着自行车，车把上挂着两把菜。他可能也听说了马云想辞职的事情，就叫住马云，语重心长地劝他不要辞职，好好工作。
结果，系主任的劝说反而起了反作用。马云看着系主任的样子，突然想到：他现在的样子，不就是我的未来吗？
想起以后一辈子要过这样的日子，马云不寒而栗，回头就迅速辞职了。
1995年4月，马云夫妇，加上电子工学院的同事何一兵，在杭州文二路租下一间12平米的房子，成立了一家名为“中国黄页”的公司。
他找了斯图尔特合作，斯图尔特说，合作可以，我帮你搞定技术，需要预付20万美元定金。
20万美元，对于那时的马云来说，把房子卖掉都出不起。
他好说歹说，并且在比尔的担保之下，斯图尔特才同意不用定金就先帮他做网站。
1995年7月，中国黄页网站上线了，这是互联网上最早的中国网站之一。
当月，他们就接了一个业务，帮浙江省外宣部做“金鸽工程”，宣扬浙江经济文化成就。这个网页引起了不小的轰动，还有美国参议员专门发信，祝贺中国政府部门首次上网。
不过，尽管有“金鸽”的背书，中国黄页网站却没有多少企业进驻。那时的中国人，还不知道互联网对他们有什么用。
马云印了一张“营销总监”的名片，四处推销，但是他所到之处，人们无不把他当成骗子。
最后，马云只好用了一招：“兔子先吃窝边草”，从亲戚朋友下手。
他发动自己之前的学生，请大家一定要帮忙。
一个叫周岚的夜校学生，在望湖宾馆当大堂经理，帮马云牵线做了一单业务，把望湖宾馆放到中国黄页上。
恰好当年在北京举办第4届妇女大会，很多外国与会者顺便到杭州玩，都跑到望湖宾馆来住，因为这是当时网上搜杭州宾馆唯一能搜到的。
结果，望湖宾馆3个月的营业额就超过了上一年。
顺便说一下，后来周岚成为马云的秘书，一路做到阿里巴巴事务部总监、跨境B2C事业部副总经理、澳大利亚新西兰公司董事总经理等职。
就这样，马云通过自己的学生和朋友，又做了律师事务所、电视机厂等业务。
此后多年，他都一直信奉“兔子先吃窝边草”的原则。他认为，你做得东西要有价值，才敢推荐给亲戚朋友。如果连亲戚朋友都觉得没有价值，那肯定做不起来。
但是，仅靠自己的学生，显然是杯水车薪。马云也想了很多其他办法。
后来，马云到北京去找关系，到各个部委去推销他的理念，还四处拜访媒体，希望能够打出知名度，可是却没有多少收获。
他的老乡樊馨蔓做的一期名为《书生马云》的节目，记录下了马云这段时间的艰辛。
在片子里，马云去某国家机关联系业务，当时的他看起来还很稚嫩，说话怯生生的，完全不像现在这样底气十足。
樊馨蔓评价说：
“（马云）看起来像是一个坏人，虽然言语滔滔不绝，但是表情却鬼鬼祟祟，人家根本不知道他说的是什么。”
可想而知，马云到处吃闭门羹。片子忠实记录了他被各部门当皮球一样踢来踢去的失落和无奈。
晚上回去的公共汽车上，马云头靠在窗玻璃上，看着外面的玻璃，喃喃地说：
“再过几年，北京就不会这么对我；再过几年，你们都得知道我是干什么的。我在北京也不会这么落魄。”
在几个月的耽搁之下，属于马云的最好时机已经过去了，马云发现，北京市场上互联网公司已经风起云涌，不再有中国黄页的生存空间了。
而更大的竞争压力来自家乡。
1996年，杭州电信也推出了中国黄页，和马云形成了直接竞争关系。
电信的中国黄页名字为ChinesePages，和马云的ChinaPages非常相像，而对方的注册资本是3个亿，而马云的是2万元，实力完全不在一个档次。
为了能活下去，马云只好把中国黄页和杭州电信下属公司合并。电信出资140万元，占股70%，占5个董事会席位；中国黄页作价60万元，占股30%，占2个董事会席位。
很快马云就尝到合作的苦果。他和杭州电信的理念完全不合，凡是他提出的发展建议，全部被董事会否决。
不过，马云创立中国黄页，也不是全无所获。
1996年初，中国黄页找来了第一个技术人员，中山大学计算机系毕业的李琪。后来，李琪一手搭建了中国黄页新的网页，使公司从美国外包公司的高成本中解脱出来。
1996年4月，在一家小广告公司工作的孙彤宇，在马云的忽悠下，从乙方跳槽到甲方，加入了中国黄页，不久还把自己在大学教书的女友也给拉进来了。他的女友，名叫彭蕾。
在这段时间加入中国黄页的，还有蒋芳、盛一飞、韩敏、楼文胜、吴咏铭等。
多年以后，李琪成为阿里巴巴首席运营官，孙彤宇成为淘宝的创始人和总裁，彭蕾成为蚂蚁金服董事长和阿里资深副总裁，蒋芳成为阿里首席人才官，吴咏铭成为阿里健康董事会主席和一淘网总裁……
1997年11月，中国黄页的30多人团队在桐庐红灯笼度假村玩。
当晚，马云突然宣布，自己将离开中国黄页，前往北京工作。他问谁愿意跟他去北京。最后，愿意和他同行的有6个人（另一种说法是8个）。
马云把自己占有的21%股份半卖半送给留下来的成员，然后带着队伍北上了。