自动提取知乎专栏下面所有的文章

这篇文章教导怎么自动化提取特定知乎专栏中所有的文章。
这里随便找一个专栏作为示例进行测试一下。
这里使用的专栏为：Dizzy In Science

在chrome下打开这个专栏的源码，可以看到对应着文章链接的xpath路径为

xpath = "/html/body/div[1]/div/main/div/section/div"

可以看到在初始打开专栏的情况下，只会一次性加载10篇文章，在对专栏进行向下滑动的时候，在到达当前最后一篇文章的时候，又会一次性加载10篇文章。

可以看到这里又额外加载了10篇文章，总共加载了20篇文章。

可以直接一次性对专栏拉到底，就可以从这个xpath中获取所有的文章列表，然后自动化提取就可以得到所有的文章链接了。