在数据库中即时保存数据：Dataset
https://dataset.readthedocs.io/en/latest/
当我们想要在不知道最终数据库表长什么样的情况下，快速收集数据并保存到数据库中的时候，Dataset 库将是我们的最佳选择。Dataset 库有一个简单但功能强大的 API，因此我们可以很容易的把数据保存下来，之后再进行整理。
Dataset 建立在 SQLAlchemy 之上，所以如果需要对它进行扩展，你会感到非常熟悉。使用 Django 内建的 inspectdb 管理命令可以很容易地把底层数据库模型导入 Django 中，这使得和现有数据库一同工作不会出现任何障碍。
从网页抓取数据：Beautiful Soup
https://www.crummy.com/software/BeautifulSoup/
Beautiful Soup（一般写作 BS4）库使得从 HTML 网页中提取信息变得非常简单。当我们需要把非结构化或弱结构化的 HTML 转换为结构化数据的时候，就需要使用 Beautiful Soup 。用它来处理 XML 数据也是一个很好的选择，否则 XML 的可读性或许会很差。
HTTP API call：Requests
http://docs.python-requests.org/en/master/
当需要和 HTTP 内容打交道的时候，Requests 毫无疑问是最好的标准库。当我们想要抓取 HTML 网页或连接 API 的时候，都离不开 Requests 库。同时，它也有很好的文档。
描述转换成命名的小工具：Python Slugify
https://github.com/un33k/python-slugify
命名是一件困难的事情。Python Slugify 是一个非常有用的库，它可以把一个标题或描述转成一个带有特性的唯一标识符。如果你正在做一个 Web 项目，并且你想要使用对搜索引擎优化友好SEO-friendly的链接，那么，使用 Python Slugify 可以让这件事变得很容易。
插件打交道：Pluggy
https://pluggy.readthedocs.io/en/latest/
Pluggy 库相对较新，但是如果你想添加一个插件系统到现有应用中，那么使用 Pluggy 是最好也是最简单的方式。如果你使用过 pytest，那么实际上相当于已经使用过 Pluggy 了，虽然你还不知道它。
把 CSV 文件转换到 API 中：DataSette
https://github.com/simonw/datasette
DataSette 是一个神奇的工具，它可以很容易地把 CSV 文件转换为全特性的只读 REST JSON API，同时，不要把它和 Dataset 库混淆。Datasette 有许多特性，包括创建图表和 geo（用于创建交互式地图），并且很容易通过容器或第三方网络主机进行部署。
https://blog.csdn.net/weixin_43649691/article/details/88583500