SkyFrame
Bazel的并行评估和增量模型:
数据模型有以下项目:
1. SkyValue:节点。包含输入文件,输出文件,源文件和Build。
2. SkyKey:路径目录。
3. SkyFunction: 根据Key和依赖节点来构建节点。
4. Skyframe:源码中关于增量模型代码的名字。
SkyFunction是以SkyKey为参数的递归函数。SkyKey通过哈希Map映射到SkyValue。
评估:
构建过程包含评估代表构建请求的节点。首先通过顶层的SkyKey来调用SkyFunction。SkyFunction自底向上递归调用。过程中用到了一个关于文件的依赖关系图。
如果不能提前知道所有需要的节点,一个SkyFunction可以多次请求传递SkyKey。
函数接口类SkyFunction中被表示成代码。SkyFunction.Environment类向其提供服务。
以下是这个函数可以做到的:
1. 通过调用env.getValue方法请求一个节点的评估。如果一个节点是可以被利用的,返回这个节点,否则返回NULL。之后,依赖节点被评估,原始节点的构建器再次被调用,然后相同的env.getValue将会返回NULL。
2. 请求评估多个其他节点通过调用env.getValues()。这个本质上和上面是一样的,依赖节点被平行评估。
3. 在调用期间进行计算。
SkyFunction实现不应该在任何除了请求依赖关系以外的地方获取数据 ,因为依赖关系没有在所读的文件中,这样会导致错误的增量构建。
当一个函数有足够做他工作的数据的时候,他应该返回NULL。
这个评估策略有以下好处:
1. 密封性
2. 正确和完美的渐进性
3. 并行
增量:
因为函数只能通过其他节点来获取数据,Bazel可以从输入数据到输出数据建立一个完整的数据流图,通过这些信息重构那些真正需要被重构的节点:改变的数据的反向传递闭包。
Bazel目前采用子底向上的方式:
在一个图被建立之后,改变的输入集合已将知道了。改变节点的反向传递闭包上都是无效的。通过在所有先前建立的构建中的所有文件中调用stat()函数来判断来判断文件是否改变。这个操作可以通过使用inotify来提高。
为了获得更好的增量效果,如果一个节点重构后跟之前是一样的,那这个节点将被“复活”(相当于如果它的父节点的其他儿子没有重构则不需要重构其父节点)。
另外一个有用的,C++中修改注释,.o文件是不变的。因此不需要重构。
其他改进(目前Bazel没有实现):
1. 增量链接
2. 如果仅仅在jar包中,仅仅一个类改变了,我们理论上可以修个它而不是重头构建它。