Bazel增量模型剖析

SkyFrame

Bazel的并行评估和增量模型:

   数据模型有以下项目:

1.    SkyValue:节点。包含输入文件,输出文件,源文件和Build。

2.    SkyKey:路径目录。

3.    SkyFunction: 根据Key和依赖节点来构建节点。

4.    Skyframe:源码中关于增量模型代码的名字。

SkyFunction是以SkyKey为参数的递归函数。SkyKey通过哈希Map映射到SkyValue。

评估:

     构建过程包含评估代表构建请求的节点。首先通过顶层的SkyKey来调用SkyFunction。SkyFunction自底向上递归调用。过程中用到了一个关于文件的依赖关系图。

       如果不能提前知道所有需要的节点,一个SkyFunction可以多次请求传递SkyKey。

       函数接口类SkyFunction中被表示成代码。SkyFunction.Environment类向其提供服务。

       以下是这个函数可以做到的:

1.    通过调用env.getValue方法请求一个节点的评估。如果一个节点是可以被利用的,返回这个节点,否则返回NULL。之后,依赖节点被评估,原始节点的构建器再次被调用,然后相同的env.getValue将会返回NULL。

2.    请求评估多个其他节点通过调用env.getValues()。这个本质上和上面是一样的,依赖节点被平行评估。

3.    在调用期间进行计算。

SkyFunction实现不应该在任何除了请求依赖关系以外的地方获取数据 ,因为依赖关系没有在所读的文件中,这样会导致错误的增量构建。

       当一个函数有足够做他工作的数据的时候,他应该返回NULL。

       这个评估策略有以下好处:

1.    密封性

2.    正确和完美的渐进性

3.    并行

增量:

       因为函数只能通过其他节点来获取数据,Bazel可以从输入数据到输出数据建立一个完整的数据流图,通过这些信息重构那些真正需要被重构的节点:改变的数据的反向传递闭包。

       Bazel目前采用子底向上的方式:

              在一个图被建立之后,改变的输入集合已将知道了。改变节点的反向传递闭包上都是无效的。通过在所有先前建立的构建中的所有文件中调用stat()函数来判断来判断文件是否改变。这个操作可以通过使用inotify来提高。

       为了获得更好的增量效果,如果一个节点重构后跟之前是一样的,那这个节点将被“复活”(相当于如果它的父节点的其他儿子没有重构则不需要重构其父节点)。

       另外一个有用的,C++中修改注释,.o文件是不变的。因此不需要重构。

       其他改进(目前Bazel没有实现):

1.    增量链接

2.    如果仅仅在jar包中,仅仅一个类改变了,我们理论上可以修个它而不是重头构建它。

      


猜你喜欢

转载自blog.csdn.net/childrenli/article/details/80391271
今日推荐