go-flow源代码解读心得

go-flow

go get github.com/kamildrazkiewicz/go-flow

使用方法

   func main() {
	f1 := func(r map[string]interface{}) (interface{}, error) {
		fmt.Println("function1 started")
		time.Sleep(time.Millisecond * 1000)
		return 1, nil
	}

	f2 := func(r map[string]interface{}) (interface{}, error) {
		time.Sleep(time.Millisecond * 1000)
		fmt.Println("function2 started", r["f1"])
		return "some results", nil
	}

	f3 := func(r map[string]interface{}) (interface{}, error) {
		fmt.Println("function3 started", r["f1"])
		return nil, nil
	}

	f4 := func(r map[string]interface{}) (interface{}, error) {
		fmt.Println("function4 started", r)
		return nil, nil
	}

	res, err := goflow.New().
		Add("f1", nil, f1).
		Add("f2", []string{"f1"}, f2).
		Add("f3", []string{"f1"}, f3).
		Add("f4", []string{"f2", "f3"}, f4).
		Do()

	fmt.Println(res, err)
}

结果：
    function1 started
    function3 started 1
    function2 started 1
    function4 started map[f2:some results f3:<nil>]
    map[f1:1 f2:some results f3:<nil> f4:<nil>] <nil>

内部数据结构

内部通过一个map来存储每个需要执行的过程。每个可执行过程结构如flowStruct。 deps用来存储前驱。ctr存储该执行体被多少个执行体作为前驱。C为当前执行体执行的结果的channel。

内部原理

假设ABCD执行顺序为：

graph LR
A-->B
A-->C
B-->D
C-->D

A执行之后才能执行BC，BC完成之后才能执行D。

在程序内部。通过Add()函数实现了执行体前驱的配置。在内部，遍历flow，并对每一个flowStruct开启一个go routine。这个go routine先检查自己的前驱列表deps。如果有，那么就去前驱的C channel中获取数据，此时如果前驱执行体没有执行完，那么他的C中还没有数据，当前执行体就只能阻塞到这里，直到能够从前驱中获取到结果数据。获取到数据后，执行该执行体，最后检查自己的Ctr字段，看有多少个执行体依赖本执行体的数据，那么就将结果发送到自己的C中多少次。然后完成，关闭自己的channel。

关键点：每个执行体需要等待前驱的数据，如果没有数据，那么就会阻塞。通过这中方式，从而保证了执行体的先后关系。