For the ICSE 2011 paper.
1) The main idea:
Background: wide use of randomized algorithms in empirical studies in the field of Software Engineering
Motivation: lack of proper methodologies to evaluate the effectiveness of randomized algorithms (RAs for short), while RAs may result in different
results on every run for the same target/object.
That is, RAs produce different results on every run, therefore, it is difficult to get strong conclusions just from 1 or several runs, and it is also
hard for us to draw conclusions without the use of statistical analysis.
Questions:
1) Expression problems:
* produce different results on every run
* it is difficult to get strong and reliable conclusions just from 1 or several runs.
2) Useful ideas:
* RAs produce different results on every run, therefore, it is difficult to get strong and reliable conclusions just from 1 or several runs.
* and it is also hard for us to draw conclusions without the use of statistical analysis.
(The two ideas are important, because they are the main reasons why we discuss the comparison methodologies in APR).
所以我觉得一开头就应该说RAs，（是不是应该在abstract里面讲）。
而且，一定要在最明显的地方有一段完整的说明：RAs对同一个target，会产生不同的结果，有时候一样，有时候不一样。所以，我们光从不超过数十次
的运行和没有统计分析的实验中是得不到准确结果的 【9】。然而，现在的工作大部分都在这一块有缺失。如【】【】【】【】【】【】【】【】在
比较RAs的时候没有超过数十次的重复独立实验，也没有进行有效的统计分析。（考官会问一个问题：比如说repaired defects，对不同工具的缺陷修复
个数进行比较的时候，有必要运行100次吗？（有的文章说时间长，所以只运行了1次，有的文章说我们只运行了3次，但是这个修复的结果和之前的文章
是一致的。那么我们也就采纳了（不浪费时间了））。这样我怎么反驳呢？（而且ICSE 2011也说了如果只运行了很少次数，必须解释，也就是说
运行的次数不是强制的。））时间上的高花费也造成了现在统计分析的缺失。我们要怎么解决这个问题呢？（这个问题我认为比较有意义，但是我们这篇
文章似乎并没有解决）
我们可以不用运行太多次，但是一定要有统计分析。
讲一下后果。
所以我觉得标题应该改为：The Comparison Methodology of Randomized Algorithms in Automated Program Repair
但是我们实际的工作是：在自动修复中随机算法普遍使用但是缺乏严谨比较方法的大背景下，我们
**1）analyze the problem by classifying the algorithms into Deterministic and Nondeterministic. (这里存疑。
有必要这么写吗，感觉会被攻击，因为之前已经有人在说了。随机算法和确定算法都是大家知道的。) （但是我们可以这么说：
我们首次从随机算法和确定算法的角度分析比较算法。 我们对随机，随机之间，随机确定之间的算法进行了比较。 ）总之还得细细斟酌
**
2) 给出一个比较方法，包括RAs之间，以及 RAs和DeterministicAs之间。
- 有一个超大的问题：我们没有对 RAs的运行次数 进行一个准确的讨论，但是我认为RAs的 comparison methodologies应该是避不开运行次数的。
（统计分析，就包括数据的size吧，但是我们没有讨论次数）但是handbook里面没有讨论次数。
结尾
草草结束（受限于时间，精力等等未能完成）。但是总的来说，有效果，感谢CSDN提供的一个记录空间。