关联规则挖掘Apriori算法的实现

「这是我参与11月更文挑战的第17天，活动详情查看：2021最后一次更文挑战」

实验名称

关联规则挖掘Apriori算法的实现

实验目的

1.掌握频繁项目集的生成原理

2.掌握关联规则挖掘的原理

3.掌握在weka中进行关联规则挖掘的具体流程。

实验内容

1.根据给定的事务数据库，支持数阈值2和置信度阈值0.7，编写代码生成频繁项目集及对应的关联规则。

2.利用weka工具对天气数据、美国国会议员投票信息、超市购物篮数据进行关联规则挖掘，并分析挖掘结果

实验步骤及结果

一.根据给定的事务数据库，支持数阈值2和置信度阈值0.7，编写代码生成频繁项目集及对应的关联规则。

新建java项目 Apriori.java

1.事务数据库、支持数、置信度的定义

package rule;

import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Set;

public class Apriori {
	private final static int SUPPORT = 2;
	private final static String ITEM_SPLIT = ";";
	private final static String CON = "->";
	private final static double CONFIDENCE = 0.7;
	private final static List<String> transList = new ArrayList<String>();
	static {
		transList.add("1;2;5;");
		transList.add("2;4;");
		transList.add("2;3;");
		transList.add("1;2;4;");
		transList.add("1;3;");
		transList.add("2;3;");
		transList.add("1;3;");
		transList.add("1;2;3;5;");
		transList.add("1;2;3;");
	}

复制代码

2.频繁项目集的生成过程，其中调用了方法getItem1FC( ),生成L1，递归调用getCandidateCollection()进行连接、剪枝生成C2、C3……，最后生成L2，L3……

// 生成频繁项目集
	public Map<String, Integer> getFC() {
		// 声明哈希表，用来存放键值对，即项目和支持数对，所有的频繁集
		Map<String, Integer> frequentCollectionMap = new HashMap<String, Integer>();
		frequentCollectionMap.putAll(getItem1FC());
		Map<String, Integer> itemkFcMap = new HashMap<String, Integer>();
		itemkFcMap.putAll(getItem1FC());
		while (itemkFcMap != null && itemkFcMap.size() != 0) {
			Map<String, Integer> candidateCollection = getCandidateCollection(itemkFcMap);
			Set<String> ccKeySet = candidateCollection.keySet();

			// 对候选集项进行累加计数
			for (String trans : transList) {
				for (String candidate : ccKeySet) {
					boolean flag = true;// 用来判断交易中是否出现该候选项
					String[] candidateItems = candidate.split(ITEM_SPLIT);
					for (String candidateItem : candidateItems) {
						if (trans.indexOf(candidateItem + ITEM_SPLIT) == -1) {
							flag = false;
							break;
						}
					}
					if (flag) {
						Integer count = candidateCollection.get(candidate);
						candidateCollection.put(candidate, count + 1);
					}
				}
			}

			// 从候选集中找到符合支持度的频繁集项
			itemkFcMap.clear();
			for (String candidate : ccKeySet) {
				Integer count = candidateCollection.get(candidate);
				if (count >= SUPPORT) {
					itemkFcMap.put(candidate, count);
				}
			}
			frequentCollectionMap.putAll(itemkFcMap);
		}
		return frequentCollectionMap;
	}
复制代码

3.根据Lk 进行连接、剪枝生成Ck+1(剪枝指对连接生成的c，判断它的k-子集是否属于Lk,不属于则剪枝去掉该c)

private Map<String, Integer> getCandidateCollection(Map<String, Integer> itemkFcMap) {
		Map<String, Integer> candidateCollection = new HashMap<String, Integer>();
		Set<String> itemkSet1 = itemkFcMap.keySet();
		Set<String> itemkSet2 = itemkFcMap.keySet();
		for (String itemk1 : itemkSet1) {
			for (String itemk2 : itemkSet2) {
				String[] tmp1 = itemk1.split(ITEM_SPLIT);// 进行连接
				String[] tmp2 = itemk2.split(ITEM_SPLIT);
				String c = "";
				if (tmp1.length == 1) {
					if (tmp1[0].compareTo(tmp2[0]) < 0) {
						c = tmp1[0] + ITEM_SPLIT + tmp2[0] + ITEM_SPLIT;
					}
				} else {
					boolean flag = true;
					for (int i = 0; i < tmp1.length - 1; i++) {
						if (!tmp1[i].equals(tmp2[i])) {
							flag = false;
							break;
						}
					}
					if (flag && (tmp1[tmp1.length - 1].compareTo(tmp2[tmp2.length - 1]) < 0)) {
						c = itemk1 + tmp2[tmp2.length - 1] + ITEM_SPLIT;
					}
				}
				boolean hasInfrequentSubSet = false;// 进行剪枝
				if (!c.equals("")) {
					String[] tmpC = c.split(ITEM_SPLIT);
					for (int i = 0; i < tmpC.length; i++) {
						String subC = "";
						for (int j = 0; j < tmpC.length; j++) {
							if (i != j) {
								subC = subC + tmpC[j] + ITEM_SPLIT;
							}
						}
						if (itemkFcMap.get(subC) == null) {
							hasInfrequentSubSet = true;
							break;
						}
					}
				} else {
					hasInfrequentSubSet = true;
				}
				if (!hasInfrequentSubSet) {
					candidateCollection.put(c, 0);
				}
			}
		}
		return candidateCollection;
	}
复制代码

4.L1的生成过程

private Map<String, Integer> getItem1FC() {
		Map<String, Integer> sItem1FcMap = new HashMap<String, Integer>();// 存放候选1项集
		Map<String, Integer> rItem1FcMap = new HashMap<String, Integer>();// 存放频繁1项集
		for (String trans : transList) {
			String[] items = trans.split(ITEM_SPLIT);
			for (String item : items) {
				Integer count = sItem1FcMap.get(item + ITEM_SPLIT);
				if (count == null) {
					sItem1FcMap.put(item + ITEM_SPLIT, 1);
				} else {
					sItem1FcMap.put(item + ITEM_SPLIT, count + 1);
				}
			}
		}
		Set<String> keySet = sItem1FcMap.keySet();
		for (String key : keySet) {
			Integer count = sItem1FcMap.get(key);
			if (count >= SUPPORT) {
				rItem1FcMap.put(key, count);
			}
		}
		return rItem1FcMap;
	}
复制代码

5. 生成关联规则的过程

public Map<String, Double> getRelationRules(Map<String, Integer> frequentCollectionMap) {
		Map<String, Double> relationRules = new HashMap<String, Double>();
		Set<String> keySet = frequentCollectionMap.keySet();
		for (String key : keySet) {
			double countAll = frequentCollectionMap.get(key);
			String[] keyItems = key.split(ITEM_SPLIT);
			if (keyItems.length > 1) {
				List<String> source = new ArrayList<String>();
				Collections.addAll(source, keyItems);
				List<List<String>> result = new ArrayList<List<String>>();
				buildSubSet(source, result);// 获得source的所有非空子集
				for (List<String> itemList : result) {
					if (itemList.size() < source.size()) {// 只处理真子集
						List<String> otherList = new ArrayList<String>();
						for (String sourceItem : source) {
							if (!itemList.contains(sourceItem)) {
								otherList.add(sourceItem);
							}
						}
						String reasonStr = "";// 前置
						String resultStr = "";// 结果
						for (String item : itemList) {
							reasonStr = reasonStr + item + ITEM_SPLIT;
						}
						for (String item : otherList) {
							resultStr = resultStr + item + ITEM_SPLIT;
						}
						double countReason = frequentCollectionMap.get(reasonStr);
						double itemConfidence = countAll / countReason;// 计算置信度
						if (itemConfidence >= CONFIDENCE) {
							String rule = reasonStr + CON + resultStr;
							relationRules.put(rule, itemConfidence);
						}
					}
				}
			}
		}
		return relationRules;
	}
复制代码

6.对频繁项目集的所有子集生成关联规则

private void buildSubSet(List<String> sourceSet, List<List<String>> result) {
		// 仅有一个元素时，递归终止。此时非空子集仅为其自身，所以直接添加到result中
		if (sourceSet.size() == 1) {
			List<String> set = new ArrayList<String>();
			set.add(sourceSet.get(0));
			result.add(set);
		} else if (sourceSet.size() > 1) {
			// 当有n个元素时，递归求出前n-1个子集，在于result中
			buildSubSet(sourceSet.subList(0, sourceSet.size() - 1), result);
			int size = result.size();// 求出此时result的长度,用于后面的追加第n个元素时计数
			// 把第n个元素加入到集合中
			List<String> single = new ArrayList<String>();
			single.add(sourceSet.get(sourceSet.size() - 1));
			result.add(single);
			// 在保留前面的n-1子集的情况下，把第n个元素分别加到前n个子集中，并把新的集加入到result中;
			// 为保留原有n-1的子集，所以需要先对其进行复制
			List<String> clone;
			for (int i = 0; i < size; i++) {
				clone = new ArrayList<String>();
				for (String str : result.get(i)) {
					clone.add(str);
					clone.add(sourceSet.get(sourceSet.size() - 1));
					result.add(clone);
				}
			}
		}

	}

复制代码

7.主函数，调用getFC()输出频繁项目集，调用getCandidateCollection()生成存在强关联规则的项目

public static void main(String[] args) {
		Apriori apriori = new Apriori();
		Map<String, Integer> frequentCollectionMap = apriori.getFC();
		System.out.println("--------------频繁项目集"+"--------------");
		Set<String> fcKeySet = frequentCollectionMap.keySet();
		for (String fcKey:fcKeySet){
			System.out.println(fcKey+" : "+frequentCollectionMap.get(fcKey));
		}
		Map<String, Double> relationRulesMap = apriori.getRelationRules(frequentCollectionMap);
		System.out.println("--------------存在强关联规则如下"+"--------------");
		Set<String> rrKeySet=relationRulesMap.keySet();
		for(String rrKey:rrKeySet){
			System.out.println(rrKey+" : "+relationRulesMap.get(rrKey));
		}
	}
}

复制代码

运行结果：

二.利用weka工具对天气数据、美国国会议员投票信息、超市购物篮数据进行关联规则挖掘，并分析挖掘结果

<1>

选择Apriori

设置好各项参数

设置完成后点击start运行

Run information  //实验运行信息

Scheme: weka.associations.Apriori   //所选的关联规则挖掘方案：Apriori算法

-N 10 -T 0 -C 0.9 -D 0.05 -U 1.0 -M 0. 1 -S -1.0 -c -1

//各参数依次表示：

I - 输出项集，若设为false则该值缺省;

N 10 - 规则数为10;

T 0 – 度量单位选为置信度，(T1-提升度，T2杠杆率，T3确信度);

C 0.9 – 度量的最小值为0.9;

D 0.05 - 递减迭代值为0.05;

U 1.0 - 最小支持度上界为1.0; 

M 0.1 - 最小支持度下届设为0.1;

S -1.0 - 重要程度为-1.0;

c -1 - 类索引为-1输出项集设为真

Relation:weather.symbolic //数据的名称weather.symbolic

Instances: 14  //数据的记录数 14

Attributes:5 //属性数目 5以及各属性名称

Apriori  // Apriori算法运行结果

Minimum support: 0. 1 5 (2 instances)   //最小支持度0.15，即最少需要2个实例

Minimum metric : 0.9   //最小度量<置信度>: 0.9

Number of cycles performed: 1 7 //进行了17轮搜索

Generated sets of large itemsets:     //生成的频繁项集

Size of set of large itemsets L(1): 12 //频繁1项集：12个

Size of set of large itemsets L( 2 ): 47 //频繁2项集：47个

Size of set of large itemsets L( 3 ): 39 //频繁3项集：39个

Size of set of large itemsets L( 4 ): 6  //频繁4项集：6个

Best rules found: //最佳关联规则

1. outlook=overcast 4 ==> play=yes 4    conf:(1) lift:(1.56) lev:(0.1) [1] conv:(1.43)

//规则采用“前件 num.1 ==>结论 num.2”的形式表示，前件后面的数字表示有多少个实例满足前件，结论后的数字表示有多少个实例满足整个规则，这就是规则的”支持度“。

conf：置信度 lift：提升度 lev：杠杠率 conv：确信度

设置参数 outputItemSets 为 true，再次运行 Apriori 算法，会生成各频繁项目集及他们的支

持数如下：

<2>加载 vote.arff 数据集，该数据集中各属性含义如下：

切换至 Associate 标签页，选择 Apriori 算法，保持默认选项，单击 start 按钮，

结果如下：

参数解释如<1>一致

<3>加载 supermarket.arff 数据集

运行 Apriori 算法，结果如下：

解析如下：

第一条规则：饼干+冷冻食品+水果+高总额 ==> 面包和蛋糕

第二条规则：烘烤所需+饼干+水果+高总额 ==> 面包和蛋糕

第三条规则：烘烤所需+冷冻食品+水果+高总额 ==> 面包和蛋糕

第四条规则：饼干+水果+蔬菜+高总额 ==> 面包和蛋糕

第五条规则：聚会零食+水果+高总额 ==> 面包和蛋糕

第六条规则：饼干+冷冻食品+蔬菜+高总额 ==> 面包和蛋糕

第七条规则：烘烤所需+饼干+蔬菜+高总额 ==> 面包和蛋糕

第八条规则：饼干+水果+高总额 ==> 面包和蛋糕

第九条规则：冷冻食品+水果+蔬菜+高总额 ==> 面包和蛋糕

第十条规则：冷冻食品+水果+高总额 ==> 面包和蛋糕

可以发现

1. 购买饼干或冷冻食品 ，会购买水果或蔬菜 （水果 8 条规则，蔬菜 4条规则）

2. 购买饼干、冷冻食品 、水果、蔬菜，会购买面包、蛋糕（多条）

3. 购买上述食品的，采购量会很大（金额高）（9条）

4. 采购量会很大（金额高）的，一般会购买面包、蛋糕（10条规则都包含这两项）

总结：

Apriori算法需要完全的标称型数据，如果有数值型属性，必须先进行离散化。关联规则挖掘发现大量数据中项集之间有趣的关联或者相互联系。关联规则挖掘的一个典型例子就是购物篮分析，该过程通过发现顾客放入其购物篮中不同商品之间的联系，分析出顾客的购买习惯，通过了解哪些商品频繁地被顾客同时买入，能够帮助零售商制定合理的营销策略。其可以揭示数据中隐藏的关联模式，帮助人们进行市场运作，决策支持等。