日志（log）
1、日志概念：以标准化的格式做的记录。
2、日志的通用格式："%h %l %u %t \"%r\" %>s %b"
如：127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326
- 127.0.0.1（%h）：发起请求的客户端IP地址
- "-"（%l）：用户身份(未知)
- frank（%u）：作者
-[10/Oct/2000:13:55:36 -0700]（%t）：日期
-
-
- day = 2 digits
- month = 3 letters
- year = 4 digits
- hour = 2 digits
- minute = 2 digits
- second = 2 digits
- zone = (+ | -) 4 digits
-
-"GET /apache_pb.gif HTTP/1.0"（\"%r\"）：客户端请求字符串，包含三部分：1）请求方式 ( GET、POST )，2）访问路径，3）客户端协议版本
- 200（%>s）：状态码，三位数
-2326 （%b）：字节数，表示返回数据的大小，如果没有返回任何内容，这个值会是"-" (也有时候会是0)
3、日志分析的重要性：模型训练的数据实质上来自于日志，人们在网上的日常活动大多以日志的形式记录下来，从日志中提取整理出的格式化数据保存于表格或HDFS上，用于建模。因此日志是最重要的数据来源之一。
日志格式化
1、读取数据：读取日志并查看数据格式。
2、明确目标：解析日志的目标是把数据转化为格式化的数据，以表的形式展示。
3、转换方式：将每条日志分拆成多个部分，每个部分有实际的物理含义，即每个item为Row形式。
4、一条日志的分析：
- 字符串不固定，不能直接拆分。
- 每部分的数据都有自己本身的实际意义，即有固定的模式，因此可以使用正则表达式提取数据。
- 用正则表达式可能匹配不到数据，需要做异常处理，还要注意正则的成功率。（数据量过大时可以先随机抽样部分数据，检验正则效率，进行完善。）
- 日期数据要处理为datetime类型，以便得到星期、假期等更有意义的数据。
日志解析
以上得到格式化的日志数据，开始进行分析。
1、初步解析：对发送请求的客户端、发送请求的访问路径、返回的状态码、数据大小做统计，并做可视化。
- 目的：了解客户端的地域分布，服务器响应是否正常。
- 方法：① map() 得到 pair RDD ② reduceByKey() 进行统计。③ takeOrdered( mun:int , implicit ord: Ordering[T] ) 按照一定排序规则（默认升序），返回前num个元素。
2、进一步解析：请求成功及失败最高的访问路径，访问服务器的客户端总个数，每天有多少客户端访问，每个host的平均请求次数，
- 目的：进一步了解访问最多的host，访问路径，网页链接的有效性。
- 具体分析内容：总访问量（总host数），每日的访问量（每日host数），每日每位客户端平均访问次数。对状态码404的host，访问路径，访问时段等信息进行分析。（404错误表示链接指向的网页不存在，过多的404错误会影响网站流量，需要及时维护。可能是客户端问题，也可能是服务器端问题。）