2018上海云栖大会workshop-日志数据采集与分析对接

日志数据采集与分析对接

课程描述

通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理，程序日志查询与监控，打通日志与数据仓库对接案例。

日志种类

• 网站访问日志

准备步骤 & 依赖

• ECS虚拟机（测试账号默认包含，并且访问日志产生）

• OSSBucket

  • 用做数据仓库，存储日志服务同步的各类数据

• RAM服务

  • 生成RAM角色用于同步日志数据至OSSBucket

操作步骤

• 日志采集配置

  • 选择华东2创建日志服务project（project名称全局唯一，建议在名称中加入账号或者特殊名称以避免重复）
    

• 创建logstore存储访问日志
  
• 向导创建NGINX日志采集
  

• 配置文件路径（/var/log）和文件名称（access_log），其中NGINX日志配置为：

  log_format web_site_com '"$remote_addr" "$remote_user" "[$time_local]" "$request" ' 
      '"$status" "$body_bytes_sent" "$http_referer" "$http_user_agent" "$host" '
      '"$http_x_forwarded_for" "$request_time" "$request_length" "$remote_port" ' 
      '"$upstream_response_time"';

  

• 创建机器组（打开ECS控制台获取机器IP地址）
  

• 开启日志分析
  

• 日志查询分析

  • 根据关键词查询访问日志
    
  • 分析统计NGINX访问日志（预置仪表盘使用：包含地图/各类基本图形等）
    

• 数仓同步

  • 选择华东2创建Bucket
    
  • 授权日志服务同步数据至OSS（点击授权链接）
    
  • 获取RAM角色名称（点击链接）
    
  • 指定OSSBucket同步指定日志数据（其中可填入字段名称包括：request_method，request_time，remote_addr，request_length，http_user_agent等在查询页面看到的所有字段）
    
  • 等待1-2min后，可以在OSS中看到生成的数据目录
    

实验耗费

• ECS虚拟机
• 日志服务
• OSS存储