大数据方案-数仓建设

版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/ifwinds/article/details/81665697

阿里云方案

基于阿里云日志服务实现，拉取阿里云日志到本地数据库存储。
优点：实施速度快。
缺点：依赖阿里云日志服务，扩展性和灵活性较差。

自研方案

前端、云端、Nginx等不同格式的日志发送到Kafka消息队列，之后做ETL数据清洗，之后可以使用Storm做实时计算或使用Hive/Spark Streaming做离线批处理，处理结果存储在Hbase中，使用Redis做缓存，ES做索引。维度等业务数据使用Binlog增量同步到Hbase中。
优点：能够处理各种类型的海量数据，处理和查询速度快；支持实时计算和离线计算；扩展性强。
缺点：服务器成本较高，需要投入更多的服务器资源。