文章作者邮箱：[email protected] 地址：广东惠州
▲ 本章节目的
⚪ 了解TELECOM项目的架构和环境配置；
⚪ 了解TELECOM项目的数据字典；
一、简介
1. 概述
1. 当用户通过网络设备(手机、平板电脑、笔记本电脑等)进行上网的时候，信号经过基站进行传输的时候，会在基站这儿留下日志。
2. 可以通过分析日志来获取用户的行为记录，例如用户浏览了哪个网站或者用户喜欢哪个APP等行为，从而可以做到相对精准的推荐。
2. 架构
1. 因为此处做的是离线的数据分析，所以没有使用到HBase。
2. 硬件环境：至少需要三台服务器，每一台服务器至少是2核4G(推荐是2核8G)，磁盘至少是20G(推荐是50G~60G)。
3. 软件环境：三台服务器上都需要安装Flume，第一台服务器上需要安装Hive。可以选择安装Hadoop的伪分布式或者也可以选择安装Hadoop的完全分布式，如果选择安装Hadoop的完全分布式，那么在这之前需要先安装好Zookeeper。
| 软件 |
版本 |
| Flume |
1.9.0 |
| Hive |
3.1.2 |
| Hadoop |
3.1.3 |
| Zookeeper |
3.5.7 |
| MySQL |
5.7.33 |
二、数据字典
1. 数据字段
| 序号 | 字段名 | 类型 | 长度 | 说明 |
| 0 |
reporttime |
string |
14 |
从文件名截取获取，动态填上 |
| 1 |
Length |
unsigned int |
2 |
用于指示整个XDR所占用字节数 |
| 2 |
City |
byte |
2 |
城市区号，如010代表北京 |
| 3 |
Interface |
unsigned int |
1 |
接口类型，16进制编码 1. Uu 2. X2 3. UE_MR 4. Cell_MR 5. S1-MME 6. S6a 7. S11 8. S10 9. SGs 10. S5/S8 11. S1-U 12. Gn 13~20 预留 21. IDC出口 22.省网出口 23.省网网间出口 24.骨干网网间出口 |
| 4 |
xDR ID |
unsigned int |
16 |
DPI设备内唯一的xDR编号，16进制编码。一个会话生成一个xDR ID S1-U接口中，一个会话在同一个小区中的传输过程生成一个xDR ID，如该会话切换到新的小区，则生成新的XDR ID及会话记录 对于超长会话设立时间阈值，超过阈值则该条记录结束，重新生成另一条会话记录并生成新的XDR ID，阈值默认为5分钟 |
| 5 |
RAT |
unsigned int |
1 |
RAT类型，16进制编码 1. UTRAN 2. GERAN 3. WLAN 4. GAN 5. HSPA Evolution 6. EUTRAN |
| 6 |
IMSI |
byte |
8 |
用户IMSI（TBCD编码），通过Gn/S11接口信令获取 |
| 7 |
IMEI |
byte |
8 |
终端IMEI（TBCD编码），通过Gn/S11接口信令获取 |
| 8 |
MSISDN |
byte |
16 |
用户号码（TBCD编码），通过Gn/S11接口信令获取 |
| 9 |
Machine IP Add type |
Unsigned int |
1 |
设备IP地址类型 0x01：IPv4 0x02：IPv6 |
| 10 |
SGW/GGSN IP Add |
byte |
4(16) |
对于Gn口，填写GGSN的用户面IP地址；对于S1-U口，填写SGW的用户面IP地 Ipv4：4字节 Ipv6：16字节 |
| 11 |
eNB/SGSN IP Add |
byte |
4(16) |
对于Gn口，填写SGSN的用户面IP地址；对于S1-U口，填写eNB用户面IP地址： Ipv4：4字节 Ipv6：16字节 |
| 12 |
SGW/GGSN Port |
byte |
2 |
对于Gn口，填写GGSN的端口；对于S1-U口，填写SGW端口 |
| 13 |
eNB/SGSN Port |
byte |
2 |
对于Gn口，填写SGSN的端口；对于S1-U口，填写eNB端口 |
| 14 |
eNB/SGSN GTP-TEID |
byte |
4 |
对于Gn口，填写该业务对应承载的SGSN侧GTP-TEID；对于S1-U口，填写该业务对应承载的eNB侧GTP-TEID |
| 15 |
SGW/GGSN GTP-TEID |
unsigned byte |
4 |
对于Gn口，填写该业务对应承载的GGSN侧GTP-TEID；对于S1-U口，填写该业务对应承载的SGW侧GTP-TEID |
| 16 |
TAC |
byte |
2 |
TAC |
| 17 |