Anmerkungen zur einführenden Hadoop-Studie – 8. Umfassende Fälle der Datenanalyse

Adresse des Videokurses: https://www.bilibili.com/video/BV1WY4y197g7
Link zum Kursmaterial: https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8

Anmerkungen zur einführenden Hadoop-Studie (Zusammenfassung)

8. Umfassende Fälle der Datenanalyse

8.1. Anforderungsanalyse

8.1.1. Hintergrundeinführung

Auf der Chat-Plattform wird täglich eine große Anzahl von Benutzern online sein und es werden große Mengen an Chat-Daten angezeigt.Statistische Analyse von Chatdaten, kann genauere Benutzerporträts für Benutzer erstellen, Benutzern bessere Dienste bieten und einen hohen ROI für den Betrieb und die Förderung der Plattform erzielen sowie genaue Datenunterstützung für die Entwicklungsentscheidungen des Unternehmens bereitstellen.
Wir führen die statistische Analyse relevanter Indikatoren auf Basis der Nutzerdaten einer Social-Plattform-App durch und nutzen BI-Tools zur visuellen Darstellung der Indikatoren.

8.1.2. Ziele

Implementieren Sie die statistische Analyse von Chat-Daten und erstellen Sie sie basierend auf Hadoop und HiveBericht zur Chat-Datenanalyse

8.1.3. Anforderungen

• Statistik des gesamten Nachrichtenvolumens heute
• Statistiken zum Nachrichtenvolumen sowie zum Senden und Empfangen von Benutzern pro Stunde heute
• Statistiken zur Menge der heute von jeder Region gesendeten Nachrichtendaten
• Zählen Sie die Anzahl der Benutzer , die heute Nachrichten gesendet und empfangen haben
• Statistik der Top 10 Benutzer, die heute die meisten Nachrichten gesendet haben
• Statistik der Top 10 Benutzer, die heute die meisten Nachrichten erhalten haben
• Statistiken zur Verbreitung von Mobiltelefonmodellen des Senders
• Statistiken zur Verteilung des Betriebssystems des Absendergeräts

8.1.4. Dateninhalt

• Datengröße: 300.000 Daten
• Spaltentrenner:Hive-Standardtrennzeichen „\001“
• Datenwörterbuch und Beispieldaten

8.2. Daten laden

1. Datenbanktabelle erstellen

-- 如果数据库已存在就删除
drop database if exists db_msg cascade;

-- 创建数据库
CREATE database db_msg;

-- 选择数据库
use db_msg;

--如果表已存在就删除
drop table if exists db_msg.tb_msg_source;

-- 建表
create table db_msg.tb_msg_source(
msg_time string comment "消息发送时间",
sender_name string comment "发送人昵称",
sender_account string comment "发送人账号",
sender_sex string comment "发送人性别",
sender_ip string comment "发送人ip地址",
sender_os string comment "发送人操作系统",
sender_phonetype string comment "发送人手机型号",
sender_network string comment "发送人网络类型",
sender_gps string comment "发送人的GPS定位",
receiver_name string comment "接收人昵称",
receiver_ip string comment "接收人IP",
receiver_account string comment "接收人账号",
receiver_os string comment "接收人操作系统",
receiver_phonetype string comment "接收人手机型号",
receiver_network string comment "接收人网络类型",
receiver_gps string comment "接收人的GPS定位",
receiver_sex string comment "接收人性别",
msg_type string comment "消息类型",
distance string comment "双方距离",
message string comment "消息内容"
);

2. Datenimport:
Laden Sie die Datei chat_data-30W.csv in den Kursmaterialien in das Verzeichnis /home/hadoop des Servers node1 hoch;

Führen Sie die folgenden Befehle im Linux-System aus:

# 切换工作目录
cd /home/hadoop

# 在HDFS系统中创建/chatdemo/data目录
hadoop fs -mkdir -p /chatdemo/data

# 将chat_data-30W.csv文件从Linux上传到HDFS系统中
hadoop fs -put chat_data-30W.csv /chatdemo/data

Führen Sie den folgenden Befehl in DBeaver aus:

-- 从HDFS系统中加载数据到Hive表
load data inpath '/chatdemo/data/chat_data-30W.csv' into table tb_msg_source;

-- 验证数据加载
SELECT * FROM tb_msg_source tablesample(100 rows);

-- 验证表中的数据条数
SELECT COUNT(*) from tb_msg_source tms ; 

8.3. ETL-Datenbereinigung und -transformation

Da die Originaldaten einige nicht konforme Daten enthalten, müssen die Daten bereinigt werden.
1. Probleme mit Originaldaten

• Frage 1: In den aktuellen Daten sind einige Datenfelder (z. B. sender_gps) leer und keine zulässigen Daten.
• Frage 2: In der Anforderung muss die Anzahl der Nachrichten pro Tag und Stunde gezählt werden, die Daten enthalten jedoch keine Tages- und Stundenfelder, sondern nur das Gesamtzeitfeld, das schwer zu verarbeiten ist.
• Frage 3: In der Anforderung ist es notwendig, eine visuelle Karte der Region basierend auf Längen- und Breitengraden zu erstellen, aber die GPS-Längen- und Breitengrade in den Daten sind ein Feld, das schwer zu verarbeiten ist;

2. Datenbereinigungsbedarf

• Anforderung 1: Unzulässige Daten mit leeren Feldern filtern;
• Anforderung 2: Tages- und Stundenfelder anhand von Zeitfeldern konstruieren;
• Anforderung 3: Längen- und Breitengrad aus GPS-Längen- und Breitengrad extrahieren;
• Anforderung 4: Speichern Sie die Ergebnisse von ETL in einer neuen Hive-Tabelle.

-- 创建存储清洗后数据的表
create table db_msg.tb_msg_etl(
msg_time string comment "消息发送时间",
sender_name string comment "发送人昵称",
sender_account string comment "发送人账号",
sender_sex string comment "发送人性别",
sender_ip string comment "发送人ip地址",
sender_os string comment "发送人操作系统",
sender_phonetype string comment "发送人手机型号",
sender_network string comment "发送人网络类型",
sender_gps string comment "发送人的GPS定位",
receiver_name string comment "接收人昵称",
receiver_ip string comment "接收人IP",
receiver_account string comment "接收人账号",
receiver_os string comment "接收人操作系统",
receiver_phonetype string comment "接收人手机型号",
receiver_network string comment "接收人网络类型",
receiver_gps string comment "接收人的GPS定位",
receiver_sex string comment "接收人性别",
msg_type string comment "消息类型",
distance string comment "双方距离",
message string comment "消息内容",
msg_day string comment "消息日",
msg_hour string comment "消息小时",
sender_lng double comment "经度",
sender_lat double comment "纬度"
);


-- 按照需求对原始数据表中的数据进行过滤，然后插入新建的表中
INSERT OVERWRITE TABLE db_msg.tb_msg_etl
SELECT 
	*,
	DATE(msg_time) as msg_day,
	HOUR(msg_time) as msg_hour,
	SPLIT(sender_gps, ',')[0] as sender_lng,
	SPLIT(sender_gps, ',')[1] as sender_lat
FROM db_msg.tb_msg_source
WHERE LENGTH(sender_gps) > 0;

Nachdem die Ausführung abgeschlossen ist, öffnen Sie die Tabelle tb_msg_etl und Sie können die folgenden Daten sehen

Erweiterte Kenntnisse: ETL
fragt Daten aus der Tabelle tb_msg_source ab, führt Datenfilterung und -transformation durch und schreibt die Ergebnisse in: die Operation in der Tabelle tb_msg_etl. Bei diesem Vorgang handelt es sich im Wesentlichen um ein einfaches ETL-Verhalten.
ETL:

• E, Extrahieren, Extrahieren
• T, Transformation, Konvertierung
• L, laden, laden

Extrahieren Sie Daten aus A (E), führen Sie eine Datenkonvertierung und -filterung durch (T) und laden Sie die Ergebnisse in B (L), also ETL.

8.4. Indikatorstatistik

1. Indikator 1: Statistik der Gesamtzahl der täglich versendeten Nachrichten

-- 统计每日消息总量
CREATE table db_msg.tb_rs_total_msg_cnt comment '每日消息总量' as
SELECT msg_day, COUNT(*) as total_msg_cnt  FROM db_msg.tb_msg_etl GROUP BY msg_day;

2. Indikator 2: Statistik des Nachrichtenvolumens, Anzahl der sendenden und empfangenden Benutzer pro Stunde

-- 统计每小时消息量、发送和接收用户数
CREATE table db_msg.tb_rs_hour_msg_cnt comment '每小时消息量情况' as
SELECT
	msg_hour,
	COUNT(*) as total_msg_cnt,
	COUNT(DISTINCT sender_account) as sender_user_cnt,
	COUNT(DISTINCT receiver_account) as receiver_user_cnt
FROM
	db_msg.tb_msg_etl
GROUP BY
	msg_hour;

3. Indikator 3: Statistik der Gesamtzahl der täglich in jeder Region gesendeten Nachrichten

-- 每日各地区发送消息总量
CREATE table db_msg.tb_rs_loc_cnt comment '每日各地区发送消息总量' as
SELECT
	msg_day,
	sender_lng,
	sender_lat,
	COUNT(*) as total_msg_cnt
FROM db_msg.tb_msg_etl 
GROUP BY msg_day, sender_lng, sender_lat;

4. Indikator 4: Statistik der täglich sendenden und empfangenden Benutzer

-- 每日发送和接收用户数
CREATE table db_msg.tb_rs_user_cnt comment '每日发送消息和接收消息人数' as
SELECT 
	msg_day,
	COUNT(DISTINCT sender_account) as sender_user_cnt,
	COUNT(DISTINCT receiver_account) as receiver_user_cnt 
FROM db_msg.tb_msg_etl
GROUP BY msg_day;

5. Indikator 5: Statistik der TOP10-Benutzer, die die meisten Nachrichten gesendet haben

-- 发送消息条数最多的前10个用户
CREATE table db_msg.tb_rs_sneder_user_top10 comment '发送消息条数最多的10个用户' as
SELECT 
	sender_name,
	COUNT(*) as sender_msg_cnt 
FROM db_msg.tb_msg_etl
GROUP BY sender_name
SORT BY sender_msg_cnt DESC 
LIMIT 10;

6. Indikator 6: Statistik der TOP10-Benutzer, die die meisten Nachrichten erhalten haben

-- 接收消息条数最多的10个用户
CREATE table db_msg.tb_rs_receiver_user_top10 comment '接收消息条数最多的10个用户' as
SELECT 
	receiver_name,
	COUNT(*) as receiver_msg_cnt 
FROM db_msg.tb_msg_etl
GROUP BY receiver_name 
SORT BY receiver_msg_cnt DESC 
LIMIT 10;

7. Indikator 7: Statistik des Mobiltelefonmodells des Absenders

-- 统计发送人的手机型号
CREATE table db_msg.tb_rs_sender_phone comment '发送人手机型号分布' as
SELECT 
	sender_phonetype,
	COUNT(*) as cnt
FROM db_msg.tb_msg_etl
GROUP BY sender_phonetype;

8. Indikator 8: Statistiken zur Verteilung des Betriebssystems des Absendergeräts

-- 统计发送人的设备操作系统分布情况
CREATE table db_msg.tb_rs_sender_os comment '发送人设备操作系统分布' as
SELECT 
	sender_os,
	COUNT(*) as cnt
FROM db_msg.tb_msg_etl tme 
GROUP BY sender_os;

8.5. FineBI-Installation und -Konfiguration

8.5.1. Download und Installation von FineBI

1. Öffnen Sie die offizielle FineBI-Website https://www.finebi.com/ , registrieren Sie sich und laden Sie den FineBI-Client für die persönliche Testversion herunter.

2. Installieren Sie den Client, den Sie gerade heruntergeladen haben, auf Ihrem lokalen physischen Computer (derselbe Vorgang wie bei der Installation anderer Software). Nachdem die Installation abgeschlossen ist, starten Sie den FineBI-Client.

3. Geben Sie nach dem Start den Aktivierungscode ein, der auf der offiziellen FineBI-Website bereitgestellt wird, und klicken Sie dann auf die Schaltfläche „BI verwenden“. Zu diesem Zeitpunkt beginnt der FineBI-Client zu starten (dieser Vorgang kann lange dauern und Sie müssen geduldig warten. Während Während des Vorgangs wird möglicherweise openJDK angezeigt, um Firewall-Berechtigungen anzufordern. Zustimmung ist erforderlich);


4. Nachdem der FineBI-Client erfolgreich gestartet wurde, wird der Browser automatisch geöffnet und die Website http://localhost:37799/webroot/decision/login/initialization geöffnet Die Seite wird geöffnet, um die Konfigurationsseite aufzurufen. Zu diesem Zeitpunkt kann die Verwaltung der BI-Software konfiguriert werden. Benutzerkonto und Passwort;

5. Nachdem das Konto eingerichtet ist, müssen Sie die FineBI-Datenbank konfigurieren. FineBI ähnelt Hive verfügt außerdem über Metadaten, die verwaltet werden müssen. Für den persönlichen Gebrauch können Sie die integrierte Datenbank von FineBI verwenden. Wenn es in einer Produktionsumgebung verwendet wird, wird empfohlen, eine externe Datenbank zu verwenden. Datenbank; 6. Nachdem Sie auf

„Protokollieren“ geklickt haben „Direkt anmelden“ springt das BI-System automatisch zur Anmeldeschnittstelle und gibt das gerade festgelegte Administratorkonto und Kennwort ein.

7. Nachdem Sie sich beim FineBI-System angemeldet haben, finden Sie in dessen Verzeichnis einige integrierte Vorlagen und Beispiele Die Daten sowie der Leitfaden für Anfänger usw. können als Referenz für die Konfiguration der benötigten Vorlage verwendet werden.

Zu diesem Zeitpunkt wurde der FineBI-Client installiert.

8.5.2. Konfigurieren Sie die Verbindung zwischen FineBI und Hive

1. Als Nächstes müssen Sie das Isolations-Plug-in konfigurieren, damit FineBI eine Verbindung zu Hive herstellen kann. Rufen Sie das FineBI-System auf, gehen Sie zu „Verwaltungssystem – Plug-in-Verwaltung – Mein Plug-in – Von lokal installieren“ und wählen Sie dann die Kursmaterialien im FineBI-Ordner aus fr-plugin-hive-driver-loader-3.0.zip. Anschließend installiert das System das Hive-Isolations-Plug-in.



2 . Öffnen Sie dann mit Notepad die Dateien webapps\webroot\WEB-INF\embed\finedbim Verzeichnis unter db.scriptund ändern Sie sie INSERT INTO FINE_CONF_ENTITY VALUES('SystemConfig.driverUpload','false')in INSERT INTO FINE_CONF_ENTITY VALUES('SystemConfig.driverUpload','true'). Nur so kann der Hive-Treiber installiert werden.

3. Starten Sie dann den FineBI-Client neu, schließen Sie zuerst den FineBI-Client und öffnen Sie dann den FineBI-Client erneut auf dem Desktop.


4. Nachdem Sie sich erneut beim System angemeldet haben, müssen Sie zuerst den Hive-Treiber installieren und die offizielle Hilfe von FineBI öffnen Handbuch, Kapitel zur Hadoop Hive-Datenverbindung: https://help.fanruan.com/finebi/doc-view-301.html , und laden Sie die entsprechende Version des Treiberpakets und des Protokoll-JAR-Pakets gemäß den Anweisungen herunter;

5. Nach dem Der Download ist abgeschlossen. Legen Sie alle JAR-Dateien in die beiden komprimierten Pakete. Entpacken Sie die Datei in einen Ordner.

6. Klicken Sie im System auf „Verwaltungssystem-Datenverbindung-Datenverbindungsverwaltung-Treiberverwaltung“, um die Treiberverwaltungsoberfläche aufzurufen.

7. Klicken Sie in der Treiberverwaltungsoberfläche auf die Schaltfläche „Neuer Treiber“, geben Sie den Treibernamen ein und klicken Sie dann auf die Schaltfläche „OK“.

8. Klicken Sie dann auf die Schaltfläche „Datei hochladen“ und wählen Sie alle JAR-Dateien aus, die Sie gerade zum Hochladen dekomprimiert haben.

9. Nachdem der Upload abgeschlossen ist, wählen Sie den Hive-Treiber in der Spalte „Treiber“ aus und klicken Sie dann oben rechts auf die Schaltfläche „Speichern“, um das Hinzufügen des Hive-Treibers abzuschließen. Nachdem das Hinzufügen erfolgreich war, klicken Sie auf die Schaltfläche „Treiberverwaltung beenden“ in der oberen linken Ecke.

10. Klicken Sie in der Datenverbindungsverwaltungsschnittstelle auf die Schaltfläche „Neue Datenverbindung“, um die neue Datenverbindungsschnittstelle zu öffnen.

11. Wählen Sie „Alle“ aus Klicken Sie dann auf die Registerkarte „Hadoop Hive“.

12. Geben Sie auf der Hadoop Hive-Seite die relevanten Informationen zum Hive-Dienst der virtuellen Maschine (z. B. Hiveserver2-Dienst) ein. Klicken Sie nach Abschluss des Ausfüllens auf die Schaltfläche „Verbindung testen“. in der oberen rechten Ecke. Sie sehen die Eingabeaufforderung „Verbindung erfolgreich“, die die Konfiguration anzeigt. Erfolgreich, klicken Sie dann auf die Schaltfläche „Speichern“ in der oberen rechten Ecke, und die Hive-Verbindung wird erstellt.

An diesem Punkt ist die Datenverbindungskonfiguration von FineBI zu Hive abgeschlossen. Das Visualisierungspanel wird später konfiguriert.

8.6. Visuelle Anzeige

Das Ziel dieses Abschnitts besteht darin, mit FineBI das folgende visuelle Dashboard zu konfigurieren.

1. Erstellen Sie einen Bericht. Klicken Sie nach der Anmeldung beim System auf „Öffentliche Daten – Neuer Ordner“, um den in diesem Fall verwendeten Ordner zu erstellen, und nennen Sie den Ordner dann „Hive Data Analysis“.

2. Wählen Sie den neu erstellten Ordner „Hive Data Analysis“ aus, klicken Sie dann oben auf die Schaltfläche „Neuer Datensatz“ und wählen Sie „Datenbanktabelle“ aus.

3. Wählen Sie dann die im vorherigen Kapitel erstellte 8-Indikator-Datentabelle aus und klicken Sie dann auf die Schaltfläche „OK“ in der oberen rechten Ecke.

4. Nachdem Sie auf „OK“ geklickt haben, können Sie sehen, dass die vorherige Tabelle unter „Hive“ angezeigt wird Ordner „Datenanalyse“. Die ausgewählte Tabelle (benannt nach dem Tabellenkommentar).

5. Klicken Sie nacheinander auf jede Tabelle und dann auf die Schaltfläche „Daten aktualisieren“, um die Daten aus Hive abzurufen.

6. Klicken Sie auf „Meine Analyse – Neu“. Ordner“, Benennen Sie den neuen Ordner „Hive Data Analysis“;

7. Wählen Sie „Hive Data Analysis“ und klicken Sie auf „Neues Analysethema“. Die Seite mit dem Analysethema wird in einem anderen Browserfenster geöffnet.

8. Wählen Sie „Hive Data Analysis“ aus Analysethemenseite. „Öffentliche Daten“ – „Die Anzahl der Personen, die täglich Nachrichten senden und empfangen“ im neu erstellten Hive-Datenanalysedatensatz. Klicken Sie dann auf die Schaltfläche „OK“, um die Daten zu erstellen.

9. Nach der Erstellung ist Wenn Sie fertig sind, klicken Sie unten auf die Registerkarte „Komponenten“, geben Sie die Komponentenkonfiguration ein, wählen Sie „KPI-Indikatorkarte“ aus, ziehen Sie dann das Feld „sender_user_cnt“ links in die Spalte „Text“ und klicken Sie dann auf die Konfigurationsschaltfläche der Textspalte.

10. Deaktivieren Sie in der Popup-Textspaltenkonfiguration „Schriftgröße festlegen“, bearbeiten Sie dann den Inhalt und ändern Sie das Präfix des Inhalts in „Anzahl der Personen, die Nachrichten senden:“.


11. Benennen Sie die Registerkarte der Komponente in „Anzahl der Personen“ um Senden von Nachrichten“ und klicken Sie dann unten auf der Seite auf „Instrument hinzufügen“ und dann auf die Schaltfläche „Board“, um ein Dashboard hinzuzufügen.

12. Ziehen Sie dann im Dashboard die neu konfigurierte Komponente „Anzahl der Personen, die Nachrichten senden“ auf das Dashboard und passen Sie sie an Legen Sie Position und Größe fest, klicken Sie auf die Dropdown-Schaltfläche neben der Komponente und deaktivieren Sie die Option „Titel anzeigen“.

13. Klicken Sie dann oben rechts auf „Dashboard-Stil“ und wählen Sie „Standard dunkel“, um den Hintergrund des gesamten Elements zu ändern Daten-Dashboard;

14. Erstellen Sie dann auf die gleiche Weise eine neue Komponente von „Anzahl der empfangenen Nachrichten“ und platzieren Sie sie im Dashboard;

15. Wählen Sie die Registerkarte „Daten“, klicken Sie dann oben auf die Schaltfläche „+“ und wählen Sie dann aus „Öffentliche Daten – Hive-Datenanalyse – Gesamtzahl der täglichen Nachrichten“ und klicken Sie dann auf „OK“;

16. Fügen Sie dann die Komponente „Gesamtzahl der Nachrichten“ hinzu, vervollständigen Sie die Komponentenkonfiguration wie oben beschrieben und platzieren Sie sie im Dashboard;


17. Befolgen Sie eine ähnliche Methode, um die Komponente „TOP10-Benutzer, die die meisten Nachrichten senden“ zu erstellen.




18. Befolgen Sie eine ähnliche Methode, um die Komponente „Anteil des Betriebssystems sendender Benutzer“ zu erstellen.




19. Erstellen Sie die Kartenkomponente nach einer ähnlichen Methode.








20 . Erstellen Sie die Komponente „TOP10-Benutzer, die die meisten Nachrichten erhalten haben“ nach einer ähnlichen Methode.




21. Erstellen Sie die Komponente „Verteilung der Mobiltelefonmodelle sendender Benutzer“ nach einer ähnlichen Methode.




22. Gehen Sie nach einer ähnlichen Methode vor. Erstellen Sie die stündliche Nachricht Komponente „Volumentrend“;








das ist das Ende dieses Kurses.