Lebenslauf
·Persönliche Informationen· ____________________________________________________________
Name: Geschlecht:
Alter: Berufserfahrung:
Ausbildung: Bachelor (Vollzeit) Hauptfach: Informatik und Technologie
Herkunftsort: Englisch Niveau:
Telefon: E-Mail:
·Berufsabsicht· ______________________________________________________________
Zielgehalt: Verhandelbarer
Job Position: Big Data Development Engineer
Jobstatus:
IT-Kenntnisse verlassen ____________________________________________________________
1. Big Data-Technologie
1. In der Lage sein, Hadoop aufzubauen und verwandte Technologien wie HDFS, Yarn, MapReduce, Flume, Sqoop geschickt zu nutzen;
2. Das Prinzip des Mapreduce-Jobs beherrschen Planung und tiefes Verständnis des Funktionsprinzips von Mapreduce und des Shuffle-Prozesses;
3. Vertraut mit dem Spark-Workflow, kann Spark Sql für die Datenverarbeitung und SparkStreaming für Streaming-Computing verwenden;
4. Kann die Nachrichten-Middleware Kafka für das Daten-Caching verwenden;
5. Beherrscht das Arbeitsprinzip von Zookeeper und kann Zookeeper zum Erstellen von HadoopHA-Clustern und SparkHA verwenden;
6. Vertraut mit der Volltextsuche Lucene und Elasticsearch;
7. Kann den Reverse-Proxy Nginx verwenden, um dynamische und statische Anforderungen und Lastausgleichsserver zu trennen;
8. Die Storm-Architektur verstehen und Storm für Echtzeit-Computing verwenden können.
2. Datenbankbezogene Technologien
1. Sie können Hive und Hbase zur Analyse und Verarbeitung großer Datenmengen verwenden.
2. Sie können eine MySQL-Datenbank zur Datenspeicherung verwenden.
3. Sie sind mit der Verwendung von MongoDB und Redis vertraut.
3. Programmiersprache
1. Java zum Programmieren verwenden können;
2. Scala für den Spark-Betrieb verwenden können;
3. Shell-Skriptprogrammierung verstehen;
4. Die grundlegende Verwendung von Python verstehen.
4. Andere
1. Sie können Spring, SprngMVC, SpringBoot, MyBatis und andere Frameworks zum Erstellen von Projekten verwenden.
2. Sie sind mit gängigen Linux-Befehlen vertraut.
3. Sie sind mit der Verwendung von GitHub, Maven und anderen Entwicklungstools vertraut.
·Berufserfahrung· __________________________________________________________________________________
April 2017 – März 2019
Unternehmen Branche: Computersoftware Position: Big-Data-Entwicklungsingenieur
Aufgabenbereiche:
1. Hauptverantwortlich für die verteilte Speicherung von Big Data;
2. Analyse von Offline-Datenquellen, Echtzeit-Datenanalyseberechnung ;
3. Gestaltung von Datenerfassungs-, Reinigungs- und anderen Programmen.
·Projekterfahrung· ____________________________________________________________
Projekt 1:
Caomin Film Network Datenanalyse-Entwicklungszyklus August 2018–Februar 2019
Technische Implementierung:
Hadoop+Flume+Kafka+Mycat+Hive+Spark+SparkMLlib+
Redis+MongoDB+Elaticaserch
Projektposition: Big Data-Entwicklungsingenieur
Projekteinführung :
Dieses Projekt dient dazu, Bewertungsstatistiken für Film-Websites zu erstellen. Unter den verschiedenen Fernsehserien und Filmprogrammen, die von Benutzern angesehen werden, können wir den Anzeigestatus überwachen, um herauszufinden, welche Fernsehserien und Filme beim Publikum beliebter sind Einige Benutzer finden alle Arten beliebter Fernsehserien und Filme und zählen täglich in Echtzeit die Anzahl der registrierten Personen.
Projektaufgaben:
1. Verantwortlich für die Teilnahme an der Offline-Statistikanalyse von Website-Indikatoren: z. B. Statistiken zur durchschnittlichen Punktzahl von Filmen, Statistiken zu hochwertigen Filmen in jeder Kategorie, Statistiken zu den beliebtesten Filmen, Statistiken zu hochwertigen Filmen usw.; 2. Daten sammeln, bereinigen und
in HDFS speichern;
3. Verwenden Sie den kollaborativen Filter-ALS-Algorithmus in Spark MLlib, um die Empfehlungsmatrix für Benutzerfilme und die Filmähnlichkeitsmatrix zu berechnen.
4. Verwenden Sie ES, um inhaltsbasierte Empfehlungsergebnisse usw. zu berechnen.
Technische Punkte:
1. Flume-Überwachungsprotokolldaten werden an Kafka übertragen;
2. Hadoop und ES ziehen jeweils Daten von Kafka ab und führen eine Echtzeitbereinigung und -speicherung durch;
3. Verwenden Sie SparkSql, um Daten von Hadoop für die Offline-Datenanalyse und -berechnung abzurufen;
4 . Verwenden Sie Spark Streaming, um Daten von Kafka für Echtzeitberechnungen abzurufen.
5. Verwenden Sie den ALS-Empfehlungsalgorithmus von Spark MLlib, um Offline-Videos zu analysieren und Benutzern zu empfehlen.
6. Verwenden Sie den vom Unternehmen bereitgestellten Algorithmusprozess, um empfohlene Videos in Echtzeit zu berechnen.
Projekt 2:
Entwicklungszyklus der Analyse von Spieldatenindikatoren April 2018–August 2018
Technische Implementierung:
Hadoop+Zookeeper+Sqoop+Mycat+Hive+Kafka+Flume+Spark+Redis+Nginx+Hbase
Projektposition: Big-Data-Entwicklungsingenieurprojekt
Einführung:
Durch die Durch die Analyse verschiedener Indikatoren von Spieldaten kann es Spielbetreibern helfen, das Verhalten und die Bedürfnisse der Spieler zu verstehen. Durch die Feedback-Informationen der Spieler können Probleme im Spiel kontinuierlich behoben werden, sodass das Spiel gesund und stabil betrieben werden kann und nachhaltig. .
Projektaufgaben:
1. Statistiken der aktiven Spieler: DAU, WAU, MAU, DAU/MAU, Spielerlevel, Region, Alter, Geschlechterverteilung; 2. Statistiken
der treuen Spieler (7, 14, 30 kontinuierlich online)
3. Statistiken der Spieler Bindung: Behaltene Spieler am nächsten Tag, in der nächsten Woche und im nächsten Monat, Spielerbindungsbedingungen, Level, Anzahl der Spiele, ob bezahlt werden soll usw.
4. Statistik der Spielerverluste (7, 14, 30 kontinuierlich offline), zurückkehrende Spieler am Tag, Anzahl der verlorenen Spieler vor der Niederlage, Anzahl der Spiele, ob bezahlt werden soll usw.
Technische Punkte:
1. Kafka erhält Daten von Nginx;
2. Verwenden Sie Flume, um Daten von Kafka zur Bereinigung und Speicherung nach Hdfs abzurufen;
3. Verwenden Sie SparkSql, um Daten von Hdfs für die Offline-Datenberechnung abzurufen;
4. SparkStreaming ruft Daten von Kafka ab wird in Echtzeit berechnet.
Projekt 3:
Entwicklungszyklus zur Analyse peripherer Touristenströme, November 2017–April 2018,
technische Umsetzung:
Hadoop+Flume+Kafka+Hive+Mycat+Spark+Redis,
Projektposition: Big-Data-Entwicklungsingenieur, Projekteinführung
:
Das Passagierstromanalysesystem. Es ist für die umliegende Tourismus-Websites zur Durchführung von Passagierströmen an malerischen Orten, Umweltanalysen beliebter malerischer Orte, Markteinblicken in Kundenquellen und Marketing-Themenanalysen. Die nach der Analyse erhaltenen Daten werden im Frontend angezeigt, um tägliche Entscheidungsunterstützung zu bieten B. einige Touristenattraktionen. Wenn die Beliebtheit der Website hoch ist, können weitere Empfehlungen für die Attraktion abgegeben werden.
Projektverantwortung:
Datenbereinigungsvorgang; einige Berechnungen von Offline- Indikatoren
wie:
1. Jährliche Passagierflussstatistik ausgewiesener Strecken; 4. Marktanalyse reifer Aussichtspunkte – Rangfolge der Präfekturen und Provinzen; 5. Analyse des Einkommens- und Ausstiegsverhältnisses reifer landschaftlich reizvolle Orte – Rangfolge der Provinzen und Städte; 6. Analyse der Konversionsrate potenzieller Touristenquellenstädte – Rangfolge der Präfekturen und Städte. Technische Punkte:
1. Verwenden Sie Flume, um Protokolle zu überwachen und in HDFS zu speichern.
2. Verwenden Sie MR, um Daten zu bereinigen und zu speichern.
3. Verwenden Sie Sparksql, um Daten aus dem Data Warehouse zu lesen und die Daten zu analysieren.
4. Flume sendet Daten direkt an Kafka und Sparkstream stellt eine Verbindung zu Kafka her. Führen Sie Echtzeitberechnungen durch.
·Selbstevaluierung· ______________________________________________________________
1. Vertraut mit verteiltem Hadoop-Speicher, in der Lage, selbst geschriebene MR-Programme zur Lösung von Problemen zu verwenden;
2. Gute Lern-, Kommunikations- und Organisationsfähigkeiten;
3. Technisch gesehen verfügen Sie über gute unabhängige Modulabschlüsse und Fähigkeiten zur Problemlösung ;
4. Gute Anpassungsfähigkeit, hält starkem Arbeitsdruck stand und kann sich schnell in das Team integrieren;
5. Sensibel für Spitzentechnologien, sehr bereit, sich mit Technologien im Zusammenhang mit Big Data zu beschäftigen.