préambule
Au cours de la période de 2018 à 2021, l'auteur a lu plus de 200 livres et chroniques liés au big data.
Cette colonne est le travail minutieux de l'auteur basé sur des années de notes de lecture, combinées à sa propre expérience dans le développement de données volumineuses.
Dans le même temps, l'auteur a également classé les documents cités en fonction du degré de recommandation personnelle.Pour plus de détails, veuillez vous référer aux références.
Venez faire attention, merci beaucoup!
Compagnon de cette colonne
100 questions pour résoudre le système théorique du big data
100 questions pour résoudre la machine virtuelle Java
100 questions pour résoudre la concurrence Java
Structure du répertoire
HDFS（3.2.2）
- Qu'est-ce qu'Hadoop ?
- Pourquoi utiliser Hadoop ?
- Quelles sont les nouvelles fonctionnalités de Hadoop3.x ?
- Quelle est la différence entre Hadoop1.x et Hadoop2.x ?
- Quel est l'objectif de conception de HDFS ?
- Quelles sont les exigences de conception de HDFS ?
- Qu'est-ce qu'HDFS ?
- Que pensez-vous de l'idée de conception de HDFS?
- Quelle est la différence entre HDFS et les systèmes de fichiers ordinaires ?
- Explication graphique détaillée de l'architecture HDFS
- Quel est le rôle de SecondaryNameNode ?
- Qu'est-ce que le mécanisme de pulsation HDFS ?
- Comment diviser des fichiers volumineux sur HDFS ?
- Le jeu de blocs est-il aussi grand que possible ? L'ensemble de blocs est-il aussi petit que possible ?
- Qu'est-ce que la haute disponibilité et la fédération de HDFS ?
- Que sont les instantanés HDFS ?
- Qu'est-ce que le principe de haute disponibilité de HDFS ?
- Quelles sont les conceptions tolérantes aux pannes de HDFS ?
- Qu'est-ce que le processus de lecture et d'écriture HDFS ?
- Comment HDFS supprime-t-il les données ?
- Qu'y a-t-il de mal à ce que HDFS stocke beaucoup de petits fichiers ? Comment stocker beaucoup de petits fichiers ?
- Qu'est-ce qu'un SequenceFile ? comment utiliser?
- Que sont les MapFiles HDFS ?
- Qu'est-ce que la sérialisation Hadoop ?
- Que sont les RPC Hadoop ?
- Quelle est la stratégie de stockage du bloc Block ? Quelle est la stratégie de placement des répliques HDFS ?
- Qu'est-ce que le mécanisme de réplication HDFS ?
- Qu'est-ce que la reconnaissance des racks HDFS ?
- Quelles sont les stratégies d'équilibrage de charge de données de HDFS ?
- Comment pensez-vous que HDFS résout le problème de coût de stockage causé par trois copies ? Qu'est-ce que la technologie de code d'effacement de fichier de Hadoop3.x ?
- HDFS prend-il en charge le stockage SSD ?
- Qu'est-ce que la gestion centralisée du cache HDFS ?
- Quel est le processus de démarrage de HDFS ?
- Comment HDFS gère-t-il les autorisations ?
- Comment HDFS gère-t-il les quotas ?
- Qu'est-ce que l'archive de fichiers (Archive) de HDFS ?
- Comment comprendre le modèle de sécurité de HDFS ?
- Comment assurer la sécurité des données de HDFS ?
- Qu'est-ce que l'authentification Kerberos pour HDFS ?
- Quelles sont les opérations de ligne de commande couramment utilisées pour HDFS ?
- Comment écrire du code HDFS ?
- Comment transférer des données entre deux clusters HDFS ?
- Quelle est la configuration système requise pour les clusters Hadoop dans les environnements de production ?
- Comment régler HDFS ?
- Comment HDFS fonctionne-t-il et s'entretient-il ?
- Comment gérer les exceptions courantes dans HDFS ?
MapReduce（3.2.2）
- Qu'est-ce que MapReduce ? Quelles sont les caractéristiques ?
- Qu'est-ce que le modèle de programmation MapReduce ?
- Pourquoi MapReduce devrait-il être éliminé ?
- Flux de travail MapReduce ?
- Explication graphique détaillée de MapReduce sur YARN
- Comment résoudre le problème de biais des données MapReduce ?
- Comment écrire du code MapReduce ?
- Qu'est-ce qu'un compteur MapReduce (Compteur) ?
- Comment régler MapReduce ?
FIL (3.2.2)
- Quelle est l'architecture de YARN ? Quels sont les composants de base de YARN ?
- Parlez-moi de votre compréhension du framework YARN ?
- Quel est le processus de soumission de candidature YARN ?
- Quels ordonnanceurs y a-t-il dans YARN ?
- Quelles sont les conceptions à haute disponibilité de YARN ?
- Comment accorder YARN?
- Selon vous, quels sont les défauts des schémas de planification traditionnels Yarn et Mesos ? Qu'est-ce que Quasar ?
Gardien de zoo（3.7.0）
- Zookeeper 3.6.3 Tutoriel d'installation et de déploiement
- Qu'est-ce que Zookeeper ?
- Quelles sont les fonctionnalités de ZooKeeper ?
- Quels sont les scénarios d'application de ZooKeeper ?
- Comment implémenter des verrous distribués avec ZooKeeper ?
- Quel est le mécanisme d'élection de ZooKeeper ?
- Qu'est-ce que le mécanisme Watch de ZooKeeper ?
- Explication détaillée de l'algorithme Paxos
Ruche（3.1.2）
- Comment installer et déployer Hive ?
- Qu'est-ce que la ruche ? Quelles sont les caractéristiques ?
- La différence entre Hive et base de données ?
- Quelle est la différence entre le mode lecture et le mode écriture de Hive ?
- Quelle est l'architecture du système Hive ?
- Quels sont les types de données de Hive ?
- Qu'est-ce que le modèle de données Hive ?
- Quelle est la différence entre les tables internes et externes de Hive ?
- Quelle est la table de partition de Hive ?
- Comment fonctionne Hive ?
- Comment importer et exporter des données Hive ?
- Quelle est la partition statique et la partition dynamique de Hive ?
- Comment associer la table de partition Hive aux données en téléchargeant directement les données dans le répertoire de partition (hdfs) ?
- Plus de partitions sont-elles meilleures dans Hive ?
- Qu'est-ce que la table à compartiments de Hive ? quel est l'effet?
- La table de compartiment Hive peut-elle importer des données via un chargement direct ?
- Quelle est la différence entre le partitionnement Hive et le bucketing ?
- Quelle est la différence entre trier par, trier par, distribuer par et regrouper par ?
- Les fonctions agrégées peuvent-elles être écrites après order by, pourquoi ?
- Dans quelles circonstances Hive peut-il éviter MapReduce ?
- Comment choisir le format de compression des données de Hive ?
- Comment choisir le format de stockage de fichiers de Hive ?
- Qu'est-ce que le SerDe de Hive ?
- Comment résoudre le scénario de segmentation multi-caractères dans Hive ?
- Comment régler Hive ?
HBase（2.4.4）
- Comment installer et déployer HBase ?
- Qu'est-ce que HBase ? Quelles sont les caractéristiques ?
- Quelle est la différence entre HBase et RDBMS ?
- Quelle est l'architecture globale de HBase ?
- Quel est le modèle de données de la table HBase ?
- Quel est le principe de stockage des données de HBase ?
- Quels sont les mécanismes flush et compacts de HBase ?
- Quel est le mécanisme de division de région de HBase ?
- Qu'est-ce que le pré-partitionnement des tables HBase ? Pourquoi la prépartition ? Comment prépartitionner ?
- Qu'est-ce qu'un point d'accès HBase ? Comment résoudre les points chauds HBase ?
- Comment comprendre les principes internes de HBase ?
- Quel est le processus de lecture et d'écriture de données dans HBase ?
- Un article pour comprendre le BlockCache de HBase
- Un article pour comprendre le coprocesseur de HBase
- Un article pour comprendre le mécanisme BulkLoad de HBase
- Un article pour comprendre le MSLAB de HBase
- Un article pour démarrer avec l'API Java de HBase
- Comment équilibrer la charge HBase ?
- Comment configurer la nouvelle tentative RPC du client HBase ?
- Comment HBase évite-t-il le Full GC ?
- Quelles raisons peuvent provoquer l'arrêt de RegionServer de HBase ?
- Les opérations Shell de HBase sont toutes disponibles
Canal（1.9.0）
- Qu'est-ce que Flume ? Quelles sont les caractéristiques de Flume ?
- Quelle est l'architecture de Flume ?
- Comment Flume assure-t-il la fiabilité ?
- Quels sont les niveaux de fiabilité de Flume ?
- Comment Flume personnalise-t-il Mysql Source ?
- Comment Flume personnalise-t-il Mysql Sink ?
- Comment Flume implémente-t-il la reprise des données ?
- Quel est le cas d'utilisation de Flume ?
Sqoop (a arrêté la maintenance)
Azkaban（3.30.1）
- Pourquoi avez-vous besoin d'un système de planification de flux de travail ?
- Qu'est-ce qu'Azkaban ? Quelles sont les caractéristiques ?
- Quelle est l'architecture de base d'Azkaban ?
- Quels sont les trois modes de déploiement d'Azkaban ?
Kafka（2.8）
- Pourquoi avoir un système de file d'attente de messages/moteur de messages ?
- Qu'est-ce que Kafka ?
- Pourquoi utiliser Kafka ?
- Quels sont les concepts de base de Kafka ?
- Qu'est-ce que la solution de déploiement de cluster en ligne de Kafka ?
- Quelles sont les commandes courantes du cluster Kafka ?
- Quels sont les trois mécanismes du ack de Kafka ?
- Comment améliorer le débit du producteur de Kafka ?
- Comment s'assurer que les messages Kafka ne sont pas perdus ?
- Comment Kafka garantit-il l'ordre des messages ?
- Comment gérer l'arriéré de millions de messages de Kafka ?
- Comment Kafka implémente-t-il le partitionnement personnalisé ?
- Comment écrire du code client Kafka ?
- Quels sont les algorithmes de compression du producteur Kafka ?
- Quel est le producteur idempotent de Kafka ?
- Quel est le producteur de transactions de Kafka ?
- Quelle est la différence entre le Producteur idempotent de Kafka et le Producteur transactionnel ?
- Comment le producteur Java de Kafka gère-t-il les connexions TCP ?
- Comment le consommateur Java de Kafka gère-t-il les connexions TCP ?
- Quels sont les intercepteurs de Kafka ? comment utiliser?
Grand (1.13.2)
- Comparaison des frameworks de calcul de flux ?
- Comment déployer et installer Flink ?
- Qu'est-ce que Flink ? Quelles sont les caractéristiques ?
- Quel est le modèle de programmation de Flink ?
- Qu'est-ce que le module fonctionnel Flink ?
- Quelle est l'architecture système de Flink ?
- Quels sont les modes de déploiement de cluster de Flink ?
- Un article pour comprendre Flink's Window
- Frères du temps de Flink
- Un article pour comprendre le mécanisme de filigrane de Flink
- Conservation et restauration de l'état de Flink
- Processus de soumission de session YARN d'Apache Flink
- Processus de soumission par tâche d'Apache Flink
- Processus de soumission de session K8s d'Apache Flink
ELK（6.7.0）
- Comment installer et déployer Elasticsearch ?
- Qu'est-ce qu'ELK ?
- Comment installer le plugin elasticsearch-head ?
- Quels sont les concepts de base d'Elasticsearch ?
- Comment Elasticsearch gère-t-il les index ?
- Un article pour démarrer avec les requêtes Elasticsearch
- Comment Elasticsearch définit-il les mappages de types de champs ?
- La solution de pagination d'Elasticsearch
- Installation et utilisation du séparateur de mots chinois Elasticsearch IK
Maxwell
Presto
ClickHouse
Qu'est-ce que Click House ? Quelles sont les fonctionnalités de ClickHouse ?
Kylin
- Qu'est-ce qu'Apache Kylin ?
- Quelles sont les fonctionnalités d'Apache Kylin ?
- Qu'en est-il de l'estimation d'Apache Kylin ?
- Quel est le workflow d'Apache Kylin ?
- Un article pour comprendre l'architecture technique d'Apache Kylin 4.x
Kubernetes
- Qu'est-ce que Kubernetes ?
- Quelles sont les fonctionnalités de Kubernetes ?
- Les concepts de base de Kubernetes sont balayés
- Que sont les pods dans Kubernetes ?
- Quelle est l'architecture système de Kubernetes ?
CDH/CDP
- Que sont les CDH/CDP ?
- Cloudera Manager - outil de gestion de centre de données d'entreprise de bout en bout
Spark Core (3.3.0-SNAPSHOT)
Étant donné que l'auteur a étudié le code source d'Apache Spark, la version du code source de Spark impliquée dans la colonne est basée sur la branche principale de github. Le numéro de version actuel est : 3.3.0-SNAPSHOT
Explication détaillée du papier Spark RDD
Spark RDD Paper Explication détaillée (1) Résumé et introduction
Spark RDD Paper Explication détaillée (2) RDD
Explication détaillée du document Spark RDD (3) Interface de programmation Spark
Explication détaillée des documents Spark RDD (4) Exprimer les RDD
Spark RDD Paper Explication détaillée (5) Implémentation
Spark RDD Paper Explication détaillée (6) Évaluation
Explication détaillée de la discussion sur le document Spark RDD (7)
Explication détaillée des travaux liés au document Spark RDD (8) et fin
Explication détaillée de la nouvelle fonctionnalité de lecture aléatoire basée sur le push dans la version Spark 3.2.0
Spark 3.2.0 nouvelle fonctionnalité papier aléatoire explication détaillée (3) conception du système
Spark 3.2.0 nouvelle fonctionnalité push-based shuffle papier explication détaillée (5) résultats de l'évaluation
Spark 3.2.0 nouvelle fonctionnalité papier aléatoire explication détaillée (6) travail connexe
Spark 3.2.0 nouvelle fonctionnalité push-based shuffle papier explication détaillée (7) conclusion
essai
- Comment devenir Contributeur d'Apache Spark ?
- Installation et déploiement de Spark 2.3
- Pourquoi Spark est-il si génial ?
- Les concepts de base de Spark Core sont tous en une seule fois
- Que sont les RDD ?
- Qu'est-ce que SparkContext ? quel est l'effet?
- Qu'est-ce que SparkConf ? quel est l'effet?
- Qu'est-ce que SparkEnv ? quel est l'effet?
- Qu'est-ce que SecurityManager ? quel est l'effet?
- Qu'est-ce que DAGScheduler ? quel est l'effet?
- Comment DAGScheduler divise-t-il la scène ?
- Quel est le processus de planification de DAGScheduler ?
- Qu'est-ce que le planificateur de tâches ? quel est l'effet?
- Reportez-vous à Apache Spark pour réaliser une compilation hybride maven de Java et Scala
- Comment unifier le style de code de Scala ? Vous pouvez copier cette configuration scalastyle sans réfléchir
- Reportez-vous au code source d'Apache Spark pour personnaliser l'implémentation de l'outil d'impression de journaux Logging
- Erreur lors de la compilation du code source d'Apache Spark ? C'est parce que vous avez omis l'opération clé
- Implémentation de la régression linéaire à l'aide de Spark MLlib
- Utilisation de Spark GraphX pour implémenter l'algorithme PageRank
- Nouvelle fonctionnalité de Spark 3.0 - Planification des tâches compatible avec les accélérateurs
- Résumé des exceptions Spark
Spark SQL（3.3.0-INSTANTANÉ）
Fonctions intégrées Spark SQL
Fonctions intégrées Spark SQL (1) Fonctions de tableau (basées sur Spark 3.2.0)
Fonctions intégrées Spark SQL (2) Fonctions de mappage (basées sur Spark 3.2.0)
Fonctions intégrées Spark SQL (3) Fonctions de date et d'horodatage (basées sur Spark 3.2.0)
Fonctions intégrées Spark SQL (4) Fonctions JSON (basées sur Spark 3.2.0)
Fonctions intégrées Spark SQL (5) Fonctions d'agrégation (basées sur Spark 3.2.0)
Fonctions intégrées Spark SQL (6) Fonctions de fenêtre (basées sur Spark 3.2.0)
Analyse du code source des fonctions Spark SQL.scala
Analyse du code source des fonctions Spark SQL.scala (1) Fonctions de tri (basées sur Spark 3.3.0)
Analyse du code source Spark SQL functions.scala (4) Fonctions non agrégées (basées sur Spark 3.3.0)
Analyse du code source des fonctions Spark SQL.scala (6) Fonctions diverses (basées sur Spark 3.3.0)
Analyse du code source Spark SQL functions.scala (huit) Fonctions DateTime (basées sur Spark 3.3.0)
Analyse du code source des fonctions Spark SQL.scala (9) Fonctions de collecte (basées sur Spark 3.3.0)
Fonctions Spark SQL.Analyse du code source scala (10) Fonctions de transformation de partition (basées sur Spark 3.3.0)
Fonctions Spark SQL.Analyse du code source scala (11) Fonctions Scala UDF (basées sur Spark 3.3.0)
Fonctions Spark SQL.Analyse du code source scala (12) Fonctions Java UDF (basées sur Spark 3.3.0)
Analyse du code source du workflow Spark SQL
Présentation de l'analyse du code source du workflow Spark SQL (1) (basé sur Spark 3.3.0)
Analyse du code source du workflow Spark SQL (2) étape d'analyse (basée sur Spark 3.3.0)
Analyse du code source du workflow Spark SQL (3) étape d'analyse (basée sur Spark 3.3.0)
essai
- Comment Spark SQL s'est-il développé ?
- Qu'est-ce que Spark SQL ?
- Que fait Spark SQL ?
- Qu'est-ce que le modèle de programmation DataFrame ?
- Quelle est la différence entre RDD et DataFrame ?
- Interprétation de l'ensemble de données du point de vue du code source Spark
- Parler de l'idée de Spark SQL pour réaliser la gestion de la qualité des tâches
- Comment utiliser Dataset.show dans Spark ? Quels sont les endroits à noter ?
- Mécanisme AQE de Spark SQL
- Comment Spark SQL personnalise-t-il les extensions ?
- Quels types de JOINs Spark SQL prend-il en charge ?
- Comment Apache Spark choisit-il la stratégie JOIN ?
- Qu'est-ce que l'API Table Catalog de la version Spark 3.x ?
- Analyse du code source du mécanisme WSCG de Spark 3.x
- Analyse du code source du système d'échange Spark 3.x
- Un article pour apprendre le développement de code de lecture et d'écriture de données Spark
- Un article pour comprendre le CacheManager de Spark 3.x
- Un article pour comprendre le système de catalogue de Spark 3.x
Références (triées par recommandation)
Les documents officiels doivent être lus en premier, les colonnes de Geek Time ne sont pas mauvaises, et les quelques listes de recommandations de livres sont fortement recommandées !
Il n'est pas nécessaire de lire les derniers noms, j'ai juste cité quelques mots donc je les ai ajoutés.
Les citations de blog ne sont pas incluses dans les classements de la liste recommandée
et seront mises à jour au fur et à mesure que la colonne sera mise à jour~
- Hadoop 3.2.2 Documentation officielle
- Spark 3.1.2 Documentation officielle
- Documentation officielle de Kafka 2.8
- Documentation officielle HBase 2.4.4
- Hive 3.1.2 Documentation officielle
- Colonne Geek Time "Technologie de base de Kafka et combat réel" Hu Xi
- Colonne Geek Time "Apprendre le Big Data à partir de 0" Li Zhihui
- Geek Time Column "Combat réel de traitement de données à grande échelle" Cai Yuannan
- Colonne Geek Time "Principes fondamentaux de Spark et combat pratique" Wang Lei
- "Explication détaillée de l'architecture Big Data : de l'acquisition de données à l'apprentissage en profondeur" édité par Zhu Jie et Luo Hualin
- "Illustrated Spark: Core Technology and Case Practice" édité par Guo Jingzhan
- "Analyse du noyau Spark SQL" Zhu Feng, Zhang Shaoquan, Huang Ming
- "Spark Big Data Business Practice Trilogy: Kernel Decryption Business Case Performance Tuning 2nd Edition" édité par Wang Jialin, Duan Zhihua, Xia Yang
- "L'art de la conception du noyau Spark : conception et mise en œuvre de l'architecture" par Geng Jia'an
- "Hadoop Experts : Management, Tuning, and Spark YARN HDFS Security" (États-Unis) par Sam R. Alapati ; traduit par Zhao Guoxian et d'autres
- "Hadoop Definitive Guide (Third Edition)" (États-Unis) White (White, T.); Traduit par l'École des sciences et de l'ingénierie des données, East China Normal University
- "Enterprise Data Lake" (Inde) Tomcy John (Tomcy John), (Inde) Pankaj Misra (Pankaj Misra); Traduit par Zhang Shiwu, Li Xiang, Zhang Haolin
- "Spark Kernel Mechanism Analysis and Performance Tuning" édité par Wang Jialin et d'autres
- "Hadoop Massive Data Processing - Explication technique détaillée et pratique de projet 2e édition" par Fan Donglai
- "Explication détaillée du système de technologie Big Data : principes, architecture et pratique" par Dong Xicheng
- "Hadoop Big Data Technology Principles and Applications" écrit par Dark Horse Programmer
- "Hadoop big data mining de l'entrée à la pratique avancée : version d'enseignement vidéo" édité par Deng Jie
- "Hadoop & Spark Big Data Development Practice" édité par Xiao Rui et Lei Gangyue
- « Big Data Development and Application » édité par Qingdao Yinggu Education Technology Co., Ltd., Shandong Business and Technology College
- « La technologie Hadoop et l'analyse des applications à l'ère du Big Data » par Wei Pengcheng, Shi Chengxiang, Cai Yinying
- "De Paxos à Zookeeper : Principes et pratique de la cohérence distribuée" par Ni Chao
- "Technologie Big Data et recherche d'applications" par Hu Pei, Han Pu
- "Technologie Big Data et pratique des applications à l'ère du cloud" Zhu Lihua
- "Technologie et application du Big Data dans le cloud computing" par Liang Fan
- "Introduction à la technologie Big Data" édité par Chen Ming
- Rédacteur en chef Lou Yan de "Big Data Application Fundamentals"
- "Hadoop Big Data Analysis" édité par Gao Shuibin, Qian Lianghong, Fang Zhijun
- Rédacteur en chef Zhu Yangyong de "Big Data Resources"
- "Construction, exploitation et maintenance d'un environnement à haute disponibilité de données volumineuses" édité par Tianjin Binhai Xunteng Technology Group Co., Ltd.
- Utilisation de MapReduce-Counter - réaliser rapidement les statistiques du nombre de lignes dans les gros fichiers