1. L'importance du temps, pour comprendre pourquoi l'ordre est nécessaire ?
Lorsque les données de trajectoire téléchargées par l'appareil IoT sont en panne, il y aura des erreurs dans le traitement de l'entreprise, telles que des calculs qui dépassent la vitesse et sont inexacts. Dans la diffusion en direct, le montant des ventes est calculé toutes les heures et le présentateur est payé à temps. Si l'heure est foirée et que 19h00 est compté jusqu'à 20h00, alors c'est un problème.
Pour le hors-ordre dans le stream computing, comment doit-il être trié ?
Dans Flink, les données du stream computing sont des événements, et chaque événement aura son propre temps de génération (par exemple : chaque point GPS aura son propre temps), donc le tri dans le stream computing se fait par dimension temporelle, et Flink est également trié par le temps à atteindre.
2. Type de temps de clignotement
1) L'heure à laquelle l'événement a été généré (Event Time)
2) L'événement entre dans le temps Flink (Ingestion Time)
3) Temps de traitement de l'événement (Temps de traitement)
Fournit la synchronisation la plus simple, offre d'excellentes performances et est moins déterministe dans un environnement distribué.
Pour les trois types de temps ci-dessus, le temps d'ingestion et le temps de traitement sont générés après l'entrée de l'entreprise dans Flink et ne seront pas affectés par le désordre. L'heure de l'événement est générée en externe. Lorsque la séquence temporelle des événements entrant dans Flink est différente de la séquence temporelle générée, il s'agit d'un problème hors service .
3. Autre génération en panne
1) Génération d'activité hors service :
Par exemple, pour Kafka, les données d'un même appareil sont réparties dans différentes partitions, tandis que Flink traite différentes partitions à des vitesses différentes, ce qui entraîne du désordre.
Les règles de partition d'entreprise sont incompatibles avec les règles de regroupement entrant flink pour les statistiques d'entreprise. (L'entreprise est partitionnée par date et flink est regroupé et compté par type)
2) Trouble de mauvaise utilisation du programme
1. La source de données est ordonnée
2. Déplacez différentes cartes par transfert de rééquilibrage (aléatoire)
3. Une fois la carte directement coulée dans la base de données, l'ordre des données commerciales sera perturbé
Comment résoudre le désordre des opérateurs ci-dessus ?
ds.setParallelism(3).keyBy(...).map(...).setParallelism(3)Utilisez l'opérateur keyBy pour regrouper par attributs commerciaux afin d'atteindre l'objectif de la commande.
Résumé : Dans Flink, tant que le mécanisme de lecture aléatoire est rééquilibré, il y aura des problèmes de désordre. Quant à savoir si les pannes ont un impact sur l'entreprise, elles doivent être considérées en fonction du scénario.