De développeur indépendant à contributeur à la communauté SeaTunnel, qu'ai-je bien fait ?

L'équipe de la communauté open source chinoise a réalisé sa première diffusion en direct, racontant l'histoire de la communauté open source chinoise au nom du partage.

présentation personnelle

Bonjour à tous, je m'appelle Yan Chengyu et je suis actuellement développeur indépendant. Concentrez-vous sur le développement de données, l'apprentissage automatique, les algorithmes de planification des ressources et les systèmes distribués.

déposer

ID GitHub : CheneyYin

Page d'accueil personnelle : https://cheneyyin.github.io/

Quelles contributions avez-vous apportées à la communauté ?

Amélioration de la prise en charge des moteurs Spark et Flink pour le type de données SeaTunnel.
Correction de quelques bugs dans la couche de conversion du moteur Spark.
Amélioration des types de données pris en charge par le connecteur Assert.
Correction de quelques BUG liés à CI.
Amélioration de certaines documentations.

Enregistrement de contribution : https://github.com/apache/seatunnel/pulls?q=is%3Apr+author%3ACeneyYin+is%3Aclosed

Première connaissance

De 2022 à 2023, j'ai essayé de développer un logiciel d'intégration de données visuelles similaire à StreamSet et NiFi.

Jusqu'en mars 2023 environ, j'ai complété un simple logiciel d'intégration de données visuelles Metal et je l'ai migré vers mon référentiel GitHub. Bien que Metal ait des fonctions simples, il a réussi à vérifier la faisabilité de l’idée de conception et de la pile technologique.

Ce n'est que lorsque j'ai lu l'article "L'évolution de l'architecture d'ETL à EtLT" publié dans la communauté devops.dev que j'ai appris de nombreuses nouvelles perspectives sur l'intégration de données, telles que le concept de petit t, les limites de l'utilisation de l'informatique générale. moteurs, et la valeur des moteurs d'exécution intégrés et plus encore.

En même temps, c'est aussi ma première exposition à Apache SeaTunnel, qui repose sur ces nouveaux concepts. Après avoir essayé Apache SeaTunnel pour la première fois, j'ai résolument abandonné mon orientation précédente et choisi d'être actif dans la communauté SeaTunnel.

Soumettez votre premier PR

Permettez-moi de partager avec vous l'histoire de mon premier PR Au début, lors d'un test de résistance utilisant SeaTunnel, j'ai remarqué que le moteur Spark lançait une exception MOO (Out Of Memory).

J'ai d'abord reproduit le problème, puis débogué et localisé la cause. Il a été constaté que la couche de conversion Spark TransformerProcessorstockait temporairement les résultats de sortie dans la mémoire, ce qui entraînait une mémoire de tas insuffisante lors du traitement de grandes quantités de données.

Après une analyse approfondie du problème et la recherche d'une solution, j'ai soumis mon premier numéro (#4502) à la communauté Apache SeaTunnel. Les amis intéressés peuvent le consulter. Dans ce numéro, j'ai expliqué le phénomène du problème et ses raisons. et solutions proposées. Par la suite, j'ai soumis mon premier PR (#4503).

Mon premier PR n'a pris que 4 jours entre la soumission et la fusion, ce qui montre la vitesse de retour efficace de la communauté. Mais pour moi personnellement, ce processus est long et plein d'attentes, surtout lorsqu'une anomalie se produit dans l'environnement CI et que le test échoue.

Cependant, les membres seniors de la communauté ont fourni une aide opportune et le PR a finalement été fusionné avec succès. Par conséquent, lorsque vous participez aux premières contributions, il est crucial de demander l'aide de contributeurs seniors, et tout le monde sera heureux de vous aider ! Mais veillez également à ne pas trop faire perdre de temps aux autres.

Participation continue

Au cours de la dernière année, j'ai participé activement aux activités de la communauté, lu du contenu partagé par des experts techniques, suivi et répondu aux problèmes de la communauté, et continué à suivre la liste des Pull Requests.

De plus, j'ai également apporté quelques contributions de code à la communauté.

Par exemple:

Ajout de la prise en charge du type Time de SeaTunnel pour le moteur Spark (#5188)
Ajout de la prise en charge du type décimal pour une précision et une échelle configurables au moteur Flink (#5419)
Déclarations génériques de style Hocon améliorées (#6187)
Amélioration du connecteur Assert pour couvrir tous les types de données (#6275)

La plupart de ces Pull Requests sont conçues pour améliorer l’expérience utilisateur.

Mon impression de la communauté

Ma première impression de la communauté Apache SeaTunnel est qu'elle est enthousiaste et active. La communauté répond rapidement aux problèmes et aux demandes de tirage, et est également très amicale et patiente avec les nouveaux contributeurs, ce qui facilite et accélère la participation des nouveaux contributeurs.

attentes futures

On espère que la communauté pourra se développer davantage et attirer davantage de développeurs pour promouvoir le développement de SeaTunnel. Nous espérons que la base d’utilisateurs de SeaTunnel continuera à s’étendre, permettant à davantage de personnes de profiter de ses solutions pratiques d’intégration de données. On s'attend à ce que l'expérience utilisateur continue de s'améliorer et que SeaTunnel réalise de nouvelles avancées en matière de stabilité.

Dans le même temps, nous espérons que la documentation de SeaTunnel sera plus détaillée et complète, fournissant des guides d’utilisation et une documentation technique complets et clairs afin que les utilisateurs puissent rapidement démarrer et résoudre les problèmes.

Cet article est publié par Beluga Open Source Technology !