Pour plus d'échanges techniques et d'opportunités d'emploi, veuillez suivre le compte officiel WeChat de ByteDance Data Platform et répondre [1] pour entrer dans le groupe de communication officiel
En tant que prochaine itération du cloud computing, le sans serveur permet aux développeurs de se concentrer davantage sur la création d'applications dans le produit sans avoir à prendre en compte les problèmes sous-jacents de la pile. À mesure que la maturité des technologies associées a augmenté ces dernières années, l'acceptation du sans serveur par le marché est également devenue de plus en plus élevée. On peut dire qu’aujourd’hui, Serverless est entré dans une voie de développement à grande vitesse vers la maturité et la stabilité.
En tant qu'entrepôt de données cloud natif lancé par Volcano Engine, ByteHouse est construit sur la base de l'open source ClickHouse et a encore amélioré les capacités, les performances, l'exploitation et la maintenance ainsi que l'architecture du moteur OLAP sous le test des scénarios internes et externes de ByteDance. En outre, ByteHouse explore également la direction du Serverless, en construisant une nouvelle génération d'entrepôts de données basée sur le concept de cloud natif, avec trois couches de découplage dans l'architecture. On s'attend à ce qu'avec le support de Serverless, il puisse fournir Des services d'analyse plus stables, plus fiables et plus fiables libèrent le temps et l'énergie des développeurs consacrés à l'optimisation de l'exploitation et de la maintenance de l'infrastructure et se concentrent davantage sur les fonctions commerciales essentielles.
Cependant, il existe encore quelques difficultés techniques dans la mise en œuvre de la technologie Serverless dans le domaine OLAP.
Tout d’abord, l’analyse des données OLAP implique des points techniques presque complets dans des domaines informatiques tels que le stockage, le réseau, le système d’exploitation, la base de données et l’IA, obligeant les fabricants à réaliser des investissements R&D soutenus et coûteux. De plus, il est difficile pour ces investissements d'obtenir des rendements sur le marché à court terme : une fois arrêtés à mi-chemin, cela signifie que tout l'investissement initial sera « gaspillé ».
Deuxièmement, bien qu'il existe plusieurs entrepôts de données commerciaux à architecture sans serveur, l'échelle de puissance de calcul qu'ils fournissent est difficile à répondre aux besoins des entrepôts de données ou des plates-formes d'analyse à moyenne et grande échelle. En d’autres termes, l’entrepôt de données de l’architecture sans serveur doit encore être amélioré en termes de puissance de calcul.
Enfin, l’application à grande échelle du Serverless se heurte également au problème de la standardisation des services. Sans spécifications standardisées, les utilisateurs seront enfermés dans la plate-forme, ce qui rendra impossible une relocalisation translationnelle et transparente des applications. Par conséquent, afin de promouvoir l’application à grande échelle du sans serveur, un système de normes et de spécifications de support est nécessaire.
Afin de mieux résoudre les difficultés ci-dessus, Volcano Engine ByteHouse a progressivement évolué vers une architecture sans serveur et a découplé l'architecture à trois couches pour la couche de stockage, la couche intermédiaire et la couche de service cloud.
L’architecture technique de l’évolution de ByteHouse vers Serverless
Dans la conception de la couche de stockage, ByteHouse permet une mise à l'échelle élastique et sans serveur et une extension de capacité illimitée. Afin d'améliorer les problèmes de performances liés à la séparation du stockage et de l'architecture informatique, ByteHouse optimise la sémantique HDFS pour réduire la latence de 3 fois avec une augmentation de la bande passante de seulement 10 %. Il utilise également le multiplexage de connexion, le RDMA, la compression de transmission et d'autres technologies pour le réseau. Communication. Réduit considérablement le problème d'amplification du réseau.
Dans la couche intermédiaire, ByteHouse réalise l'isolation de charge en isolant par lecture et écriture, en isolant par catégorie d'application, etc., et tout en répondant aux besoins de base des utilisateurs, l'architecture évolue progressivement vers le sans serveur.
Dans la couche supérieure des services cloud, ByteHouse fournit des services de métadonnées de catalogue centralisés, des services de gestion de cluster, etc., dissociant les métadonnées de la couche informatique, réalisant l'apatridie et obtenant des capacités de mise à l'échelle élastique et de démarrage-arrêt de deuxième niveau.
L'application de Serverless dans le domaine OLAP est encore confrontée à certains défis, mais avec l'évolution et l'itération continues de la technologie ainsi que l'établissement et l'amélioration de systèmes de spécifications standardisés, ByteHouse continuera à explorer et à appliquer les avantages de l'architecture sans serveur pour fournir une meilleure analyse des données pour l'industrie et les utilisateurs.
Cliquez pour accéder à ByteHouse pour en savoir plus
OpenAI ouvre ChatGPT gratuitement à tous les utilisateurs. Des programmeurs vocaux ont falsifié les soldes ETC et détourné plus de 2,6 millions de yuans par an. Spring Boot 3.2.0 a été officiellement publié. Les employés de Google ont critiqué le grand patron après avoir quitté l'entreprise. Il a été profondément impliqué dans le projet Flutter et formulé des normes liées au HTML. Microsoft Copilot Web AI sera officiellement lancé le 1er décembre, prenant en charge le framework Web open source Terminal Chat Rust de Microsoft chinois Lancement de Rocket v0.5 : prend en charge asynchrone, SSE, WebSockets, etc. Redis implémente le framework Telegram Bot en utilisant du code pur en langage C. Si vous êtes un responsable de projet open source, rencontrez Jusqu'où pouvez-vous supporter ce type de réponse ? PHP 8.3 GA