Le stockage d'objets dans le cloud peut être utilisé comme une base de données puissante et très bon marché

Pensez-vous que vous pouvez stocker des centaines de millions d'enregistrements et lire et écrire des milliards d'enregistrements pour aussi peu que 5 $ par mois avec une base de données sans serveur entièrement gérée, massivement évolutive, hautement disponible et peu coûteuse ? Si vos besoins en base de données peuvent être satisfaits par un magasin clé-valeur très simple, alors oui. La solution consiste à utiliser un stockage d'objets cloud bon marché.

Amazon a lancé son produit de stockage d'objets S3 (Simple Storage Service) en 2006. Depuis lors, tous les autres principaux fournisseurs de services cloud, et bien d'autres, ont proposé des solutions de stockage d'objets.
Le stockage d'objets peut être utilisé pour stocker des photos, des vidéos, des sauvegardes, etc., mais il peut également être utilisé pour stocker des données. Les données peuvent être stockées dans n'importe quel format de votre choix, tel que JSON, BSON, XML, CSV, Protocol Buffers, MessagePack, texte brut ou tout autre format de sérialisation de données.
Les objets sont stockés dans des compartiments. Les buckets peuvent généralement être créés dans des centres de données situés dans des régions spécifiques du monde. Cela vous permet de rapprocher vos données des utilisateurs qui y accéderont. Avec certains fournisseurs, le bucket peut être configuré en tant que site Web, ce qui vous permet d'utiliser le stockage d'objets comme hébergement de site Web peu coûteux.

Prix

Le principal avantage du stockage d'objets par rapport aux bases de données sans serveur est le prix. Les coûts de stockage sont généralement de 1 cent à 2 cents par Go, tandis que les coûts de réseau sortant pour l'option la moins chère sont généralement de 1 cent par Go.
De nombreux produits de stockage d'objets facturent également les demandes d'API de lecture et d'écriture. Si vous utilisez le stockage d'objets comme solution de base de données, cela peut augmenter considérablement vos coûts si vous recevez des centaines de millions ou des milliards de requêtes par mois. Il est donc préférable d'éviter les produits qui facturent les requêtes de lecture et d'écriture. Il existe de nombreuses solutions qui ne facturent pas les demandes. Dans le tableau ci-dessous, les colonnes Lecture et Écriture représentent les cents par million de requêtes. Les produits avec un "-" n'ont pas de frais de demande.

À titre de comparaison, voici les mêmes prix pour certaines bases de données sans serveur. (Voir "Bases de données sans serveur pour applications mobiles ou Web".) Des offres de stockage d'objets économiques sont disponibles à une fraction du prix des bases de données sans serveur.

Le tableau ci-dessous indique les coûts mensuels pour certains services de stockage d'objets et bases de données avec différentes quantités de stockage et demandes de lecture et d'écriture. La taille d'enregistrement est supposée être de 500, sauf pour les deux dernières colonnes, qui ont une taille d'enregistrement de 100 petits et 4000 grands. Cela montre que la tarification ne change pas vraiment beaucoup jusqu'à ce que vous commenciez à stocker, lire et écrire des centaines de millions d'enregistrements. Au-delà de cela, cependant, le produit que vous choisissez peut faire une grande différence.

données d'accès

La plupart des produits de stockage d'objets sont compatibles avec l'API REST S3 d'Amazon. Les deux principales exceptions sont Google et Azure. La compatibilité S3 signifie que vous pouvez utiliser des outils et des SDK conçus pour S3. Vous pouvez également facilement changer de fournisseur pour éviter le verrouillage du fournisseur ou utiliser plusieurs fournisseurs simplement en modifiant l'URL d'accès.

L'API REST S3 simple est idéale pour les applications mobiles et Web, offrant un accès direct aux données sans serveur d'API séparé.
Les objets sont stockés dans des compartiments dans une structure plate, sans hiérarchie dans le système de fichiers. Cependant, vous pouvez simuler cela en utilisant un séparateur de chemin, généralement "/". Par exemple, "photos/photo1.jpg" crée un dossier "photos" simulé qui contient "photo1.jpg".
L'API S3 vous permet de lire, d'écrire et de supprimer des objets. Les objets sont accessibles par leur clé unique, probablement quelque chose comme un nom de fichier. Les requêtes telles que "SELECT * FROM Employees WHERE City='San Diego'" ne peuvent pas être effectuées. Cela peut considérablement limiter la façon dont vous pouvez utiliser le stockage d'objets en tant que base de données, mais dans de nombreuses applications, tout ce dont vous avez besoin est d'accéder aux données par identifiant.

Les mises à jour d'enregistrement ne sont pas non plus possibles avec le stockage d'objets. Toute modification d'un enregistrement est effectuée en réécrivant l'intégralité de l'enregistrement.

Les buckets et les objets disposent d'autorisations d'accès pour limiter les personnes autorisées à lire et à écrire. Les compartiments et/ou les objets peuvent bénéficier d'un accès public pour permettre à quiconque de lire ou d'écrire.

performance

Les performances de stockage d'objets sont généralement très bonnes, même par rapport aux bases de données classiques. J'ai vérifié le temps de réponse de certains produits de stockage d'objets et j'ai constaté que le temps était de 50 ms à 300 ms. J'ai trouvé des résultats similaires avec des bases de données sans serveur. Bien que les bases de données puissent généralement accéder aux données en moins de 10 millisecondes, lorsque les demandes et les réponses transitent par Internet, les temps d'accès augmentent considérablement.

limite de taux

Notez que les fournisseurs limitent généralement le nombre de requêtes pouvant être effectuées par seconde. La limite peut être suffisamment élevée pour que vous ne soyez pas affecté. Tous les fournisseurs ne précisent pas leurs limites de débit. Google est la seule entreprise qui prétend évoluer pour répondre à votre taux de demande.
AWS peut lire 5 500 objets et écrire 3 500 objets par seconde par préfixe (dossier). Si vous avez besoin de plus de demandes, divisez les données en dossiers.

sauvegarde

Les sauvegardes de base de données sont souvent effectuées pour éviter la perte de données en cas de panne du serveur ou pour récupérer des données à partir d'erreurs d'utilisateur ou d'application.
La durabilité de la base de données est une mesure de la capacité d'un fournisseur à garantir que vos données ne seront pas perdues, et est généralement exprimée sous la forme d'un pourcentage comprenant de nombreux 9. Par exemple, 10 neufs seront durables à 99,999999 %. Parmi les principaux fournisseurs, AWS et Google ont obtenu 11 neuf et Azure 12. Améliorez la durabilité en répliquant les données dans des centres de données situés dans différentes régions géographiques. En raison de la durabilité élevée, il peut ne pas être nécessaire de sauvegarder les données du magasin d'objets.
Presque tous les fournisseurs de stockage d'objets vous permettent de versionner des objets. Cela signifie qu'à chaque fois qu'un objet est remplacé par une mise à jour, l'ancien objet conserve un numéro de version, lui permettant de revenir à une version précédente. Cela fournit une sauvegarde automatique en cas d'erreur de l'utilisateur ou de l'application.

détails du produit

AWSS3

AWS S3 est la référence par rapport à laquelle toutes les autres offres de stockage d'objets sont comparées. Le prix de S3 est similaire aux offres similaires d'autres fournisseurs.

Avantages : partie d'un énorme système AWS ; stable et sécurisé ; limites de débit très élevées ; nombreux centres de données dans le monde
Inconvénients : frais de demande

AWS Lightsail

Lightsail, une division d'AWS, propose des serveurs et d'autres offres cloud à des prix compétitifs avec les fournisseurs de cloud à petit budget comme DigitalOcean. Les produits Lightstail sont également généralement plus faciles à configurer et à utiliser que les produits AWS classiques.
En juillet 2021, Lightsail a annoncé un produit de stockage d'objets peu coûteux basé sur AWS S3. Cela change la donne en quelque sorte. Vous semblez bénéficier de tous les avantages de S3 à un prix inférieur. Les forfaits coûtent 1, 3 ou 5 $ par mois avec 5, 100 ou 250 Go de stockage et 25, 250 ou 500 Go de transfert réseau. Le stockage et la mise en réseau au-delà de ces limites sont facturés aux tarifs S3 normaux. Cependant, il n'y a pas de frais de demande à l'intérieur ou à l'extérieur de la limite du forfait.
Le plan à 5 $ rend le S3 à un prix similaire aux plans budgétaires proposés par DigitalOcean, Linode et Vultr. Cependant, contrairement aux plans d'autres fournisseurs de budget, les offres groupées Lightsail semblent être limitées à un seul compartiment. Si vous devez configurer plusieurs compartiments dans le monde, une bonne stratégie de tarification peut consister à configurer plusieurs compartiments à 1 $, puis à augmenter à 3 $ ou 5 $ selon les besoins. Lightsail vous permet de changer de plan tarifaire une fois pendant votre période de facturation.

Avantages : Identique à S3, mais beaucoup moins cher ; pas de frais de dossier ; prix minimum inférieur de 1 $

Stockage Blob Azure

Le stockage d'objets Azure est appelé stockage d'objets blob.

Avantages : partie d'un énorme système Azure ; stable et sécurisé ; limites de débit très élevées ; de nombreux centres de données dans le monde
Inconvénients : frais de demande ; non compatible avec S3

Stockage en nuage Google

Google Cloud Storage est le produit de stockage d'objets de Google.

Avantages : Fait partie de l'énorme système Google Cloud, stable et sécurisé, limites de débit illimitées, nombreux centres de données dans le monde, option gratuite dans 3 régions (stockage de 5 Go, 5 000 écritures/mois, 50 000 lectures/mois, 1 Go d'Internet/mois)
Inconvénients : toujours gratuit après la limitation des frais de demande ; tarifs réseau les plus élevés de tous les fournisseurs ; non compatible s3

Base de feu

Firebase, une société de Google, propose un certain nombre de produits cloud à des prix raisonnables, généralement faciles à configurer et à utiliser. Avec de nombreuses options gratuites, de nombreuses entreprises peuvent utiliser Firebase Cloud Storage gratuitement.

Avantages : Identique à Google, mais avec de meilleures options gratuites (20 000 écritures/jour, 50 000 lectures/jour, 1 Go de réseau/jour)

Nuage Oracle

Oracle Cloud Object Storage est proposé à un prix plus avantageux que les autres grands fournisseurs.

Avantages : valeur pour les demandes d'écriture ; pas de frais de réseau pour les premiers 10 To/mois, très bon marché par la suite
Inconvénients : frais de demande ; prix de stockage élevés

alibaba

Le service de stockage d'objets (OSS) d'Alibaba est un choix très rentable. Il existe un plan de paiement à l'utilisation ou un plan avec des limites de stockage et de réseau pour de petites économies. Il existe 21 centres de données en Chine, dont 10.

Avantages : De nombreux centres de données dans le monde ; bon prix sans frais de requête, sauf si vous atteignez 500 millions de requêtes par mois

DigitalOcean

DigitalOcean est une petite entreprise de cloud qui propose des serveurs et des bases de données faciles à déployer rapidement et à un prix inférieur à celui des grands fournisseurs de cloud. Leur stockage d'objets, appelé Spaces, a été le premier à offrir 250 Go de stockage, 1 To de transferts sortants et aucun frais de demande pour un prix incroyablement bas de 5 $/mois. Tout stockage ou réseau qui dépasse la limite est facturé à un prix très avantageux. Cette structure tarifaire est idéale pour utiliser le stockage d'objets comme une base de données très bon marché.
Un problème avec Spaces est la limitation du débit. Chaque espace (bucket) est limité à environ 200 requêtes/s. Si cela pose problème, vous pouvez le contourner en utilisant plusieurs espaces. Vous pouvez créer jusqu'à 100 espaces sur le même compte. (J'ai vu que certains utilisateurs avaient des problèmes pour accéder à Spaces à des taux bien inférieurs à 200/sec.)

Avantages : valeur incroyable
Inconvénients : la limitation du débit peut limiter certains utilisateurs ; seulement 5 centres de données

Linode

Linode, similaire à DigitalOcean, propose des services cloud à un prix élevé pour une facilité de déploiement. Leurs offres de stockage d'objets sont au même prix que DigitalOcean.

Avantages : valeur incroyable
Inconvénients : seulement 4 centres de données

Vultr

Vultr est similaire à DigitalOcean et Linode. Leurs offres de stockage d'objets sont au même prix que les deux autres.

Avantages : valeur incroyable
Inconvénients : 1 seul centre de données dans le New Jersey

Exoéchelle

Le stockage d'objets d'Exoscale est proposé à des prix compétitifs dans 6 centres de données en Europe.

Avantages : Rapport qualité/prix
Inconvénients : les centres de données sont uniquement en Europe

Échelle

Le stockage objet de Scaleway dispose de 3 datacenters en Europe à des prix très compétitifs. Vous bénéficiez de 75 Go de stockage et d'une connexion Internet gratuite par mois.

Avantages : Très bon prix et niveau gratuit
Inconvénients : les centres de données sont uniquement en Europe

Wasabi

Wasabi ne fait qu'une chose, et c'est le stockage d'objets. Ils offrent les meilleurs prix de tout autre fournisseur. Il n'y a pas de frais pour la lecture, l'écriture ou le réseautage. Le seul coût est le coût de stockage de 0,006 $/Go, ce qui est très bon marché.
Cependant, la FAQ sur les prix révèle certains détails qui pourraient rendre Wasabi inadapté à une utilisation en tant que base de données. La durée minimale d'un objet est de 90 jours. Si un objet est supprimé avant 90 jours, il est toujours compté comme stockage pendant les 90 jours complets. Ce qui se passe si un objet est mis à jour plusieurs fois au cours d'une période de 90 jours ne semble être documenté nulle part.
Puis quelque chose comme : "Si vos transferts de données de sortie mensuels sont supérieurs à votre stockage actif, alors votre cas d'utilisation de stockage n'est pas éligible à la politique de sortie gratuite de Wasabi." Et : "Si votre cas d'utilisation dépasse régulièrement nos directives de politique de demandes d'API gratuites, nous se réservent le droit de limiter ou de suspendre votre service."

Points positifs : Meilleur prix global
Inconvénients : des restrictions peuvent interdire l'utilisation de Wasabi comme base de données

Backblaze B2

Backblaze pour la sauvegarde informatique et le stockage d'objets B2. B2 a le prix de stockage le plus bas à 0,005 Go/mois et un prix de téléchargement très bas à 0,01 Go/mois. Cependant, il facture généralement 0,40 $ par million pour les demandes de lecture. Cela peut être une bonne option si vous ne traitez pas des centaines de millions ou des milliards de demandes par mois.

Avantages : bon prix
Inconvénients : frais de demande de lecture ; seulement 3 centres de données ; aucun choix de centre de données

Pour vous

Tebi est une toute nouvelle organisation qui ne fait que du stockage d'objets. Leur fonction principale est de répliquer en temps réel vers d'autres serveurs pour rapprocher les données de l'utilisateur. Malheureusement, ils n'ont actuellement que 4 centres de données.

Avantages : prix avantageux ; 25 Go de stockage et 250 Go d'Internet sont gratuits
Inconvénients : seulement 4 centres de données ; tout neuf donc pas testé dans le temps

note

Si vous utilisez le stockage d'objets comme solution de base de données, j'aimerais connaître votre opinion. Jusqu'à présent, je ne l'ai fait que sur une application Web utilisant Cloud Storage pour Firebase, et cela fonctionne parfaitement. J'évalue actuellement les options de stockage d'objets pour un produit qui nécessite une quantité considérable d'espace de stockage, potentiellement des centaines de millions de requêtes par mois.

Cet article : https://architect.pub/how-create-very-inexpensive-serverless-database
Discussion : Knowledge Planet [Chief Architect Circle] ou ajouter la trompette WeChat [ca_cto] ou ajouter le groupe QQ [792862318]
Pas de public	【jiagoushipro】【Super architecte】 Graphique brillant et explication détaillée de la méthodologie de l'architecture, de la pratique de l'architecture, des principes techniques et des tendances techniques. Nous vous attendons, veuillez scanner et faites attention.
Trompette WeChat	[ca_cea] Communauté de 50 000 personnes, discutant : architecture d'entreprise, cloud computing, big data, science des données, Internet des objets, intelligence artificielle, sécurité, développement full-stack, DevOps, digitalisation.
Groupe QQ	[285069459] Échange approfondi sur l'architecture d'entreprise, l'architecture métier, l'architecture d'application, l'architecture de données, l'architecture technique, l'architecture d'intégration, l'architecture de sécurité. Et diverses technologies émergentes telles que le big data, le cloud computing, l'internet des objets, l'intelligence artificielle, etc. Rejoignez le groupe QQ pour partager des rapports précieux et des produits secs.
numéro de vidéo	[Super architecte] Comprenez rapidement les concepts de base, les modèles, les méthodes et les expériences liées à l'architecture en 1 minute. 1 minute par jour, la structure est familière.
planète de la connaissance	[Cercle des architectes en chef] Demandez à de grands noms, entrez en contact avec eux ou partagez des informations privées.
Himalaya	[Super architecte] Découvrez les dernières informations sur la technologie noire et l'expérience de l'architecture sur la route ou dans la voiture.	[Moments intelligents, M. Architecture vous parlera de technologie noire]
planète de la connaissance	Rencontrez plus d'amis, lieu de travail et chat technique.	Planète de la connaissance【Lieu de travail et technologie】
LinkedIn	Harry	https://www.linkedin.com/in/architect-harry/
Groupe LinkedIn	Groupe d'architecture LinkedIn	https://www.linkedin.com/groups/14209750/
Weibo‍‍	【Super Architecte】	moment intelligent‍
bilibili	【Super Architecte】
TIC Tac	【cea_cio】Super Architecte
travailleur rapide	【cea_cio_cto】Super Architecte
petit livre rouge	[cea_csa_cto] Super Architecte
site Internet	DSI (Directeur de l'information)	https://cio.ceo
site Internet	DSI, CTO et CDO	https://cioctocdo.com
site Internet	Partage pratique d'architecte	https://architecte.pub
site Internet	Partage de développement cloud programmeur	https://pgmr.cloud
site Internet	Communauté des architectes en chef	https://jiagoushi.pro
site Internet	Développement d'applications et plateforme de développement	https://apaas.dev
site Internet	Réseau d'information sur le développement	https://xinxi.dev
site Internet	super architecte	https://jiagou.dev
site Internet	Formation technique en entreprise	https://peixun.dev
site Internet	Livre du programmeur	https://pgmr.pub
site Internet	chat développeur	https://blog.developer.chat
site Internet	Collection CPO	https://cpo.work
site Internet	chef de la sécurité	https://cso.pub‍
site Internet	DSI cool	https://cio.cool
site Internet	Informations CDO	https://cdo.fyi
site Internet	Informations sur le CXO	https://cxo.pub

Merci pour votre attention, vos envois, vos likes et votre visionnage.

[Base de données] Comment créer une base de données sans serveur très bon marché