s3fs monta o armazenamento de objetos no local

s3fs monta o armazenamento de objetos no local

1. Introdução ao S3FS:

S3FS é uma interface de sistema de arquivos desenvolvida pelo Google que suporta a exportação de baldes no armazenamento de objetos como arquivos, compatível com a sintaxe POSIX

O S3FS é baseado no sistema de arquivos desenvolvido pela FUSE, que permite que Linux e Mac OS montem buckets S3 no sistema de arquivos local e mantenham o formato original do objeto.

Contanto que suporte o protocolo de armazenamento S3, ele suporta montagem, como minio, Huawei Cloud OBS, Alibaba Cloud OSS, etc.

Dois, instale s3fs

instalação centos

yum -y install s3fs-fuse

instalação ubantu

apt install s3fs

3. Monte e use

Descrição do parâmetro S3FS

Comando: s3fs BUCKET:[/CAMINHO] PONTO DE MONTAGEM [OPÇÃO]…

OPÇÕES:

• passwd_file: Especifique o arquivo de senha s3fs a ser usado
• url: Defina a url usada para acessar o armazenamento de objetos
• endpoint: endpoint de armazenamento, o padrão éus-east-1
• umask: defina umask para o diretório de montagem
• no_check_certificate: não verifique a autenticação
• use_path_request_style: Use o estilo de solicitação de caminho (usando chamadas de API tradicionais), compatível com solicitações de host virtual que suportam e não suportam APIs do tipo S3
• nonempty: permite que o ponto de montagem seja um diretório não vazio
• default_acl: Padrão privado, os valores são privados, lidos pelo público
• ensure_diskfree: Definir espaço livre em disco. Se o espaço livre em disco for menor que esse valor, o s3fs não aplica espaço em disco
• allow_other: Permita que todos os usuários acessem o diretório do ponto de montagem, que pode ser usado para criar compartilhamentos NFS
• use_cache: especifica uma pasta local a ser usada como um cache de arquivo local. vazio por padrão
• del_cache: Exclua o cache local na inicialização do S3FS e saia
• enable_noobj_cache: Reduz as solicitações enviadas por s3fs para listar buckets, melhorando assim o desempenho
• dbglevel: Defina o nível da mensagem, por padrão 关键（critical）, você pode usar infopara depurar a saída
• multireq_max: Liste os dados máximos de solicitações paralelas para objetos
• parallel_count: número de solicitações paralelas para fazer upload de objetos grandes
• retries: O valor padrão é 5, o número de tentativas para falhas de transmissão
• storage_class: classe de armazenamento (padrão 标准), os valores são standard, standard_ia, onezone_ia,reduced_redundancy
• connect_timeout: Tempo limite de conexão, o padrão é 300 segundos
• readwrite_timeout: tempo limite de leitura e gravação, o valor padrão é 60 segundos
• max_stat_cache_size: Tamanho máximo do cache estático, o valor padrão é 100.000 entradas (cerca de 40 MB)
• stat_cache_expire: Especifica o tempo de expiração (em segundos) para entradas no cache de estatísticas. Este tempo de expiração representa o tempo desde que o cache de estatísticas
• -f: O primeiro plano emite informações de execução
• -d: saída de mensagens dubug para syslog

Criar um arquivo de chave de acesso

Escreva aksk ou a senha da conta no arquivo

#命令格式：echo [IAM用户访问密钥ID]:[ IAM用户访问密钥] >[密钥文件名]
echo "username:password" > /data/s3fs/.passwd-s3fs 

# 设置密钥智能被当前用户访问
chmod 600 /data/s3fs/.passwd-s3fs

Monte o armazenamento S3

Use S3fs para montar buckets S3 em instâncias Linux do Amazon EC2

# 命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o endpoint=[区域名]

s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1

Monte o Huawei Cloud OBS

https://support.huaweicloud.com/fstg-obs/obs_12_0008.html

# 命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o endpoint=[区域名]

s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://obs.cn-north-4.myhuaweicloud.com 

Montar armazenamento minio

# 需要加上 use_path_request_style进行兼容
s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://www.mydomain.com:9001  -o use_path_request_style


# 可以使用 -o dbglevel=info -f  进行输出调试信息
s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://www.mydomain.com:9001  -o use_path_request_style -o dbglevel=info -f

Montar automaticamente na inicialização

escreva em /etc/fstab

# 命令格式：s3fs#[S3存储桶名] [本地目录名] fuse _netdev,[options1],[optins2]... 0 0


s3fs#prodfile-bucket /data/s3fs/s3mnt fuse _netdev,passwd_file=/data/s3fs/.passwd-s3fs,url=http://obs.cn-north-4.myhuaweicloud.com  0 0