Object Storage Swift - Otimizar os uploads para o Object Storage

Objetivo

Aquando do envio de ficheiros volumosos para o Object Storage (como vídeos ou imagens de discos, por exemplo), é possível utilizar o cliente OpenStack Swift para otimizar as transferências ao segmentar os ficheiros.

Este guia explica-lhe como melhorar a velocidade dos uploads para o Object Storage graças a esta funcionalidade.

Pré-requisitos

• Preparar o ambiente para utilizar a API OpenStack com o cliente python-swiftclient
• Carregar as variáveis de ambiente OpenStack

Instruções

OpenStack Swift permite-lhe armazenar ficheiros sem limite de tamanho ao dividi-lo em vários segmentos.

Na realidade, quando um cliente Swift é utilizado para enviar um ficheiro, o nœud de armazenamento é determinado pelo proxy Swift ao utilizar uma hash do nome do objecto. Existe então uma grande possibilidade que os segmentos sejam armazenados em nœuds de armazenamento diferentes permitindo a escrita dos seus dados com uma velocidade superior.

Podemos enviar um ficheiro de 10GB em 100 segmentos de 100MB:

root@server:~$ swift upload --segment-size 104857600 --segment-threads 100
container_name 10Gio.dat

É possível medir a velocidade de upload ao utilizar programas como por exemplo o iftop.

Quer saber mais?

Se precisar de formação ou de assistência técnica para implementar as nossas soluções, contacte o seu representante comercial ou clique em esta ligação para obter um orçamento e solicitar uma análise personalizada do seu projecto aos nossos especialistas da equipa de Serviços Profissionais.

Fale com a nossa comunidade de utilizadores: https://community.ovh.com/en/.