Tutoriales ObjectStorage / diciembre 05, 2024

Migrando datos de Storj a BackBlaze con rclone

En este tutorial veremos como mover de forma sencilla un bucket en Storj a otro bucket en BackBlaze.

Don T3rr0rZ0n3

4 minutos

Actualmente tengo un Object Storage contratado para datos en Storj mirando de reducir costes estoy mirando que me sale bastante más barato el B2 que tienen en BackBlaze. En este tutorial veremos como mover de forma sencilla un bucket en Storj a otro bucket en BackBlaze.

Utilizaremos una herramienta para hacer todo el proceso de volcado de datos. Usaremos rclone para mover los datos.

Instalación de Rclone

Para instalar rclone en nuestro sistema operativo, podemos tirar directamente desde los repositorios:

apt install rclone

Datos necesarios para migrar datos

Para mover los datos de Storj a BackBlaze, necesitaremos diferentes datos que explicaremos a continuación.

Datos en BackBlaze

Necesitamos crear una Application Keys nueva para este proceso. Para crear una hacemos clic en la opción que tenemos en el menú lateral:

Luego hacemos clic en el botón Add a Application Key y continuamos:

Añadimos un nombre a la Key y luego podemos seleccionar a que buckets puede tener acceso. Lo recomendable es seleccionar el bucket concreto al que tenemos que mover los datos. Para los permisos, marcamos la opción de Read and Write:

Finalmente para crear la Application Key hacemos clic sobre el botón Create New Key y nos aparecerá un mensaje con los datos. Este mensaje solo aparecerá una vez, por lo que copia el keyID y el applicationKey en un lugar seguro:

Datos en Storj

En Storj, iniciamos sesión y seleccionamos el Proyecto donde tenemos nuestro bucket. Allí, en el menú lateral tenemos la opción Access Keys:

Hacemos clic al botón New Access Key y añadimos un nombre al nuevo acceso y seleccionamos S3 Credentials y continuamos haciendo clic en Next:

Seleccionamos la opción Advanced para acceder a las configuraciones avanzadas:

Este nuevo acceso debe contar con todos los permisos excepto el de Delete. Por lo tanto, seleccionamos únicamente los demás permisos:

Seleccionamos el bucket al que deseamos asignar los permisos correspondientes.

Si lo deseamos, podemos establecer una fecha de expiración; de lo contrario, dejamos seleccionada la opción No Expiration.

Finalmente, se nos mostrará un resumen con los datos configurados.

Por último, hacemos clic en Create Access, tras lo cual se generarán los datos que debemos guardar en un lugar seguro.

Configurando rclone

Una vez recopilados todos los datos, procedemos a configurar rclone utilizando esta información para llevar a cabo la migración de datos de un bucket a otro.

Para ello ejecutamos el siguiente comando:

rclone config file

Esto nos devolverá lo siguiente:

$ rclone config file
Configuration file is stored at:
/root/.config/rclone/rclone.conf

En este fichero deberemos de editarlo y añadir lo siguiente:

nano /root/.config/rclone/rclone.conf
[backblaze]
type = b2
account = [keyID]
key = [applicationKey]

[storj]
type = s3
provider = Storj
access_key_id = [Access key]
secret_access_key = [Secret Key]
endpoint = [EndPoint]
💡
Para el endpoint, debemos considerar la región en la que iniciamos sesión en Storj. Por ejemplo, si nuestra región es EU, el endpoint correspondiente será: gateway.eu1.storjshare.io.

Una vez tengamos todos los datos introducidos, podemos iniciar la migración.

Migrando datos con rclone

Con el archivo de configuración preparado, podemos ejecutar el siguiente comando:

rclone sync --progress storj:[NombreBucket] backblaze:[NombreBucket]

El nombre del bucket dependerá del que hayáis configurado tanto en Storj como en BackBlaze. Al ejecutar este comando, obtendremos la siguiente respuesta al iniciar la migración de datos:

$ rclone sync --progress storj:name backblaze:name
Transferred:      506.077 MiB / 2.473 GiB, 20%, 338.810 KiB/s, ETA 1h42m4s
Transferred:         2209 / 12221, 18%
Elapsed time:     13m30.1s
Transferring:
 * cache/XXXXX/XXX…l/XX.png: 67% /1.063Mi, 36.442Ki/s, 9s
 * cache/XXX/XXX…l/XXX.png: 41% /1.581Mi, 55.660Ki/s, 17s
 * cache/XX/XXXX…l/XXXX.jpg: 28% /1.394Mi, 141.896Ki/s, 7s
 * cache/XXXX/XXX…l/XXX.jpg:100% /1.017Mi, 1.016Mi/s, 0s

Y ahora solo quedará esperar a que se muevan todos los datos.

Más sobre ./voidNull

Haz que cada palabra cuente: tu donación nos inspira a seguir creando contenido. Accede al apartado de Donación para hacer tu aportación