1) Informations générales
AVANT de partager vos données avec quelqu'un d'autre, assurez-vous que vous avez le droit de les partager!!!
2) A l'intérieur ou à l'extérieur de l'UQAM
A l'intérieur de l'UQAM
Si vous êtes connecté "à l'intérieur de l'UQAM", c'est-à-dire que vous êtes sur un ordinateur qui est soit connecté à l'Internet par câble au 6ème ou 7ème étage du PK, soit vous utilisez le VPN, vous pouvez transférer des données directement vers ou depuis nos serveurs internes de l'UQAM. - Voir "3) Outils de transfert" ci-dessous pour savoir comment faire.
A l'extérieur de l'UQAM
Si vous êtes "à l'extérieur de l'UQAM" vous devrez d'abord copier les données sur
/transfert/username
puis les copier de là vers la destination finale. Comme cet espace disque est très limité et partagé entre tous les utilisateurs, il ne peut être utilisé que temporairement! Toutes les données peuvent être effacées après 7 jours!
Lorsque le transfert de vos données est terminé effacez vos données de /transfert/${USER} !!!
Por example, a partir d'un serveur à l'UQAM avec :
rm -rf /transfert/username/*
Serveurs UQAM ↔ /transfer
Pour copier des données de/vers /transfer vers/de un système de fichiers sur nos serveurs internes, vous pouvez les copier sur le serveur interne avec:
rsync -ruvtp source destination
/transfer est directement accessible depuis tous nos serveurs internes!!!
Ordinateur local ↔ /transfer
Depuis l'extérieur de l'UQAM, vous pouvez accéder /transférer via l'un de nos serveurs externes, les "hoppies" (adresses IP: hoppy1.sca.uqam.ca, hoppy2.sca.uqam.ca, hoppy3.sca.uqam.ca).
Voir "3) Outils de transfert" ci-dessous pour savoir comment faire.
3) Outils de transfert
rsync
'rsync' is a utility for transferring and synchronizing files between different directories, which can be on different computers or storage drives, for as long as one is accessible from the other. Have a look at the official web page: rsync manpage
Syntax:
rsync [keys...] source... [destination]
Usages with just one source argument and no destination argument will just list the source files instead of copying them.
Keys
These are the keys I find most useful:
key | description |
---|---|
-v | verbose |
-u | update -> skip files that are newer on the receiver |
-r | recurse into directories |
-t | preserve modification times |
-p | preserve permissions -> Do not use when copying files to the Alliance! |
-l | copy symbolic links as symbolic links - see note below |
-L | transform symbolic link into referent file/dir - see note below |
Note: One can use only either '-l' or '-L'. By default symbolic links will not get transferred!
Source & destination
If the source contains more than one file the destination must be a directory.
Either the source or the destination can be on another computer, that is accessible via ssh.
If one of them is on another computer the source resp. destination location must be preceded by the name of the computer (HOST) and if the username is different also by the username on the remote computer:
[username@]HOST:source
resp.
[username@]HOST:destination
Putting transfer command in background
To be able to log out after having started a transfer one can "put the transfer command in the background" the following way:
rsync [keys] source destination > logfile 2>&1 &
The 'logfile' needs to be specified to be in an existing directory on the local computer. It will contain what usually appears on the scree when executing the command.
Note: One cannot put the transfer command in the background if one needs to enter a password and/or authenticate!!!
You can avoid getting asked to enter a password by adding the content of your public ssh-key from your local computer, for example ~/.ssh/id_rsa.pub, to the file ~/.ssh/authorized_keys on the remote computer.
To avoid having to authenticate when transferring data from/to Narval you will have to follow the steps on our wiki under:
https://wikienseignement.uqam.ca/display/EDDSDLTEL/Multifactor+authentication#Multifactorauthentication-Automatedworkflows
Examples
a) Narval → UQAM
To copying data from Narval to a computer at UQAM one needs to go on the UQAM computer and fetch the data from Narval with, for example:
rsync -ruvtp username_on_Narval@narval.computecanada.ca:source_on_Narval directory_at_UQAM
b) UQAM → Narval
To copying data from UQAM to Narval one needs to go on the UQAM computer and push the data from from UQAM, for example:
rsync -ruvt source_at_UQAM username_on_Narval@narval.computecanada.ca:destination_on_Narval
MacOS ou Linux (nos serveurs)
Ouvrez un terminal et transférez les données par exemple avec rsync :
rsync -ruvtp source destination
Pour connaître la signification des clés, exécutez la commande : man rsync
Si la source ou la destination n'est pas sur l'ordinateur local, vous devez faire précéder le nom du répertoire de votre nom d'utilisateur et de l'adresse de votre machine, séparés par "@" et suivis d'un " :" :
username@server.sca.uqam.ca:/répertoire
Donc, par exemple, pour transférer des données depuis UQAM:
rsync -ruvtp username@server.sca.uqam.ca:/répertoire_à_l'UQAM /répertoire_sur_l'ordinateur_local
Ou pour transférer des données vers UQAM:
rsync -ruvtp données_sur_l'ordinateur_local username@server.sca.uqam.ca:/répertoire_à_l'UQAM
Windows
WSL
Si vous utilisez WSL, vous pouvez copier les données avec rsync, de la même manière que vous les copiez entre nos serveurs.
Le répertoire du côté de Windows à partir duquel/vers lequel vous voulez copier les données devrait se trouver quelque part sous :
/mnt/c/Users/username
Vous pouvez copier vos données avec "rsync" comme décrit ci-dessus pour Linux et MacOS.
FileZilla
Le moyen le plus simple pour copier des données à partir d'une autre machine est probablement FileZilla. Une fois installé et ouvert, vous devez saisir les informations suivantes :
Host: nom_du_serveur → serveur.sca.uqam.ca
Username: nom_d'utilisateur
Password: mot_de_passe
Port: 22
Cliquez ensuite sur "Quickconnect".
Une fois connecté allez là où vous voulez avoir les données dans la fenêtre de gauche, « Local site: » et à droite, « Remote site: », allez dans le répertoire des donnée qui vous voulez copier. Ensuite, vous pouvez glisser (et avec ça copier) les fichiers de la côté droite (Remote site) vers la côté gauche (Local site).
WinSCP et PuTTY
Sinon, vous pouvez également utiliser l'un des outils suivants :
- un autre programme gratuit pour le transfert de données est WinSCP.
- Les commandes
pscp
etpsftp
de PuTTY fonctionnent sensiblement comme les commandes sous Linux et Mac.
0 commentaires