...
1) Informations générales
AVANT de partager vos données avec quelqu'un d'autre, assurez-vous d'abord que vous avez le droit de les partager!!!
...
Si vous êtes connecté "à l'intérieur de l'UQAM", c'est-à-dire que vous êtes sur un ordinateur qui est soit connecté à l'Internet par câble au 6ème ou 7ème étage du PK, soit vous utilisez le VPN, vous pouvez transférer des données directement vers ou depuis nos serveurs internes de l'UQAM. - Voir "3) Outils de transfert" ci-dessous pour savoir comment faire.
...
Si vous êtes "à l'extérieur de l'UQAM" vous devrez d'abord copier les données sur
/transfert/username,
puis les copier de là vers la destination finale. Comme cet espace disque est très limité et partagé entre tous les utilisateurs, il ne peut être utilisé que temporairement! Toutes les données peuvent être effacées après 7 jours!
Lorsque le transfert de vos données est terminé effacez vos données de /transfert/${USER} !!!
Por example, a partir d'un serveur à l'UQAM avec :
rm -rf /transfert/username/*
Serveurs UQAM ↔ /transfer
...
rsync -ruvtp source destination
puisque /transfer est directement accessible depuis tous nos serveurs internes.!!!
Ordinateur local ↔ /transfer
Depuis l'extérieur de l'UQAM, vous pouvez accéder /transférer via l'un de nos serveurs externes, les "hoppies" (adresses IP: hoppy1.sca.uqam.ca, hoppy2.sca.uqam.ca, hoppy3.sca.uqam.ca).
Voir "3) Outils de transfert" ci-dessous pour savoir comment faire.
3) Outils de transfert
rsync
'rsync' is a utility for transferring and synchronizing files between different directories, which can be on different computers or storage drives, for as long as one is accessible from the other. Have a look at the official web page: rsync manpage
Syntax:
rsync [keys...] source... [destination]
Usages with just one source argument and no destination argument will just list the source files instead of copying them.
Keys
These are the keys I find most useful:
| key | description |
|---|---|
| -v | verbose |
| -u | update -> skip files that are newer on the receiver |
| -r | recurse into directories |
| -t | preserve modification times |
| -p | preserve permissions -> Do not use when copying files to the Alliance! |
| -l | copy symbolic links as symbolic links - see note below |
| -L | transform symbolic link into referent file/dir - see note below |
Note: One can use only either '-l' or '-L'. By default symbolic links will not get transferred!
Source & destination
If the source contains more than one file the destination must be a directory.
Either the source or the destination can be on another computer, that is accessible via ssh.
If one of them is on another computer the source resp. destination location must be preceded by the name of the computer (HOST) and if the username is different also by the username on the remote computer:
[username@]HOST:source
resp.
[username@]HOST:destination
Putting transfer command in background
To be able to log out after having started a transfer one can "put the transfer command in the background" the following way:
rsync [keys] source destination > logfile 2>&1 &
The 'logfile' needs to be specified to be in an existing directory on the local computer. It will contain what usually appears on the scree when executing the command.
Note: One cannot put the transfer command in the background if one needs to enter a password and/or authenticate!!!
You can avoid getting asked to enter a password by adding the content of your public ssh-key from your local computer, for example ~/.ssh/id_rsa.pub, to the file ~/.ssh/authorized_keys on the remote computer.
To avoid having to authenticate when transferring data from/to Narval you will have to follow the steps on our wiki under:
https://wikienseignement.uqam.ca/display/EDDSDLTEL/Multifactor+authentication#Multifactorauthentication-Automatedworkflows
Examples
a) Narval → UQAM
To copying data from Narval to a computer at UQAM one needs to go on the UQAM computer and fetch the data from Narval with, for example:
rsync -ruvtp username_on_Narval@narval.computecanada.ca:source_on_Narval directory_at_UQAM
b) UQAM → Narval
To copying data from UQAM to Narval one needs to go on the UQAM computer and push the data from from UQAM, for example:
rsync -ruvt source_at_UQAM username_on_Narval@narval.computecanada.ca:destination_on_Narval
...
MacOS ou Linux (nos serveurs)
...
Ouvrez un terminal et transférez les données par exemple avec rsync :
rsync -ruvtp source destination
Pour connaître la signification des clés, exécutez la commande : man rsync
Si la source ou la destination n'est pas sur l'ordinateur local, vous devez faire précéder le nom du répertoire de votre nom d'utilisateur et de l'adresse de votre machine, séparés par "@" et suivis d'un " :" :
...
- un autre programme gratuit pour le transfert de données est WinSCP.
- Les commandes
pscpetpsftpde PuTTY fonctionnent sensiblement comme les commandes sous Linux et Mac.
3) Transfert direct ou indirect
a) Serveurs de l'UQAM accessible de ailleurs
Transférez les données directement, par example, avec les outils décrits plus haut sous 2) Outils de transfert.
b) Endroit externe accessible de l'UQAM
Si vous pouvez accéder à l’endroit extérieur (c'est-à-dire la source ou la destination des données) à partir des serveurs ESCER, démarrez le transfert à partir des serveurs ESCER.
c) Utilisation de "hoppy1", "hoppy2" ou "hoppy3"
Vous pouvez également utiliser l'espace disque des "hoppies" (adresses IP: hoppy1.sca.uqam.ca, hoppy2.sca.uqam.ca, hoppy3.sca.uqam.ca) pour ces transferts de données. L'espace disque disponible des hoppies s'appele:
/transfert/${USER}
et est aussi visible à partir de zwack, robert, snow, jacta, alea, bora et zonda. Pour l'instant, cet espace est d'environ 2 To au total. Comme cet espace disque est limité et partagé entre tous les utilisateurs, il ne peut être utilisé que temporairement! Toutes les données peuvent être automatiquement effacées après 7 jours!
Si vous n'avez pas un répertoire sous /transfert contactez: winger.katja@uqam.ca ou toupin.frederik@uqam.ca
Par exemple, si vous voulez partager des données que vous avez sur nos serveurs avec quelqu’un (ou vous-même) de l’extérieur de l'UQÀM, vous n'avez qu'à transférer vos données sur /transfert (accessible sur les hoppies et nos serveurs) et vous ou quelqu’un d'autre peut aller les chercher de l'extérieur. Ou, si quelqu’un veut vous envoyer des données, cette personne peut les transférer sur les hoppies et vous pouvez aller les chercher a partir d'un des nos serveurs.
Si vous voulez partager des données avec quelqu’un qui n'a pas de compte sur nos serveurs, cette personne peut obtenir un compte temporaire sur 'hoppy3' pour y déposer ou y récupérer des données. Dans ce cas contactez: winger.katja@uqam.ca ou toupin.frederik@uqam.ca
Exemples
a) Transfert de données d'un serveur de l'UQAM vers votre ordinateur à la maison :
1) Allez sur le serveur à l'UQAM et transférez vos données sous /transfert/${USER}, par exemple avec rsync :
rsync -ruvtpL /vos/données /transfert/${USER}
Pour connaître la signification des clés, exécutez la commande : man rsync
2) Allez chercher les données a partir de votre ordinateur à la maison ou de allieus de
username@hoppy1/2/3.sca.uqam.ca:/transfert/username
- .
...
3) Après, effacez vos données de /transfert/${USER}
A partir d'un serveur à l'UQAM :
...