1) Informations générales

...

AVANT de partager vos données avec quelqu'un d'autre, assurez-vous que vous avez le droit de les partager!!!

Dans le contexte ci-dessous, "extérieur de l'UQÀM" signifie un endroit qui ne fait pas partie du réseau cablé du département des sciences de la Terre et de l'atmosphère de l'UQÀM.

2) A l'intérieur ou à l'extérieur de l'UQAM

...

A l'intérieur

de l'UQAM

Si vous pouvez accéder à l’endroit extérieur (êtes connecté "à l'intérieur de l'UQAM", c'est-à-dire la source ou la destination des données) à partir des serveurs ESCER, démarrez le transfert à partir des serveurs ESCER.que vous êtes sur un ordinateur qui est soit connecté à l'Internet par câble au 6ème ou 7ème étage du PK, soit vous utilisez le VPN, vous pouvez transférer des données directement vers ou depuis nos serveurs internes de l'UQAM. - Voir "3) Outils de transfert" ci-dessous pour savoir comment faire.

A l'extérieur de l'UQAM

Si vous êtes "à l'extérieur de l'UQAM" vous devrez d'abord copier les données sur

    /transfert/username

puis les copier de là vers la destination finale. Comme cet espace disque est très 2) Utilisation de "hoppy" ou "st0"
Vous pouvez également utiliser l'espace disque de 'hoppy' (adresse IP: hoppy.sca.uqam.ca) ou 'st0' (adresse IP: st0.sca.uqam.ca) pour ces transferts de données. L'espace disque disponible de hoppy/st0 s'appele:
      /transfert/${USER}
et est aussi visible à partir de zwack, robert, snow, glacier, jacta et alea. Pour l'instant, cet espace est d'environ 2 To au total. Comme cet espace disque est limité et partagé entre tous les utilisateurs, il ne peut être utilisé que temporairement! Toutes les données peuvent être automatiquement effacées après 7 jours!

Si vous n'avez pas un répertoire sous /transfert contactez: winger.katja@uqam.ca ou toupin.frederik@uqam.ca

Par exemple, si vous voulez partager des données que vous avez sur nos serveurs avec quelqu’un (ou vous-même) de l’extérieur de l'UQÀM, vous n'avez qu'à transférer vos données sur /transfert (accessible sur hoppy/st0 et nos serveurs) et vous ou quelqu’un d'autre peut aller les chercher de l'extérieur. Ou, si quelqu’un veut vous envoyer des données, cette personne peut les transférer sur hoppy/st0 et vous pouvez aller les chercher a partir d'un des nos serveurs.

Si vous voulez partager des données avec quelqu’un qui n'a pas de compte sur nos serveurs, cette personne peut obtenir un compte temporaire sur 'hoppy' ou 'st0' pour y déposer ou y récupérer des données. Dans ce cas contactez: winger.katja@uqam.ca ou toupin.frederik@uqam.ca

Exemples

a) Transfert de données d'un serveur de l'UQAM vers votre ordinateur à la maison :

    1) Allez sur le serveur à l'UQAM et transférez vos données sous /transfert/${USER}, par exemple avec rsync :

            rsync -ruvtpL  /vos/données   /transfert/${USER}

    2) Allez chercher les données a partir de votre ordinateur à la maison
         Si vous utilisez Linux ou MacOS :
         Ouvrez un terminal et allez dans le répertoire ou vous voulez avoir les données. Ensuit transférez-les par exemple avec rsync :

            rsync -ruvtp    UQAM_username@hoppy.sca.uqam.ca:/transfert/${USER}/*  .

          Si vous utilisez Windows

    3) Effacez vos données de /transfert/${USER}
         A partir d'un serveur à l'UQAM :

...

Lorsque le transfert de vos données est terminé effacez vos données de /transfert/${USER} !!!
Por example, a partir d'un serveur à l'UQAM avec :

            rm -rf /transfert/username/*

Serveurs UQAM ↔ /transfer

Pour copier des données de/vers /transfer vers/de un système de fichiers sur nos serveurs internes, vous pouvez les copier sur le serveur interne avec:

    rsync -ruvtp    source   destination

/transfer est directement accessible depuis tous nos serveurs internes!!!

Ordinateur local ↔ /transfer

Depuis l'extérieur de l'UQAM, vous pouvez accéder /transférer via l'un de nos serveurs externes, les "hoppies" (adresses IP: hoppy1.sca.uqam.ca, hoppy2.sca.uqam.ca, hoppy3.sca.uqam.ca).

Voir "3) Outils de transfert" ci-dessous pour savoir comment faire.

3) Outils de transfert

rsync

'rsync' is a utility for transferring and synchronizing files between different directories, which can be on different computers or storage drives, for as long as one is accessible from the other. Have a look at the official web page: rsync manpage 

Syntax:

          rsync [keys...] source... [destination]

Usages with just one source argument and no destination argument will just list the source files instead of copying them.

Keys

These are the keys I find most useful:

Note: One can use only either '-l' or '-L'. By default symbolic links will not get transferred!

Source & destination

If the source contains more than one file the destination must be a directory.

Either the source or the destination can be on another computer, that is accessible via ssh.

If one of them is on another computer the source resp. destination location must be preceded by the name of the computer (HOST) and if the username is different also by the username on the remote computer:

      [username@]HOST:source
resp.
      [username@]HOST:destination

Putting transfer command in background

To be able to log out after having started a transfer one can "put the transfer command in the background" the following way:

    rsync [keys] source destination > logfile  2>&1 &

The 'logfile' needs to be specified to be in an existing directory on the local computer. It will contain what usually appears on the scree when executing the command.

Note: One cannot put the transfer command in the background if one needs to enter a password and/or authenticate!!!

You can avoid getting asked to enter a password by adding the content of your public ssh-key from your local computer, for example ~/.ssh/id_rsa.pub, to the file ~/.ssh/authorized_keys on the remote computer.

To avoid having to authenticate when transferring data from/to Narval you will have to follow the steps on our wiki under:
    https://wikienseignement.uqam.ca/display/EDDSDLTEL/Multifactor+authentication#Multifactorauthentication-Automatedworkflows

Examples

a) Narval → UQAM

To copying data from Narval to a computer at UQAM one needs to go on the UQAM computer and fetch the data from Narval with, for example:

    rsync  -ruvtp   username_on_Narval@narval.computecanada.ca:source_on_Narval   directory_at_UQAM

b) UQAM → Narval

To copying data from UQAM to Narval one needs to go on the UQAM computer and push the data from from UQAM, for example:

    rsync  -ruvt  source_at_UQAM   username_on_Narval@narval.computecanada.ca:destination_on_Narval

MacOS  ou Linux (nos serveurs)

Ouvrez un terminal et transférez les données par exemple avec rsync :

    rsync -ruvtp    source   destination

Pour connaître la signification des clés, exécutez la commande : man rsync

Si la source ou la destination n'est pas sur l'ordinateur local, vous devez faire précéder le nom du répertoire de votre nom d'utilisateur et de l'adresse de votre machine, séparés par "@" et suivis d'un " :" :

    username@server.sca.uqam.ca:/répertoire

Donc, par exemple, pour transférer des données depuis UQAM:

    rsync -ruvtp   username@server.sca.uqam.ca:/répertoire_à_l'UQAM    /répertoire_sur_l'ordinateur_local

Ou pour transférer des données vers UQAM:

    rsync -ruvtp   données_sur_l'ordinateur_local    username@server.sca.uqam.ca:/répertoire_à_l'UQAM

Windows

WSL

Si vous utilisez WSL, vous pouvez copier les données avec rsync, de la même manière que vous les copiez entre nos serveurs.

Le répertoire du côté de Windows à partir duquel/vers lequel vous voulez copier les données devrait se trouver quelque part sous :

    /mnt/c/Users/username

Vous pouvez copier vos données avec "rsync" comme décrit ci-dessus pour Linux et MacOS.

FileZilla

Le moyen le plus simple pour copier des données à partir d'une autre machine est probablement FileZilla. Une fois installé et ouvert, vous devez saisir les informations suivantes :

    Host: nom_du_serveur   →  serveur.sca.uqam.ca
    Username: nom_d'utilisateur
    Password: mot_de_passe
    Port: 22

Cliquez ensuite sur "Quickconnect".
Une fois connecté allez là où vous voulez avoir les données dans la fenêtre de gauche, « Local site: » et à droite, « Remote site: », allez dans le répertoire des donnée qui vous voulez copier.Ensuite, vous pouvez glisser (et avec ça copier) les fichiers de la côté droite (Remote site) vers la côté gauche (Local site).

WinSCP et PuTTY

Sinon, vous pouvez également utiliser l'un des outils suivants :

• un autre programme gratuit pour le transfert de données est WinSCP.
• Les commandes pscp et psftp de PuTTY fonctionnent sensiblement comme les commandes sous Linux et Mac.