CRESCO - Centro Computazionale di Ricerca sui Sistemi Complessi

HOME| CRESCO| Guide/tutorials| Contatti| F.A.Q.

CRESCO: Descrizione del Sistema di Frascati

SOMMARIO:

Caratteristiche del Cluster
Nodi di Front-End
Accesso tramite Client ssh
Uso di Modules
Flavour MPI presenti

1. Caratteristiche del Cluster

Il cluster CRESCO4F di Frascati è un sistema di calcolo costituito da 64 server con le seguenti caratteristiche:

2 socket da 8 core con processore Intel E5-2670 2.6 GHz 64 GB/RAM
(4 GB per core, 8 istruzioni per ciclo di clock)
Un disco 500GB SATA II
Una interfaccia IB QDR 40 Gb/s (32 Gb/s effettivi per i dati)
Due interfacce GbE
Supporto BMC/IPMI 1.8 e software per la gestione remota della console

Si hanno a disposizione un totale di 1024 cores connessi tra loro da una rete a bassa latenza basata su Infiniband 4xQDR a 40 Gb/s gestita da uno switch Qlogic 12800. Il sistema è dotato anche di un file system GPFS.

L'architettura di un nodo di CRESCO4F è riconducibile al seguente schema:

[sommario]

2. Nodi di Front-End

L'utilizzo del cluster avviene facendo il login in uno dei nodi di front-end. I nodi di front-end servono semplicemente per il lancio delle applicazioni tramite LSF, per editare i propri script di lancio o per le compilazioni. I nodi di calcolo sono raggiungibili solo tramite LSF.

[sommario]

3. Accesso tramite Client ssh.

Per accedere al sistema tramite "ssh" è sufficiente collegarsi direttamente al nodo di front-end cresco4fx001.frascati.enea.it se il proprio PC è collegato alla LAN di uno dei centri ENEA. Dall'esterno l'utente può collegarsi tramite ssh ad uno dei due super-nodi di front-end, cresco-in.frascati.enea.it ovvero cresco-in.portici.enea.it. Dopo aver effettuato il login, l'utente dovrà selezionare il front-end cresco4fx001.frascati.enea.it.

[sommario]

5. Compilatori e librerie numeriche

Nella tabella seguente sono riportati i compilatori e le librerie numeriche presenti su CRESCO4.

	GNU (4.4.6)	GNU (4.8.2)	Intel (14.0.1)	Intel (16.0.0)	PGI (11.10-0)
PATH compilatori	/usr/bin	/opt/gcc482/bin	/opt/intel/composer_xe_2013_sp1.1.106/bin/intel64	/opt/intel16/compilers_and_libraries_2016.0.109/linux/bin/intel64	/afs/enea.it/software/pgi_11.10/linux86-64/11.10/bin
PATH Librerie numeriche	BLAS/LAPACK/ATLAS /usr/lib /usr/lib64 /usr/lib/atlas-sse* /usr/lib64/atlas /usr/lib64/atlas-sse*	BLAS/LAPACK/ATLAS /usr/lib /usr/lib64 /usr/lib/atlas-sse* /usr/lib64/atlas /usr/lib64/atlas-sse*	Intel MKL /opt/intel/composer_xe_2013_sp1.1.106/mkl/lib/ia32 /opt/intel/composer_xe_2013_sp1.1.106/mkl/lib/intel64	Intel MKL /opt/intel16/compilers_and_libraries_2016.0.109/linux/mkl/lib/intel64_lin	PGI per AMD/ACML e CUDA /afs/enea.it/software/pgi_11.10/linux86-64/11.10/lib /afs/enea.it/software/pgi_11.10/linux86-64/11.10/libso

6. Uso di Modules.

Sul cluster CRESCO4F di Frascati l'inizializzazione dell'ambiente per il singolo utente viene effettuata grazie al software Modules. Per i dettagli sull'implementazione, sulle scelte fatte e sull'uso del software è possibile consultare la relativa documentazione.

Per listare l'elenco delle flavour disponili si potrà utilizzare il comando:

module avail (questo comando elenca, tra gli altri, i moduli disponibili per gli ambienti paralleli)

La flavour impostata di default per tutti gli utenti è:

mpi_flavour/openmpi_intel-1.4.3-qlc

Se l'utente vuole scegliere una diversa flavour dovrà utilizzare il comando:

module switch flavour_attuale flavour_desiderata

Ad esempio se si vuole scegliere la libreria OpenMPI compilata con GCC si dovrà dare il comando:

module switch mpi_flavour/openmpi_intel-1.4.3-qlc mpi_flavour/openmpi_gcc482-1.4.3

A questo punto l'ambiente risulta impostato coerentemente con la scelta della nuova flavour.

N.B. Per gli utenti che chiamano bash o ksh, affinchè Modules riesca ad impostare correttamente l'ambiente, è necessario creare nella propria HOME AFS i file .bashrc o .kshrc (oppure modificarli se giá esistenti) inserendo in testa ad essi delle opportune righe di codice.

Per il file .bashrc:

if [ -f /usr/share/Modules/init/bash ]

then

. /usr/share/Modules/init/bash

Per il file .kshrc:

if [ -f /usr/share/Modules/init/ksh ]

then

. /usr/share/Modules/init/ksh

[sommario]

7. Flavour MPI presenti.

Sul Cluster CRESCO di Frascati è presente OFED alla versione: OFED-1.5.4.1. Le flavour MPI presenti, distinte per compilatore, sono elencate nella seguente tabella:

	Open64 (version 4.5.1)	GNU (version 4.4.6/4.8.2)	Intel (version 14.0.1)	Intel (version 12.1.3)	PGI (version 11.10-0)
Mvapich	mancante	mvapich2_gcc_qlc-1.7	mvapich2_intel14_qlc-1.7	mvapich2_intel12_qlc-1.7	mvapich2_pgi_qlc-1.7
OpenMPI	openmpi_open64-1.4.3 openmpi_open64-1.6.5	openmpi_gcc-1.4.3 openmpi_gcc-1.6.5 openmpi_gcc482-1.4.3 openmpi_gcc482-1.6.5	openmpi_intel14-1.4.3-qlc openmpi_intel14-1.6.5	openmpi_intel12-1.5.4-qlc	openmpi_pgi-1.4.3-qlc openmpi_pgi-1.6.5
Intel MPI	Nessuna Flavour	Nessuna Flavour	impi-4.1.2	Nessuna Flavour	Nessuna Flavour

[sommario]

8. Come sottomettere un job

Per la sottomissione di batch job sul cluster CRESCO4F di Frascati valgono le regole generali indicate al paragrafo Batch Job/LSF.
È utile però indicare quali sono le code di sottomissione per il cluster in questione e dare degli esempi di wrapper di sottomissione sia per OpenMPI che per Mvapich.

Code definite su CRESCO4F:

cresco4f_h6 - Coda per job seriali e paralleli che richiedono al massimo 256 core. Tempo massimo di RUNNING 6 ore, aperta a tutti a scopo di test e prove;

cresco4f_16h24 - Coda per job paralleli con numero_core ≥ 257, granularità 16 core, tempo massimo di RUNNING 24 ore.

cresco4f_h144 - Coda per job seriali. La coda ammette al massimo 96 job seriali simultanei. Tempo massimo di RUNNING 144 ore.

Di seguito vengono riportati degli esempi di esempi di script di sottomissione i primi due per OpenMPI, il terzo per Mvapich ed il quarto per Intel MPI.

• OpenMPI 1.4.3 (GCC, Intel, PGI)

#!/bin/sh

exe=/afs/enea.it/por/user/raia/Hello_MPI # path of your MPI program
HOSTFILE=$LSB_DJOB_HOSTFILE # name of hostfile for mpirun

N_procs=`cat $LSB_DJOB_HOSTFILE | wc -l` # give to mpirun same number of slots

mpirun --mca plm_rsh_agent "blaunch.sh" -n $N_procs --hostfile $HOSTFILE $exe

• OpenMPI 1.6.5 (GCC, Intel, PGI)

#!/bin/sh

exe=/afs/enea.it/por/user/raia/Hello_MPI # path of your MPI program
HOSTFILE=$LSB_DJOB_HOSTFILE # name of hostfile for mpirun

N_procs=`cat $LSB_DJOB_HOSTFILE | wc -l` # give to mpirun same number of slots

mpirun --mca orte_rsh_agent "blaunch.sh" -n $N_procs --hostfile $HOSTFILE $exe

• Mvapich2 (GCC, Intel, PGI)

#!/bin/sh

exe=/afs/enea.it/por/user/raia/Hello_MPI # path of your MPI program
HOSTFILE=$LSB_DJOB_HOSTFILE # name of hostfile for mpirun

N_procs=`cat $LSB_DJOB_HOSTFILE | wc -l` # give to mpirun same number of slots

mpirun_rsh -rsh -np $N_procs -hostfile $HOSTFILE $exe

• Intel MPI 4.1.2

#!/bin/sh

exe=/afs/enea.it/por/user/raia/Hello_MPI # path of your MPI program
HOSTFILE=$LSB_DJOB_HOSTFILE # name of hostfile for mpirun

N_procs=`cat $LSB_DJOB_HOSTFILE | wc -l` # give to mpirun same number of slots

mpirun -bootstrap rsh -n $N_procs -machinefile $HOSTFILE $exe

[sommario]

ultimo aggiornamento: 15/03/2013|e-mail: Agostino Funel - Guido Guarnieri - Carlo Scio

Cookies Policy