Lansare job Gromacs

    Pentru a rula un job Gromacs trebuie pregătit fișierul pentru rularea jobului. Un astfel de fișier este descris în continuare, incluzând comentarii pentru fiecare linie.

Fișierul în format text poate fi descărcat efectuând un clic aici.

[username@master ~]$ more gromacs_example.job
#!/bin/bash
# stabilirea numarului de procesoare si a numarului de procesoare per nod de calcul dorite, trebuie să existe o singură directivă #PBS -l select
# si anume 2 noduri cu cate 24 procesoare fiecare, repartizare directă a nucleelor pe nodurile de calcul
#PBS -l select=2:ncpus=24:mpiprocs=24
# sau alternativa este de a lăsa sistemul PBS să repartizeze nucleele la nivelul nodurilor disponibile
#PBS -l select=48
# setarea timpului maxim de executare a jobului la 1h si 30 de minute 
#PBS -l walltime=1:30:00
# jobul va fi trimis către coada de execuție short
#PBS -q short
# denumirea literala a jobului pentru o identificare ulterioara
#PBS -N gromacs_Job 
# trimiterea unui email de informare la pornire (begin), la sfarsit (end) si in cazul opririi executarii (abortion)
#PBS -m bea
# adresa de email la care se vor trimite mesajele
#PBS -M Această adresă de email este protejată contra spambots. Trebuie să activați JavaScript pentru a o vedea. 
# se schimbă directorul de lucru in directorul care contine fisierele necesare simularii
cd /home/<nume_de_login>/gromacs_example
# se sterge fisierul (temporar) pnodes
rm -f pnodes
# se creaza fisierul pnodes care va contine lista cu toate nodurile pe care se va executa jobul,
# plecand de la variabila de mediu $PBS_NODEFILE
cat $PBS_NODEFILE | sort > pnodes
# se exporta numarul de procesoare/core-uri configurate in cadrul jobului
# in variabila de mediu ncpus care va fi folosita in cadrul liniei de comanda pentru lansarea gromacs
# atentie!! nu confundati ` cu '
export ncpus=`cat pnodes| wc -l`
# se pregătește mediul de lucru pentru gromacs
# se curata modulele incarcate
module purge
# se incarca modulul pentru versiunea dorita de gromacs
module load gromacs-2019.4-openmpi4-fftw3
# se lanseaza in executie in mod paralel gromacs 
# cu redirectarea mesajelor afișate pe consolă și mesajele de eroare în fișierul rezultat.out
mpirun -n $ncpus -v gmx_mpi mdrun -v -npme 0 -deffnm NUME_SIMULARE > rezultat.out 2> rezultat.out
[username@master ~]

    După editarea fișierului pentru job trebuie lansat jobul folosind comanda qsub:

[username@master ~]$ qsub gromacs_example_job.job
502.master.hpc.ugal.ro
[username@master ~]

    Se poate vedea starea jobului folosind comanda qstat:

[username@master ~]$ qstat
Job ID                    Name             User            Time Use S Queue
------------------------- ---------------- --------------- -------- - -----
502.master                gromacs_job      username               0 R short
[username@master ~]

    Mesajele care sunt furnizate de către program pot fi afișate în timp real prin folosirea comenzii tail ca în exemplul următor:

[username@master ~]$ tail -f rezultat.out
                      :-) GROMACS - gmx mdrun, 2019.4 (-:
                            GROMACS is written by:
     Emile Apol      Rossen Apostolov      Paul Bauer     Herman J.C. Berendsen
    Par Bjelkmar      Christian Blau   Viacheslav Bolnykh     Kevin Boyd
 Aldert van Buuren   Rudi van Drunen     Anton Feenstra       Alan Gray
  Gerrit Groenhof     Anca Hamuraru    Vincent Hindriksen  M. Eric Irrgang
  Aleksei Iupinov   Christoph Junghans     Joe Jordan     Dimitrios Karkoulis
    Peter Kasson        Jiri Kraus      Carsten Kutzner      Per Larsson
  Justin A. Lemkul    Viveca Lindahl    Magnus Lundborg     Erik Marklund
    Pascal Merz     Pieter Meulenhoff    Teemu Murtola       Szilard Pall
    Sander Pronk      Roland Schulz      Michael Shirts    Alexey Shvetsov
   Alfons Sijbers     Peter Tieleman      Jon Vincent      Teemu Virolainen
 Christian Wennberg    Maarten Wolf
                           and the project leaders:
        Mark Abraham, Berk Hess, Erik Lindahl, and David van der Spoel

Copyright (c) 1991-2000, University of Groningen, The Netherlands.
Copyright (c) 2001-2018, The GROMACS development team at
Uppsala University, Stockholm University and
the Royal Institute of Technology, Sweden.
check out http://www.gromacs.org for more information.

GROMACS is free software; you can redistribute it and/or modify it
under the terms of the GNU Lesser General Public License
as published by the Free Software Foundation; either version 2.1
of the License, or (at your option) any later version.

GROMACS:      gmx mdrun, version 2019.4
Executable:   /home/app/gromacs/gromacs-2019.4-openmpi4-fftw3/bin/gmx_mpi
Data prefix:  /home/app/gromacs/gromacs-2019.4-openmpi4-fftw3
Working dir:  /home/username/gromacs/343
Command line:
  gmx_mpi mdrun -v -npme 0 -deffnm equil343

Back Off! I just backed up NUME_SIMULARE.log to ./#NUME_SIMULARE.log.60#
Reading file NUME_SIMULARE.tpr, VERSION 4.6.1 (single precision)
Note: file tpx version 83, software tpx version 116
Multiple energy groups is not implemented for GPUs, falling back to the CPU. For better performance, run on the GPU without energy groups and then do gmx mdrun -rerun option on the trajectory with an energy group .tpr file.

Using 48 MPI processes

Non-default thread affinity set probably by the OpenMP library,
disabling internal thread affinity

NOTE: This file uses the deprecated 'group' cutoff_scheme. This will be
removed in a future release when 'verlet' supports all interaction forms.

Back Off! I just backed up NUME_SIMULARE.trr to ./#NUME_SIMULARE.trr.29#

Back Off! I just backed up NUME_SIMULARE.edr to ./#NUME_SIMULARE.edr.29#
starting mdrun 'HYDROLASE in water'
40000000 steps,   2000.0 ps.
step 0
vol 0.76  imb F  1% step 100, will finish Fri Feb 21 18:37:13 2020
vol 0.66  imb F 13% step 200, will finish Fri Feb 21 12:13:06 2020
vol 0.76  imb F 12% step 300, will finish Fri Feb 21 09:19:48 2020
vol 0.76  imb F  2% step 400, will finish Fri Feb 21 09:05:42 2020
........................

        Versiunile de gromacs disponibile

Aplicațiile gromacs există în două variante, pentru fiecare din versiunile instalate, după cum urmează:

• Pentru versiunile 5.1.5, 2018.8, 2019.4
  • gmx_mpi - este executabilul folosind precizie single pentru calculele în virgulă mobilă
  • gmx_mpi_d - este executabilul folosind precizie double pentru calculele în virgulă mobilă

        Lansare job Gromacs în mod interactiv

    Un job Gromacs poate fi lansat și în mod interactiv, păstrând legătura cu consola serverului pe care are loc rularea efectivă a jobului. Acest mod de lucru este recomandat la început, pentru a observa funcționarea programelor din cadrul unui job și pentru a vedea interacțiunea acestora cu consola. Ca o sugestie pentru modul de lucru, se poate lansa un job interactiv pe un număr mai mic de procesoare și noduri pentru a realiza teste și a verifica funcționarea corectă a programelor și apoi se poate trece la lansarea unui job prin intermediul managerului de joburi în mod independent față de sistemul care a fost folosit pentru lansarea jobului. Un astfel de exemplu este descris în continuare, cu comentarii asupra comenzilor care sunt lansate:

Se lansează un job în mod interactiv (-I) solicitând 2 noduri cu câte 24 de procesoare, un total de 48 de procesoare
username@master ~]$ qsub -I -l select=24
qsub: waiting for job 520.master.hpc.ugal.ro to start
qsub: job 520.master.hpc.ugal.ro ready
[username@node-01 ~]$
S-a obținut o linie de comandă pe primul nod de calcul care a fost alocat, pe serverul node-01. Se trece apoi în directorul gromacs_example unde se află fișierele cu datele proiectului
[username@node-01 ~]$ cd gromacs_example
Se încarcă mediul de lucru pentru gromacs 
[username@node-01 gromacs_example]$ module load gromacs-2019.4-openmpi4-fftw3
Se lansează prin intermediul comenzii mpirun (rulare în mod paralel MPI) a aplicației gmx_mpi_d. Se precizează comenzii mpirun numărul de procese dorite (-n 48). Aplicației gmx_mpi_d i se comunică parametrii -v și -deffnm, numele implicit al fișierelor setate pe simulare1. Rezultatul execuției va fi imediat afișat.
[username@node-01 gromacs_example]$ mpirun -np 24 gmx_mpi_d mdrun -v -deffnm simulare1
                      :-) GROMACS - gmx mdrun, 2019.4 (-:
                            GROMACS is written by:
     Emile Apol      Rossen Apostolov      Paul Bauer     Herman J.C. Berendsen
    Par Bjelkmar      Christian Blau   Viacheslav Bolnykh     Kevin Boyd
 Aldert van Buuren   Rudi van Drunen     Anton Feenstra       Alan Gray
  Gerrit Groenhof     Anca Hamuraru    Vincent Hindriksen  M. Eric Irrgang
  Aleksei Iupinov   Christoph Junghans     Joe Jordan     Dimitrios Karkoulis
    Peter Kasson        Jiri Kraus      Carsten Kutzner      Per Larsson
  Justin A. Lemkul    Viveca Lindahl    Magnus Lundborg     Erik Marklund
    Pascal Merz     Pieter Meulenhoff    Teemu Murtola       Szilard Pall
    Sander Pronk      Roland Schulz      Michael Shirts    Alexey Shvetsov
   Alfons Sijbers     Peter Tieleman      Jon Vincent      Teemu Virolainen
 Christian Wennberg    Maarten Wolf
                           and the project leaders:
        Mark Abraham, Berk Hess, Erik Lindahl, and David van der Spoel

Copyright (c) 1991-2000, University of Groningen, The Netherlands.
Copyright (c) 2001-2018, The GROMACS development team at
Uppsala University, Stockholm University and
the Royal Institute of Technology, Sweden.
check out http://www.gromacs.org for more information.

GROMACS is free software; you can redistribute it and/or modify it
under the terms of the GNU Lesser General Public License
as published by the Free Software Foundation; either version 2.1
of the License, or (at your option) any later version.

GROMACS:      gmx mdrun, version 2019.4
Executable:   /home/app/gromacs/gromacs-2019.4-openmpi4-fftw3/bin/gmx_mpi
Data prefix:  /home/app/gromacs/gromacs-2019.4-openmpi4-fftw3
Working dir:  /home/username/gromacs/343
Command line:
  gmx_mpi mdrun -v -npme 0 -deffnm equil343

Back Off! I just backed up NUME_SIMULARE.log to ./#NUME_SIMULARE.log.60#
Reading file NUME_SIMULARE.tpr, VERSION 4.6.1 (single precision)
Note: file tpx version 83, software tpx version 116
Multiple energy groups is not implemented for GPUs, falling back to the CPU. For better performance, run on the GPU without energy groups and then do gmx mdrun -rerun option on the trajectory with an energy group .tpr file.

Using 24 MPI processes

Non-default thread affinity set probably by the OpenMP library,
disabling internal thread affinity

NOTE: This file uses the deprecated 'group' cutoff_scheme. This will be
removed in a future release when 'verlet' supports all interaction forms.

Back Off! I just backed up NUME_SIMULARE.trr to ./#NUME_SIMULARE.trr.29#

Back Off! I just backed up NUME_SIMULARE.edr to ./#NUME_SIMULARE.edr.29#
starting mdrun 'HYDROLASE in water'
40000000 steps,   2000.0 ps.
step 0
vol 0.72  imb F  2% pme/F 0.77 step 100, will finish Mon Feb 24 18:57:05 2020
vol 0.73  imb F  2% pme/F 0.83 step 200, will finish Mon Feb 24 09:21:43 2020
vol 0.72  imb F  1% pme/F 0.85 step 300, will finish Mon Feb 24 06:58:43 2020
vol 0.72  imb F  2% pme/F 0.86 step 400, will finish Mon Feb 24 05:37:34 2020
vol 0.72  imb F  2% pme/F 0.86 step 500, will finish Mon Feb 24 04:18:45 2020
vol 0.72  imb F  1% pme/F 0.84 step 600, will finish Mon Feb 24 03:53:10 2020
vol 0.72  imb F  0% pme/F 0.83 step 700, will finish Mon Feb 24 03:19:56 2020
^C
[username@master ~]$ exit
logout

qsub: job 520.master completed
 

 

Ultima modificare 19 februarie 2020