Voltar para Clusters

Coaraci

O Cluster Coaraci  foi adquirido através de recursos do projeto FAPESP, na modalidade Equipamentos Multiusuários (EMU), composto por:

Hardware

Headnode

1 (um) servidor Dell EMC PowerEdge R6525 configurado com:

· 2 (dois) processadores AMD EPYC 7282;
· 256GB de memória DDR4;
· 2 (dois) SSDs de 480GB em RAID1;
· 2 (duas) portas Gigabit Ethernet;
· 2 (duas) portas Mellanox InfiniBand ConnectX.

Login Node

1 (um) servidor Dell EMC PowerEdge R6525 configurado com:

· 2 (dois) processadores AMD EPYC 7282;
· 64GB de memória DDR4;
· 2 (dois) SSDs de 480GB em RAID1;
· 2 (duas) portas Gigabit Ethernet;
· 2 (duas) portas Mellanox InfiniBand ConnectX.

Nós Computacionais

Tipo A) 256 (duzentos e cinquenta e seis) servidores Dell EMC PowerEdge C6525 configurados com:

· 2 (dois) processadores AMD EPYC 7402;
· 128GB de memória DDR4;
· 1 (um) SSD M.2 de 480GB;
· 1 (uma) porta Gigabit Ethernet;
· 1 (uma) porta Mellanox InfiniBand ConnectX.

Tipo B) 14 (quatorze) servidores Dell EMC PowerEdge R7525 configurados com:

· 2 (dois) processadores AMD EPYC 7402;
· 128GB de memória DDR4;
· 1 (um) SSD SATA de 480GB;
· 3 (três) GPUs NVIDIA A30;
· 2 (duas) portas Gigabit Ethernet;
· 1 (uma) porta Mellanox InfiniBand ConnectX.

Tipo C) 1 (um) servidor Dell EMC PowerEdge R6525 configurado com:

· 2 (dois) processadores AMD EPYC 7402;
· 2TB de memória DDR4;
· 4 (um) HDDs SATA de 12TB;
· 2 (duas) portas Gigabit Ethernet;
· 1 (uma) porta Mellanox InfiniBand ConnectX.

Tipo D) 1 (um) servidor Dell EMC PowerEdge R7525 configurado com:

· 1 (um) processador AMD EPYC 7282;
· 64GB de memória DDR4;
· 2 (dois) SSDs SATA de 480GB em RAID1;
· 1 (uma) GPU NVIDIA Tesla T4;
· 4 (quatro) portas Gigabit Ethernet;

Storage

2 (dois) servidores Dell EMC PowerEdge R7525 configurados com:

· 2 (dois) processadores AMD EPYC 7402;
· 256GB de memória DDR4;
· 2 (dois) SSDs de 480GB em RAID1;
· 4 (quatro) portas Gigabit Ethernet;
· 2 (duas) portas Mellanox InfiniBand ConnectX.

1 (um) Dell EMC PowerVault ME5084 configurado com:

· 80 (oitenta) HDDs NLSAS de 16TB;
· 4 (quatro) SSDs SAS de 3.84TB.

Acesso

Projeto   Usuários externos ao CEPID CCES: Para ter acesso ao cluster é necessário um projeto aprovado pela comissão do CEPID. O formulário de inscrição está disponível aqui.   Usuários que fazem parte do CEPID CCES: para solicitar acesso ao cluster, clique aqui Login O acesso ao cluster será realizado através de um servidor de …

Arquivos e Armazenamento

O diretório padrão do usuário é construído da seguinte forma: /home/users/<usuário>/ Ex: /home/users/vhpc/ Esta área possui 931 TB de espaço disponível que são compartilhados entre todos os usuários. Há uma outra área de trabalho destinada ao armazenamento temporário de dados, que está disponível em ‘/scratch/local/’. O /scratch/local/’ é uma área de trabalho com 480GB de …

Exemplo de submissão de jobs

Exemplo de submissão pra fila par48 #!/bin/bash #SBATCH -n 48 #SBATCH –job-name teste #SBATCH –nodes 1 #SBATCH –partition par48 #SBATCH -o out.txt #SBATCH -e err.txt cd $SLURM_SUBMIT_DIR #### Prepare o ambiente com os devidos módulos ######### # hwloc faz parte das variáveis de ambiente gerais do cluster module load hwloc module load gnu12 module load …

Nós de Processamento

Os nós desse cluster estão nomeados no formato “rXnXX”, onde rX corresponde ao rack que o nó se encontra e o nXX seu número. Ex: “r1n01” O cluster Coaraci possui 4 (quatro) tipos de nós listados abaixo (ver Nós Computacionais): Hostname Tipo de máquina r1n[01-56],r2n[01-56],r3n[01-32],r4n[01-56],r5n[01-56]  A r1gn[01-04],r2gn[01-03],r4gn[01-03],r5gn[01-04]  B r2fat C vdi D Redes Os nós …

Softwares

O sistema tem um grande conjunto de softwares instalados de acordo com as necessidades dos usuários. Os softwares disponíveis em produção deste guia estão listados abaixo. Todos os softwares, compiladores e bibliotecas pré-instalados no cluster estão disponíveis em ‘/opt/ohpc/pub/’ e ‘/opt/spack/share/spack/modules/linux-oracle8-x86_64’. Compiladores A família de compiladores CUDA, GNU e Intel e suas respectivas ferramentas, estão …

Submetendo e Gerenciando Jobs

O cluster Coaraci conta com o sistema de filas instalado para submeter e administrar jobs via scripts. Para que os recursos computacionais sejam divididos de maneira razoável entre todos os usuários, é necessária uma forma de organizar e priorizar as requisições de uso, comumente chamadas de “jobs”. Para isso, o cluster conta com o sistema …

Variáveis de Ambiente

Em ambientes de computação de alto desempenho é comum que haja diversos compiladores e bibliotecas diferentes para a mesma rotina. Por exemplo, para compilação de códigos Fortran e MPI, temos disponíveis “gfortran” e “mpifort”. Além dessa variação de softwares que desempenham a mesma função, também é comum “colecionar” diferentes versões de compiladores, bibliotecas e softwares. …