Voltar para Clusters

Coaraci

O Cluster Coaraci  foi adquirido através de recursos do projeto FAPESP, na modalidade Equipamentos Multiusuários (EMU), composto por:

Hardware

Headnode

1 (um) servidor Dell EMC PowerEdge R6525 configurado com:

· 2 (dois) processadores AMD EPYC 7282;
· 256GB de memória DDR4;
· 2 (dois) SSDs de 480GB em RAID1;
· 2 (duas) portas Gigabit Ethernet;
· 2 (duas) portas Mellanox InfiniBand ConnectX.

Login Node

1 (um) servidor Dell EMC PowerEdge R6525 configurado com:

· 2 (dois) processadores AMD EPYC 7282;
· 64GB de memória DDR4;
· 2 (dois) SSDs de 480GB em RAID1;
· 2 (duas) portas Gigabit Ethernet;
· 2 (duas) portas Mellanox InfiniBand ConnectX.

Nós Computacionais

Tipo A) 256 (duzentos e cinquenta e seis) servidores Dell EMC PowerEdge C6525 configurados com:

· 2 (dois) processadores AMD EPYC 7402;
· 128GB de memória DDR4;
· 1 (um) SSD M.2 de 480GB;
· 1 (uma) porta Gigabit Ethernet;
· 1 (uma) porta Mellanox InfiniBand ConnectX.

Tipo B) 14 (quatorze) servidores Dell EMC PowerEdge R7525 configurados com:

· 2 (dois) processadores AMD EPYC 7402;
· 128GB de memória DDR4;
· 1 (um) SSD SATA de 480GB;
· 3 (três) GPUs NVIDIA A30;
· 2 (duas) portas Gigabit Ethernet;
· 1 (uma) porta Mellanox InfiniBand ConnectX.

Tipo C) 1 (um) servidor Dell EMC PowerEdge R6525 configurado com:

· 2 (dois) processadores AMD EPYC 7402;
· 2TB de memória DDR4;
· 4 (um) HDDs SATA de 12TB;
· 2 (duas) portas Gigabit Ethernet;
· 1 (uma) porta Mellanox InfiniBand ConnectX.

Tipo D) 1 (um) servidor Dell EMC PowerEdge R7525 configurado com:

· 1 (um) processador AMD EPYC 7282;
· 64GB de memória DDR4;
· 2 (dois) SSDs SATA de 480GB em RAID1;
· 1 (uma) GPU NVIDIA Tesla T4;
· 4 (quatro) portas Gigabit Ethernet;

Storage

2 (dois) servidores Dell EMC PowerEdge R7525 configurados com:

· 2 (dois) processadores AMD EPYC 7402;
· 256GB de memória DDR4;
· 2 (dois) SSDs de 480GB em RAID1;
· 4 (quatro) portas Gigabit Ethernet;
· 2 (duas) portas Mellanox InfiniBand ConnectX.

1 (um) Dell EMC PowerVault ME5084 configurado com:

· 80 (oitenta) HDDs NLSAS de 16TB;
· 4 (quatro) SSDs SAS de 3.84TB.

Acesso

Projeto   Usuários externos ao CEPID CCES: Para ter acesso ao cluster é necessário um projeto aprovado pela comissão do CEPID. O formulário de inscrição está disponível aqui.   Usuários que fazem parte do CEPID CCES: para solicitar acesso ao cluster, clique aqui Login O acesso ao cluster será realizado através de um servidor de …

Arquivos e Armazenamento

O diretório padrão do usuário é construído da seguinte forma: /home/users/<usuário>/ Ex: /home/users/vhpc/ Esta área possui 931 TB de espaço disponível que são compartilhados entre todos os usuários. Os usuários não devem ultrapassar o limite de 5TB Há uma outra área de trabalho destinada ao armazenamento temporário de dados, que está disponível em ‘/scratch/local/’. O …

Exemplo de submissão de jobs

Exemplo de submissão pra fila par48-i ou par48-x #!/bin/bash #SBATCH -n 48 #SBATCH –job-name nome_do_job ### Nesta fila é permitido apenas 1 node #SBATCH –nodes 1 ### alterar a fila de acordo com seu perfil (par48-x ou par48-i) #SBATCH –partition par48-? #SBATCH -o out.txt #SBATCH -e err.txt cd $SLURM_SUBMIT_DIR #### Prepare o ambiente com os …

Nós de Processamento

Os nós desse cluster estão nomeados no formato “rXnXX”, onde rX corresponde ao rack que o nó se encontra e o nXX seu número. Ex: “r1n01” O cluster Coaraci possui 4 (quatro) tipos de nós listados abaixo (ver Nós Computacionais): Hostname Tipo de máquina r1n[01-56],r2n[01-56],r3n[01-32],r4n[01-56],r5n[01-56]  A r1gn[01-04],r2gn[01-03],r4gn[01-03],r5gn[01-04]  B r2fat C vdi D Redes Os nós …

Politicas de uso

Obrigado por usar o Supercomputador Coaraci! Desejamos sucesso em sua pesquisa. É imperativo o agradecimento à FAPESP, incluindo os números dos processos, em todas as publicações cujos resultados tenham sido alcançados com o auxílio da Coaraci, ainda que apenas parcialmente. Favor incluir a seguinte frase nos Agradecimentos: “Agradecemos o uso do cluster Coaraci (Fapesp Proc. …

Softwares

O sistema tem um grande conjunto de softwares instalados de acordo com as necessidades dos usuários. Os softwares disponíveis em produção deste guia estão listados abaixo. Todos os softwares, compiladores e bibliotecas pré-instalados no cluster estão disponíveis em ‘/opt/ohpc/pub/’ e ‘/opt/spack/share/spack/modules/linux-oracle8-x86_64’. Compiladores A família de compiladores CUDA, GNU e Intel e suas respectivas ferramentas, estão …

Submetendo e Gerenciando Jobs

O cluster Coaraci conta com o sistema de filas instalado para submeter e administrar jobs via scripts. Para que os recursos computacionais sejam divididos de maneira razoável entre todos os usuários, é necessária uma forma de organizar e priorizar as requisições de uso, comumente chamadas de “jobs”. Para isso, o cluster conta com o sistema …

Variáveis de Ambiente

Em ambientes de computação de alto desempenho é comum que haja diversos compiladores e bibliotecas diferentes para a mesma rotina. Por exemplo, para compilação de códigos Fortran e MPI, temos disponíveis “gfortran” e “mpifort”. Além dessa variação de softwares que desempenham a mesma função, também é comum “colecionar” diferentes versões de compiladores, bibliotecas e softwares. …