{"id":279,"date":"2016-02-12T12:10:12","date_gmt":"2016-02-12T14:10:12","guid":{"rendered":"https:\/\/sites.ifi.unicamp.br\/hpc\/?page_id=279"},"modified":"2016-05-16T12:13:56","modified_gmt":"2016-05-16T15:13:56","slug":"faq","status":"publish","type":"page","link":"https:\/\/sites.ifi.unicamp.br\/hpc\/faq\/","title":{"rendered":"FAQ"},"content":{"rendered":"

1 – Quais s\u00e3o os servi\u00e7os que a se\u00e7\u00e3o de HPC do CCJDR prov\u00ea?
\n<\/strong><\/p>\n

– Suporte na utiliza\u00e7\u00e3o de clusters e equipamentos de c\u00e1lculo cient\u00edfico;
\n– Suporte na compila\u00e7\u00e3o e execu\u00e7\u00e3o de softwares nos clusters e equipamentos de c\u00e1lculo cient\u00edfico;
\n– Consultoria e levantamento t\u00e9cnico na compra de novos equipamentos e softwares para HPC;
\n– Descritivo computacional para projetos de fomento;
\n– Analises de desempenho de c\u00f3digos, pacotes de software e bibliotecas;
\n– Analise de desempenho de software entre arquitetura de computadores;
\n– Paraleliza\u00e7\u00e3o de c\u00f3digos;
\n– Manuten\u00e7\u00e3o e instala\u00e7\u00e3o de clusters (juntamente com a equipe de suporte do CCJDR).<\/p>\n

 <\/p>\n

2 – Posso executar processos diretamente no headnode?<\/strong><\/p>\n

N\u00e3o deve-se utilizar o headnode para rodar processos. Sempre utilize o sistema de filas para submet\u00ea-los atrav\u00e9s do comando qsub. No headnode \u00e9 apenas permitido executar:
\n– compila\u00e7\u00e3o de programas;
\n– shell scripts que n\u00e3o fa\u00e7am uso intensivo dos cores de processamento;
\n– aplicativos em geral, como: top, scp, sftp, ssh, etc.<\/p>\n

 <\/p>\n

3 – Como utilizo os compiladores da Intel (ifort, icc, icpc)?
\n<\/strong>
\nPara fazer uso dos compiladores da Intel deve-se inserir a linha abaixo no arquivo de submiss\u00e3o do job (atente-se que a linha come\u00e7a com um ponto (.) seguida de um espa\u00e7o).<\/p>\n

. \/home\/sw\/intel\/bin\/compilervars.sh intel64<\/p>\n

 <\/p>\n

4 – Como crio um arquivo de submiss\u00e3o?<\/strong><\/p>\n

Crie um arquivo atrav\u00e9s de um editor de texto, como por exemplo o vim:
\nvim nomedoarquivo<\/em><\/p>\n

Nos links abaixo, h\u00e1 exemplos de arquivos de submiss\u00e3o de cada um dos clusters. Copie e cole no arquivo criado, mudando apenas os par\u00e2metros que dizem respeito ao seu job e usu\u00e1rio.<\/p>\n

Planck: https:\/\/sites.ifi.unicamp.br\/cluster-planck\/filas-de-processamento\/exemplos-de-arquivos\/<\/p>\n

Feynman: https:\/\/sites.ifi.unicamp.br\/hpc\/clusters\/feynman\/filasutilizacao\/<\/p>\n

 <\/p>\n

5 – Como eu verifico um c\u00f3digo de erro retornado pelo sistema de filas Torque\/Maui?<\/strong><\/p>\n

https:\/\/www.ersa.edu.au\/pbs_exitcodes<\/p>\n

 <\/p>\n

6 – Como acessar o cluster ou m\u00e1quina de c\u00e1lculo?
\n<\/strong>
\nPara acesso quando conectado na rede do IFGW, em computadores conectados \u00e0 rede, utilizando Linux ou Mac OS, abra um terminal e digite:<\/p>\n

ssh usuario@nomedocluster.ifi.unicamp.br<\/em><\/p>\n

ou<\/p>\n

ssh usuario@nomedocomputador.ifi.unicamp.br<\/em><\/p>\n

Para acesso externo (fora do IFGW):
\nAbra um terminal e conecte-se ao gateway do IFGW, digitando:
\nssh usuario@gate.ifi.unicamp.br<\/p>\n

Estando conectado ao Gateway, conecte-se ao cluster desejado, digitando:
\nssh usuario@nomedocluster<\/em><\/p>\n

ou<\/p>\n

ssh usuario@nomedamaquina
\n<\/em><\/p>\n

Caso esteja utilizando Windows, a conex\u00e3o ser\u00e1 atrav\u00e9s do aplicativo Putty.
\nPara acesso interno (dentro da Unicamp) preencha os campos:
\nHostname: nomedocluster.ifi.unicamp.br
\nou
\nHostname: nomedamaquina.ifi.unicamp.br
\nPort: 22
\nConnection type: SSH
\nEm seguida clique no bot\u00e3o OPEN.<\/p>\n

Para acesso externo (fora da Unicamp):
\nHostname: usuario@gate.ifi.unicamp.br
\nPort: 22
\nConnection type: SSH
\nEm seguida clique no bot\u00e3o OPEN. Digite a senha de acesso \u00e0 Gate. A partir da\u00ed, conecte-se ao cluster desejado atrav\u00e9s do comando:
\nssh usuario@nomedocluster
\nou
\nssh usuario@nomedamaquina
\n<\/em><\/p>\n

 <\/p>\n

7 \u2013 Como posso instalar um software em minha \u00e1rea de trabalho no cluster?<\/strong><\/p>\n

Voc\u00ea pode instalar livremente softwares em sua \u00e1rea de trabalho. Caso necessite de alguma biblioteca ou depend\u00eancia espec\u00edfica, abra um chamado para a equipe de HPC atrav\u00e9s do link: http:\/\/os.ifi.unicamp.br\/
\n\u00c9 importante ressaltar que o usu\u00e1rio \u00e9 respons\u00e1vel legalmente pelas licen\u00e7as dos softwares que utiliza.<\/p>\n

 <\/p>\n

8 \u2013 Posso submeter um job interativamente?<\/strong><\/p>\n

Sim, basta digitar o comando:
\nqsub -I -q nomedafila -lnodes=numerodenodes:ppn=numerodecpus<\/em><\/p>\n

Neste caso, o qsub n\u00e3o ser\u00e1 fechado como usualmente acontece, mas, indicar\u00e1 que est\u00e1 esperando por um processador para atribuir ao seu job. Quando o processador ou um n\u00f3 computacional estiver dispon\u00edvel, o terminal ser\u00e1 liberado. A partir da\u00ed voc\u00ea poder\u00e1 executar seu programa e outros comandos interativamente.
\nCaso o terminal n\u00e3o seja liberado, significa que a fila n\u00e3o possui nodes livres e voc\u00ea dever\u00e1 esperar a libera\u00e7\u00e3o. Caso decida n\u00e3o esperar para que um processador esteja dispon\u00edvel, voc\u00ea pode abortar o job pressionando as teclas “control+C” (apertando a tecla Control juntamente com a tecla C).<\/p>\n

 <\/p>\n

9 \u2013 Como transferir arquivos entre os clusters e m\u00e1quinas externas?
\n<\/strong>
\nPara acessar externamente (fora da Unicamp) o cluster, fa\u00e7a da seguinte forma:<\/p>\n

Utilizando Terminal Linux:<\/strong><\/p>\n

– Realize um t\u00fanel ssh atrav\u00e9s da Gate, abrindo um terminal e digitando:
\nssh nomedousuario@gate.ifi.unicamp.br -NL 50022:nomedocluster.ifi.unicamp.br:22<\/em>
\nDigite sua senha (senha da gate).<\/p>\n

A partir da\u00ed o terminal parecer\u00e1 ficar travado com o cursor piscando. Isto \u00e9 normal e significa que foi aberto o t\u00fanel. Deixe este terminal aberto (n\u00e3o fa\u00e7a logout) e abra um novo terminal.<\/p>\n

Com o novo terminal aberto voc\u00ea deve digitar o seguinte comando para copiar arquivos do cluster para seu computador: (farei um exemplo pr\u00e1tico copiando o arquivo “exemplo.dat” que est\u00e1 na sua \u00e1rea do cluster para o “\/root” do seu computador)<\/p>\n

scp -P 50022 nomedousuario@localhost:\/home\/nomedousuario\/exemplo.dat \/root<\/em>
\nDigite sua senha do cluster.(se a senha estiver correta o arquivo ser\u00e1 copiado).<\/p>\n

Para copiar arquivos de sua m\u00e1quina para o cluster, apenas inverta o comando, por exemplo:<\/p>\n

scp -P 50022 \/root\/exemplo.dat nomedousuario@localhost:\/home\/nomedousuario<\/em>
\nDigite sua senha (se a senha estiver correta o arquivo ser\u00e1 copiado).<\/p>\n

Para encerrarmos o acesso, volte no primeiro terminal (t\u00fanel) e encerre-o com um ctrl+c.<\/p>\n

 <\/p>\n

Utilizando Windows (Putty + Filezilla)<\/strong><\/p>\n

O Windows n\u00e3o possui acesso nativo atrav\u00e9s do protocolo SSH. Portanto deve-se baixar e instalar um aplicativo cliente SSH (Putty), bem como um cliente SCP ou SFTP, como por exemplo o WinSCP ou Filezilla. Abaixo mostramos os passos para a conex\u00e3o com o cluster utilizando o Putty + Filezilla.<\/p>\n

No Putty preencha os campos:
\nhostname: gate.ifi.unicamp.br
\nport: 22
\nconnection type: SSH<\/p>\n

Do lado esquerdo h\u00e1 uma \u00e1rvore de op\u00f5es chamado Category:
\n– Expanda a op\u00e7\u00e3o: Connection -> SSH -> TUNELL
\n– No campo Source Port digite: 50022
\n– Em destination digite: nomedocluster<\/em>.ifi.unicamp.br:22
\n– Clique no bot\u00e3o ADD
\n– Marque a op\u00e7\u00e3o: Local<\/p>\n

– Realize a conex\u00e3o clicando no bot\u00e3o: OPEN
\n– Digite sua senha da Gate
\nSe tudo correu bem voc\u00ea estar\u00e1 conectado \u00e0 Gate realizando um T\u00fanel.<\/p>\n

Depois de baixado e instalado, abra o Filezilla.<\/p>\n

Preencha os campos:
\nhost: sftp:\/\/localhost
\nusername: seuusuario<\/em>
\npassword: suasenhadocluster<\/em>
\nport: 50022<\/p>\n

Clique no bot\u00e3o de conex\u00e3o. A partir da\u00ed voc\u00ea estar\u00e1 conectado, bastando realizar as transfer\u00eancias de arquivo entre o cluster e sua m\u00e1quina, ou vice versa.<\/p>\n

 <\/p>\n

10 – N\u00e3o consigo compilar. Por qu\u00ea?<\/strong><\/p>\n

Verifique o path e exports do sistema:
\necho $PATH<\/em>
\n echo $LD_LIBRARY_PATH<\/em><\/p>\n

Muitos programas necessitam de bibliotecas com vers\u00f5es espec\u00edficas para serem executados. Nos clusters existem v\u00e1rias bibliotecas pr\u00e9-instaladas que podem ser carregadas facilmente utilizando o comando module<\/em>. O usu\u00e1rio pode utilizar este comando tanto no terminal como no script do seu job, sendo os comando mais utilizados:<\/span><\/p>\n

module avail<\/em> (utilizado para listar todos os m\u00f3dulos pr\u00e9-instalados no cluster).<\/span><\/p>\n

module load tipodomodulo\/nomedomodulo<\/em> (carregar um m\u00f3dulo)<\/span><\/p>\n

module unload tipodomodulo\/nomedomodulo<\/em> (encerrar um m\u00f3dulo)<\/span><\/p>\n

module list<\/em> (lista todos os m\u00f3dulos que est\u00e3o carregados no momento)<\/span><\/p>\n

Exemplo de comando para carregamento da vers\u00e3o 4.8.2 do gcc: module load compiler\/gcc-4.8.2<\/em><\/span><\/p>\n

 <\/p>\n

11 – Como posso fazer um backup dos meus dados?
\n<\/strong>
\n\u00a0N\u00e3o \u00e9 feita c\u00f3pia de seguran\u00e7a dos diret\u00f3rios<\/strong>, o usu\u00e1rio \u00e9 respons\u00e1vel pela c\u00f3pia de seus dados e eventual recupera\u00e7\u00e3o em caso de perda. A transfer\u00eancia de arquivos dos clusters devem ser realizados atrav\u00e9s de ssh (vide pergunta 8)<\/p>\n

 <\/p>\n

12 – Quais dados s\u00e3o necess\u00e1rio para abrir um chamado para equipe de HCPC?
\n<\/strong>
\nAo abrir um chamado em https:\/\/os.ifi.unicamp.br \u00e9 necess\u00e1rio infomar:<\/p>\n

– Cluster que est\u00e1 gerando o errro;
\n– Mensagens de erros;
\n– Diret\u00f3rio onde est\u00e3o os arquivos que geram os erros;
\n– Comandos ou scripts que geram os erros;
\n– Informar se os testes podem ser feitos no diret\u00f3rio original ou devem ser copiados.<\/p>\n

 <\/p>\n

13 – Para onde devo enviar mensagens de d\u00favidas e solicita\u00e7\u00f5es de ajuda com rela\u00e7\u00e3o aos clusters?
\n<\/strong>
\nDeve ser aberto um chamado para a equipe de HPC, atrav\u00e9s do link: https:\/\/os.ifi.unicamp.br<\/p>\n

 <\/p>\n

14 – Qual \u00e9 o meu limite de utiliza\u00e7\u00e3o de espa\u00e7o em disco?
\n<\/strong>
\nN\u00e3o existe limita\u00e7\u00e3o, por\u00e9m o usu\u00e1rio deve utilizar de bom senso, colaborando para a coletividade do uso, visto que o espa\u00e7o de armazenamento \u00e9 finito.<\/p>\n

 <\/p>\n

15 – Como \u00e9 o procedimento de backup e “limpeza” de arquivos antigos dos discos de HPC?
\n<\/strong>
\nN\u00e3o \u00e9 imposto um procedimento de “limpeza” de arquivos antigos. Quando o espa\u00e7o ocupado alcan\u00e7a cerca de 95%, \u00e9 enviado um comunicado a todos os usu\u00e1rios solicitando a limpeza. Deve haver bom senso por parte do usu\u00e1rio no que diz respeito a retirada dos seus arquivos do cluster, levando em conta que o espa\u00e7o de armazenamento \u00e9 finito.<\/p>\n

 <\/p>\n

16 – Como posso saber quais jobs est\u00e3o sendo executados em cada cluster?<\/strong><\/p>\n

Execute o comando “qstat -a<\/em>” ou “qstat -an”<\/p>\n

 <\/p>\n

17 – Por que alguns aplicativos gr\u00e1ficos n\u00e3o executam e apresentam a mensagem de erro?<\/strong><\/p>\n

Quando for executar algum job onde seja necess\u00e1rio a utiliza\u00e7\u00e3o de algum aplicativo gr\u00e1fico, utilize o comando abaixo para realizar o logon: ssh -Y nomedousuario@nomedocluster<\/p>\n

 <\/p>\n

18 – Como posso saber se minha solicita\u00e7\u00e3o de abertura de conta no cluster foi atendida?
\n<\/strong>
\nVoc\u00ea receber\u00e1 um e-mail informando a abertura da sua nova conta e instru\u00e7\u00f5es de uso do cluster. Geralmente isto ocorre at\u00e9 dois dias ap\u00f3s a aprova\u00e7\u00e3o da solicita\u00e7\u00e3o pelo coordenador do cluster.<\/p>\n

 <\/p>\n

19 – Como obter informa\u00e7\u00f5es sobre os comandos do sistema operacional?
\n<\/strong>
\nSe voc\u00ea conhece alguns comandos mas n\u00e3o sabe como utiliz\u00e1-los, basta executar o help do sistema, que \u00e9 o comando “man<\/em>“. Por exemplo: se voc\u00ea tem d\u00favida no comando “ls<\/em>” (lista o conte\u00fado de um diret\u00f3rio), execute “man ls<\/em>“.<\/p>\n

 <\/p>\n

20 – O que fazer caso eu esque\u00e7a minha senha?<\/strong><\/p>\n

Em caso de esquecimento da senha deve-se abrir um chamado atrav\u00e9s do link:
\nhttps:\/\/os.ifi.unicamp.br<\/p>\n

 <\/p>\n

21 – Como fazer para utilizar GPU?
\n<\/strong>
\nPara usu\u00e1rios do cluster Feynman existe uma fila (CUDA) para submiss\u00e3o de jobs que utilizem GPU. Para usu\u00e1rios do cluster Planck, h\u00e1 um computador (Mach) dedicado com GPU, por\u00e9m o mesmo somente pode ser utilizado interativamente para desenvolvimento, n\u00e3o sendo permitido a utiliza\u00e7\u00e3o em processos de produ\u00e7\u00e3o. Para obter acesso digite: ssh nomedousuario@mach.<\/em><\/p>\n

Lembrando que para o correto funcionamento, o software utilizado deve suportar o uso de GPU.<\/p>\n

 <\/p>\n

22 – O que \u00e9 \u00e1rea de scratch<\/em>?
\n<\/strong>
\nScratch \u00e9 um diret\u00f3rio tempor\u00e1rio compartilhado, sem restri\u00e7\u00e3o de permiss\u00f5es, utilizado quando um job necessita escrever uma grande quantidade de dados em disco durante sua execu\u00e7\u00e3o. Ele est\u00e1 localizado em \/data2 em todos os nodes dos clusters. Caso necessite utilizar esta \u00e1rea, \u00e9 primordial que ap\u00f3s o t\u00e9rmino do job o usu\u00e1rio delete ou mova estes dados. Uma dica para cria\u00e7\u00e3o de diret\u00f3rio nesta \u00e1rea seria utilizar a seguinte linha em seu script: mkdir \/data2\/$PBS_JOBID.<\/em><\/p>\n

\u00a0<\/strong><\/p>\n","protected":false},"excerpt":{"rendered":"

1 – Quais s\u00e3o os servi\u00e7os que a se\u00e7\u00e3o de HPC do CCJDR prov\u00ea? – Suporte na utiliza\u00e7\u00e3o de clusters e equipamentos de c\u00e1lculo cient\u00edfico; – Suporte na compila\u00e7\u00e3o e execu\u00e7\u00e3o de softwares nos clusters e equipamentos de c\u00e1lculo cient\u00edfico; – Consultoria e levantamento t\u00e9cnico na compra de novos equipamentos e softwares para HPC; – … <\/p>\n

Continue lendo<\/a><\/p>\n","protected":false},"author":144,"featured_media":0,"parent":0,"menu_order":4,"comment_status":"closed","ping_status":"closed","template":"","meta":{"ngg_post_thumbnail":0,"footnotes":""},"class_list":["post-279","page","type-page","status-publish","hentry","nodate","item-wrap"],"_links":{"self":[{"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/pages\/279","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/users\/144"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/comments?post=279"}],"version-history":[{"count":15,"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/pages\/279\/revisions"}],"predecessor-version":[{"id":304,"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/pages\/279\/revisions\/304"}],"wp:attachment":[{"href":"https:\/\/sites.ifi.unicamp.br\/hpc\/wp-json\/wp\/v2\/media?parent=279"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}