Conecte 1.100 Power Mac G5s juntos e ele será notícia. Conecte 1.100 Power Mac G5s para criar a terceira instalação de computação acadêmica mais poderosa do mundo e fará manchetes em todo o mundo e receberá a adulação do diretor do projeto, Dr. Srindhi Varadarajan, dos entusiastas do Macintosh.
Para fechar a primeira noite da O'Reilly Mac OS X Conference, Varadarajan fez uma apresentação sobre como sua equipe escolheu o G5 para seu sistema e o que eles tiveram que fazer para colocá-lo em funcionamento. Para começar, Varadarajan disse ao público por que eles queriam construir uma Terascale Computing Facility na Virginia Tech.
“Para usar um dos computadores do Departamento de Energia, você precisa assinar uma doação para conseguir tempo”, disse Varadarajan. “Você o usa, geralmente em cerca de um mês, e depois precisa começar de novo, basicamente retardando o processo de pesquisa.”
Como a Virginia Tech tem um programa de engenharia e ciências computacionais de classe mundial, Varadarajan disse que queria construir instalações computacionais de classe mundial para complementar esse programa. O problema é que, embora ele quisesse um sistema de classe mundial, a academia geralmente não tem um orçamento compatível. Então, Varadarajan imaginou um sistema baseado em processadores prontos para uso unidos a um backbone extremamente rápido.
Para construir o sistema, Varadarajan disse que ele e sua equipe começaram trabalhando com a Dell para fornecer processadores Intel Itanium 2 de 64 bits. A chave para Varadarajan era preço versus desempenho. Depois de ir e voltar com a Dell, Varadarajan disse que as negociações fracassaram. Ele então avaliou processadores de 64 bits da AMD, IBM e HP. Mas a IBM disse que o PowerPC 970 estaria a meses de distância, e a AMD e a HP deram a Varadarajan cotações na faixa de US$ 9 milhões a US$ 11 milhões, bem acima de seu orçamento. Antes de a Apple anunciar o G5, Varadarajan estava em uma situação difícil.
Em 23 de junho, a Apple anunciou o G5. Varadarajan disse que entrou em contato com a Apple em 26 de junho sobre a possibilidade de usar o G5 para o Terascale Computing Facility. Enquanto conversava com a Apple, representantes da empresa perguntaram a Varadarajan há quanto tempo ele era usuário de Mac.
“Tive que dizer a eles que nunca havia usado o Mac”, disse Varadarajan. “Provavelmente sou uma das poucas pessoas que chegaram à plataforma lendo o manual do kernel.”
No entanto, o G5 tinha exatamente o que Varadarajan estava procurando. Além de ser um processador de 64 bits, o processador PowerPC 970 possui duas unidades de ponto flutuante, permitindo que o processador conclua dois cálculos de ponto flutuante de precisão dupla por ciclo de clock. O desempenho do ponto flutuante é o fator mais crítico no desempenho da computação científica, e o PowerMac G5 — equipado com dois PowerPC 970 rodando a 2 GHz — pode completar 8 bilhões de operações de ponto flutuante por segundo.
Em poucas semanas, Varadarajan encomendou 1.100 PowerMac G5s de processador duplo na Apple Store e os funcionários da Apple estavam ajudando sua equipe, fornecendo uma grande quantidade de conselhos técnicos. Os computadores chegaram à Virginia Tech entre 5 e 11 de setembro. O Terascale Computing Facility fez seus primeiros cálculos em 23 de setembro e, em 1º de outubro, Varadarajan disse que sua equipe estava fazendo otimizações de desempenho no sistema. Ele espera que a instalação esteja disponível para uso total em janeiro de 2004.
Por que tão rápido? Varadarajan disse que projetar e construir rapidamente ajuda os projetistas de sistemas dentro do orçamento. Se um designer espera um ano e meio para construir um sistema depois de projetado, toda a tecnologia dentro tem um ano e meio e a universidade perdeu um ano e meio de produtividade potencial. A implantação rápida foi um dos principais objetivos de Varadarajan na construção do Terascale Computing Facility.
Embora o G5 tivesse muito do que Varadarajan queria em um sistema, ele não tinha tudo. Para que tantos G5s trabalhassem juntos de forma eficiente, Varadarajan precisava de uma rede de largura de banda superalta para conectar todos os sistemas. O Gigabit Ethernet que vem de fábrica no G5 era muito lento para as necessidades de Varadarajan. O Gigabit Ethernet nos G5s no Terascale Computing Facility funciona como uma rede de comunicação secundária entre os G5s no sistema.
As comunicações primárias entre os 1.100 G5s no sistema vêm de placas Inifiniband modificadas no primeiro slot PCI-X de cada G5. Esses cartões, especialmente projetados pela Mellanox, apresentam latência extremamente baixa de menos de 10 microssegundos e uma largura de banda individual que se aproxima da largura de banda teórica do barramento PCI-X de 1.250 Mbits por segundo. Toda a rede é configurada em uma topologia de árvore gorda com uma capacidade total de comutação de 46,02 Terabits por segundo, permitindo que todos os processadores do sistema se comuniquem e distribuam cargas computacionais eficientemente.
A instalação usa G5s completos com seus discos rígidos e placas gráficas Radeon. As caixas de alumínio são alojadas em racks especialmente projetados. Mais de 100 estudantes voluntários instalaram as placas Mellanox Infiniband PCI, conectaram os cabos Infiniband de cobre e conectaram os cabos Gigabit Ethernet.
Onde você coloca 1.100 G5s? A resposta é não em qualquer lugar que você deseja. A instalação está localizada em 3.000 pés quadrados do data center de 9.000 pés quadrados da Virginia Tech. Varadarajan disse que eles também tiveram que construir um novo sistema de resfriamento para resfriar todos os G5s como o AC existente sistema teria que mover o ar no piso a velocidades superiores a 60 milhas por hora para atender à demanda de resfriamento. O novo sistema de resfriamento funciona como um refrigerador distribuído que usa líquido resfriado alimentado a unidades menores de ar condicionado acionadas por ar alojadas em toda a instalação. Sem o sistema de resfriamento, Varadarajan disse que a temperatura na instalação aumentaria para mais de 100 graus em dois minutos e os componentes seriam danificados em alguns minutos. A Virginia Tech também construiu uma UPS e um gerador a diesel reserva de 1,5 Megawatt para a instalação.
O sistema custa US$ 5,2 milhões para os G5s, racks, cabos e placas Infiniband. Virginia Tech gastou mais $ 2 milhões em instalações, $ 1 milhão para o sistema de ar condicionado e $ 1 milhão para UPS e gerador.
Além de todo o hardware, Varadarajan e sua equipe tiveram que desenvolver e otimizar o software para executar o Terascale Computing Facility. Varadarajan portou um sistema Unix, MVAPICH, para Mac OS X para executar o sistema e fez otimizações específicas para o gerenciamento de memória cache do G5. Varadarajan e sua equipe também portaram vários outros aplicativos Unix para gerenciar e comparar o sistema. Usando especialistas de todo o mundo, Varadarajan e sua equipe estão otimizando o sistema para cálculos científicos.
O Terascale Computing Facility pode resolver equações com 500.000 variáveis, o que envolve a criação de uma matriz com 500.000 valores de lado. Essas operações requerem vários terabytes de memória apenas para serem armazenadas. Realizando esses tipos de cálculos, o benchmark mais recente da instalação é de 9,555 teraflops e Varadarajan espera ultrapassar a marca de 10 teraflops com mais otimização.
A única desvantagem de usar componentes de prateleira para o Terascale Facility é a confiabilidade. Varadarajan disse que mesmo um servidor confiável, digamos um que falhasse por alguns minutos a cada dois anos, causaria falhas diariamente quando 1.100 desses computadores estivessem funcionando em conjunto. Para lidar com o problema de confiabilidade, Varadarajan disse que sua equipe adicionou a capacidade de falhas de componentes para não derrubar todo o sistema ou até mesmo ameaçar cálculos em andamento movendo cálculos de componentes com falha ou blocos de componentes para peças funcionais do sistema.
Varadarajan disse que muitas comunidades acadêmicas e outras manifestaram interesse em criar seus próprios superaglomerados G5 ou até mesmo clonar o sistema Terascale. Assim que as instalações da Virginia Tech estiverem funcionando, Varadarajan disse que colocará toda a documentação sobre como sua equipe criou seu sistema online para que outros revisem e implementem.
“Esperamos que muitos mais desses apareçam”, disse Varadarajan. “Já temos vários contatos que basicamente querem clones do sistema, então esperamos ver muito mais clusters G5 a partir de agora.”