A Management Framework for Consolidated Big Data and HPC

As infraestruturas HPC, anteriormente focadas na computação altamente paralela e distribuída,servem agora ta mbém de suporte à análise de grandes volumes de dados (Big Data). Esta é uma mudança expectável considerando a grande quantidade de recursos computacionais e de armazenamento disponíveis, permitido alavancar novos estudos e análises em áreas como a saúde, cidades inteligentes, ciências naturais, entre outras. Contudo, lidar com o hardware heterogéneo destas infraestruturas de larga escala e com os diferentes requisitos de HPC e de aplicações de Big Data levanta novos desafios tecnológicos e científicos. Nomeadamente, torna-se cada vez mais difícil gerir eficientemente os recursos de armazenamento e de computação disponíveis, bem como garantir um acesso transparente e isolado das diferentes aplicações a estes recursos. O projeto BigHPC abordará estes desafios ao desenvolver uma plataforma inovadora de gestão para aplicações de Big Data e computação paralela e distribuída, a qual será integrada com as atuais infraestruturas e software para HPC. O projeto irá investigar, desenvolver e integrar novos componentes de monitorização, visualização e gestão de armazenamento capazes de lidar com a escala e a heterogeneidade da infraestrutura, assim como com os requisitos de desempenho e resiliência de diferentes aplicações. Estes componentes serão integrados numa solução completa que será validada através de casos reais e de um caso piloto executado nos centro de dados do TACC e do MACC. Os resultados do projeto serão explorados comercialmente pela Wavecom, fornecendo esta plataforma como um serviço para empresas e instituições que pretendam que as suas próprias infraestruturas suportem aplicações de Big Data e HPC. O projeto irá ainda melhorar as competências em HPC e Big Data dos investigadores e da indústria em Portugal. Ficha Projeto