High Performance Computing (HPC) Specialist

Een werkdag van een HPC specialist? Die ziet er zo uit:

Het was een donderdagochtend toen Noah, High Performance Computing Specialist binnen het team IT voor Onderzoek (ITvO) van de Vrije Universiteit Amsterdam, de fiets parkeerde in de ondergrondse fietsenstalling naast het Nieuwe Universiteitsgebouw aan De Boelelaan. Een nieuwe werkdag stond op het punt te beginnen, gevuld met uitdagingen, teamwerk en complexe vraagstukken.

08:30 – Een rustige start

Noah startte de werkdag met een kop koffie, terwijl de computer opstartte. De eerste taak van de dag was het controleren van de status van het BAZIS HPC-cluster. Dit krachtige rekencluster wordt gebruikt door onderzoekers van verschillende faculteiten voor intensieve wetenschappelijke berekeningen, simulaties en data-analyses. Met diepgaande kennis van Linux en ervaring met het beheren van clusters, was dit een routineklus voor Noah, maar wel één die cruciaal was voor het waarborgen van een stabiele werkomgeving.

Noah logde in op de head node en voerde enkele shell scripts uit die automatisch de status van alle nodes binnen het cluster controleerden. Alles leek in orde, maar Noah zag dat een van de compute nodes trager presteerde dan normaal. Een interne analyse begon: een check op de logs en met kennis van monitoring tools om het probleem verder te onderzoeken.

09:15 – Probleemanalyse en oplossing

Na wat dieper graven, ontdekte Noah dat één van de nodes overbelast was door een gebruiker die een zeer intensieve simulatie had draaien. Dit veroorzaakte bottlenecks voor andere taken die tegelijkertijd uitgevoerd werden. Dankzij inzicht in en ervaring met performance analysis en optimalisatie, wist Noah snel dat de limieten van (tegelijkertijd) draaiende processen moesten worden aangepast om de belasting op het systeem te verlichten.

Noah paste de instellingen aan in Slurm, een veelgebruikte resourcemanager op HPC-clusters, en informeerde de betrokken onderzoeker over de wijzigingen. De onderzoeker werd ook uitgelegd hoe de taak in de toekomst efficiënter kon worden uitgevoerd door gebruik te maken van parallellisatie-technieken zoals MPI en OpenMP, en wellicht zelfs CUDA indien het rekenwerk zich ervoor leende.

10:30 – Samenwerken met onderzoekers

De rest van de ochtend stond in het teken van overleg met onderzoekers. Het onderzoeksteam bij Theoretische Chemie was bezig met Density Functional Theory simulaties en had advies nodig over het optimaliseren van hun code voor de GPU-accelerators op het cluster. Noah had veel ervaring met GPU-programming, vooral met NVIDIA CUDA en in iets mindere mate met OpenCL, en wist precies hoe hen te helpen.

Tijdens het overleg presenteerde het onderzoeksteam het ontwerp van de studie, terwijl Noah aantekeningen maakte. Na hun presentatie werd gedetailleerd advies gegeven over hoe ze hun code konden herschrijven om volledig te profiteren van de parallelle verwerkingskracht van de GPU’s. Ook werd uitgelegd hoe ze hun werk konden containeriseren met Docker of Singularity, zodat het mogelijk zou zijn om hun simulaties eventueel makkelijk te verhuizen naar Snellius, de Nederlandse nationale supercomputer, om die daar op nóg grotere schaal uit te voeren als dat nodig zou zijn.

12:00 – Lunch en informele gesprekken

Tijdens de lunch ontmoette Noah enkele collega's in de kantine. Het was een mix van IT Specialisten uit het eigen ITvO team en een aantal onderzoekers die het BAZIS cluster zeer intensief gebruikten. Het gesprek ging al snel over de nieuwste ontwikkelingen op het gebied van supercomputing en het gebruik van offloading naar de cloud voor HPC-taken. Noah had enige ervaring met HPC in de cloud en deelde inzichten over hoe het gebruik van cloud resources de universiteit kon helpen bij het schalen van hun rekencapaciteit, vooral tijdens piekperiodes.

13:00 – Projectwerk en documentatie

Na de lunch zat Noah weer aan het bureau en werkte verder aan een project. Noah was verantwoordelijk voor het uitbreiden van de opslagcapaciteit van het HPC-cluster. De universiteit had onlangs geïnvesteerd in een nieuw dataopslag platform met daarop een nieuwe parallelle filesystem oplossing. Noah was aangewezen door de teamleider om de implementatie op het HPC in goede banen te leiden. Noah werkte samen met het storage team van ITvO om de nieuwe opslag te integreren en ervoor te zorgen dat het naadloos zou samenwerken met de bestaande infrastructuur.

Noah documenteerde elk detail van het proces. Het was belangrijk dat alles goed vastgelegd werd, zodat collega’s en toekomstige HPC-specialisten gemakkelijk toegang hadden tot deze informatie. Technische documentatie was een essentieel onderdeel van het werk, en hoewel het soms tijdrovend was, wist Noah hoe belangrijk het was voor het succes van het team.

15:30 – Een onverwachte uitdaging

Terwijl Noah bezig was met het afronden van de documentatie, kwam een dringende e-mail van een onderzoeker van Bio-informatica. Er was een probleem met een grote dataset die niet correct op het cluster geplaatst kon worden. Dit soort problemen waren niet ongewoon, en Noah's analytische vaardigheden kwamen goed van pas bij het diagnosticeren van de oorzaak.

Na een grondige analyse ontdekte Noah dat het probleem te maken had met een haperende NFS-verbinding tussen de compute nodes en de opslagruimte. Dankzij de kennis van verschillende opslagoplossingen, kon er snel een oplossing geboden worden. Noah paste enkele NFS-parameters aan om herhaling te voorkomen en zorgde ervoor dat de onderzoeker het werk zonder verdere problemen kon hervatten.

17:00 – Afronden van de dag

Tegen het einde van de dag checkte Noah nog een laatste keer de status van het cluster. Alles draaide soepel en de problemen die eerder op de dag waren opgetreden, waren allemaal opgelost. Voor vertrek, maakte Noah een korte notitie voor het teamoverleg van maandag, waarin de resultaten van de performance analyses en de voortgang van de opslaguitbreiding zijn samengevat.

Met een tevreden gevoel stapte Noah naar buiten, klaar om de dag achter zich te laten. Morgen zou weer een nieuwe dag vol uitdagingen en samenwerking zijn, iets om naar uit te kijken. Als HPC Specialist bij de Vrije Universiteit Amsterdam heeft het werk een directe impact had op het succes van wetenschappelijk onderzoek, en dat gaf iedere dag opnieuw voldoening.

Ben jij geïnteresseerd in deze functie en ben jij van mening dat jouw ervaring bijdraagt aan de kwaliteit van onze dienstverlening? Dan nodigen wij je graag uit om te solliciteren, ook als je niet aan alle eisen voldoet.

Het overleggen van een diploma en Verklaring Omtrent Gedrag (VOG) maken onderdeel uit van de sollicitatieprocedure.

Sollicitaties ontvangen per e-mail worden niet in behandeling genomen.

Acquisitie naar aanleiding van deze advertentie wordt niet op prijs gesteld.