Performanceevaluation für Forschungssoftwareentwickler (RSEs)

Bernadette Fritzsch, Jan Philipp Dietrich, December 6, 2023


Forschungssoftwareentwicklung nimmt eine immer prominentere Rolle in der heutigen Forschung ein. Gleichzeitig gibt es immer noch keine klaren Karrierepfade für Personen mit dezidiertem Fokus auf Forschungssoftware, die sogenannten Research Software Engineers (RSEs). Häufig agieren RSEs weiterhin als klassische Forschende, was sie auch häufig in gewissem Sinne sind.

Jedoch ist diese Strategie in der Regel mit einem Zielkonflifkt verbunden. Durch die Fokussierung auf die Forschungssoftware kann zwar deren Qualität und damit auch die der jeweiligen Forschung gesteigert werden, aber meist führen diese Arbeiten nicht zu Publikationen. Diese sind aber die klassischen Performanceindikatoren, die über die weitere Karriere im Wissenschaftssystem entscheiden.

Somit ist die Frage nach einem Karrierepfad für RSEs direkt verbunden mit der Frage nach einer angemessenen Evaluation der Performance von RSEs.

Wir haben uns dieses Thema als Aufhänger für eine Session auf der un-deRSE Konferenz in Jena ausgewählt und gefragt, wie man RSEs am besten evaluieren sollte. Können RSEs evaluiert werden wie klassische Wissenschaftler? Müssen ganz andere Maße her? Die direkten Ergebnisse der Diskussion können unter https://pad.gwdg.de/ghuWQ2E9Tomo19Cwe67aXw eingesehen werden.

In einer spannenden Diskussion wurde klar, dass auch die klassisch genutzten Indikatoren sehr leicht zu kritisieren sind und eine konkrete Auswahl von adequaten Performanceindikatoren für RSEs schwierig bis unmöglich ist. Insgesamt zeichnete sich eine generelle Richtung für eine sinnvolle Evaluation ab.

Grob gesprochen wurden drei Kernbereiche identifiziert, die in der Performanceevaluation eines RSEs eine Rolle spielen:

Da der Begriff des RSE ein ganzes Spektrum von diversen Stellenprofilen mit unterschiedlichem Aufteilung zwischen wissenschaftlicher Arbeit und Softwareentwicklung umfasst, ist die Wichtung dieser Indikatoren auch flexibel zu verstehen. Insofern können die für klassische Wissenschaftler relevanten Indikatoren auch für RSEs eine Rolle spielen. Denn RSEs haben zwar einen Fokus auf die Forschungssoftware, aber dennoch mit dem Ziel letztendlich hochqualitativen wissenschaftlichen Output zu generieren. Allerdings greift der reine Fokus auf klassische Indikatoren zu kurz. Forschungssoftware ist nicht nur ein Mittel, um Forschung zu machen, sondern selbst auch Ergebnis von Forschung. Daher sollte Forschungssoftware selbst als wissenschaftlicher Output betrachtet und dementsprechend bei der Evaluation berücksichtigt werden. Durch die immer weitere Verbreitung von Forschungssoftware-Publikationen wird dies jetzt möglich. In den Diskussionen wurde daneben noch ein dritter Aspekt hervorgehoben, der vielleicht zunächst unerwartet, aber beim genaueren Hinsehen ein elementarer Bestandteil der Rolle eines RSEs ist. Dies betrifft die Kommunikation. RSEs müssen in der Lage sein, Software Engineering Konzepte den klassischen Wissenschaftlern zu erklären. Gleichzeitig müssen sie aber auch die domainspezifische Frage der Wissenschaftler und die damit verbundenen spezifischen Probleme verstehen und erklären können. Dementsprechend reicht es für einen RSE nicht aus, gut programmieren zu können, ein RSE muss auch gut kommunizieren und sich in wissenschaftliche Fragestellungen eindenken können.

Nur durch die Berücksichtigung dieser drei Bereiche sollte eine angemessenere Evaluation von RSE Performance möglich sein. Sie könnte den Weg ebnen, um für RSEs neue Karrierepfade in der Wissenschaft parallel zu den Pfaden für klassische Wissenschaftler zu entwickeln und damit die spezielle Expertise von RSE weiter im Wissenschaftssystem zu erhalten.