Big Data in der Personalauswahl

Schlagwörter wie Big Data, People Analytics und Business Intelligence stehen bei HR derzeit hoch im Kurs. Kein Wunder: Nicht nur geben Kandidaten im Internet freiwillig eine Unmenge von Informationen über sich Preis, auch die Technologie zum Auswerten derart großer Datenmengen hat sich in den letzten Jahren enorm verbessert. Big Data ist vor allem für das Recruiting interessant, das sich durch das großflächige Durchsuchen von sozialen Netzwerken wie Facebook und XING eine größere Zahl passender Kandidaten verspricht. Aber ist Big Data auch in der Personalauswahl nützlich? Mit dieser Frage hat sich eine Studie befasst, die im renommierten Journal of Applied Psychology erschienen ist.

Das Ziel der Forscher bestand darin, kurze Aufsätze von Bewerbern durch einen Computer bewerten zu lassen, um dadurch auf verschiedene Kompetenzen zu schließen. Die Autoren nutzten hierfür die Daten von 46.000 Kandidaten, die sich bei einer großen Amerikanischen Regierungsbehörde beworben hatten. Im Auswahlprozess wurden alle Kandidaten von drei Personalverantwortlichen hinsichtlich verschiedener Kompetenzen, wie z.B. Führungs-, Kommunikations- und Sozialkompetenz bewertet. Grundlage der Bewertung waren neben biographischen Informationen und Ergebnissen von Leistungstests die sogenannten „Accomplishment Records“. Dies sind kurze Aufsätze von ca. 200 Wörtern über vergangene Erfolge (z.B. „Bitte beschreiben Sie eine Situation, in der Sie Führungskompetenz unter Beweis stellen mussten“). Die Forschungsfrage lautete: Kann der Computer die Kompetenzen genauso gut bewerten wie ein Mensch?

Langwieriges Training

Zunächst musste der Computer hierfür von den Forschern „trainiert“ werden. Grob gesagt, extrahiert das Programm aus den Texten zunächst „Konzepte“, wie z.B. häufige Substantive oder Phrasen. Durch dieses sogenannte „Text-Mining“ entsteht eine Liste mit bis zu 5.000 Konzepten, die dann vom Menschen auf Synonyme hin überprüft werden muss. Im nächsten Schritt werden die Konzepte weiter zu Kategorien und Subkategorien zusammengefasst, die ebenfalls vom Menschen überprüft und verbessert werden müssen. Beispielsweise können die Konzepte „Führungskraft“, „Teamleiter“ und „Vorgesetzter“ zur Kategorie „Führung“ zusammengefasst werden. Um die Texte auszuwerten, kontrolliert der Computer schlicht, welche Kategorien im Text vorkommen und welche nicht. Mithilfe der Kategorien wurden dann statistische Modelle errechnet, um auf die Leistung der Kandidaten zu schließen.

So gut wie ein Mensch?

Tatsächlich ließ sich das Programm so trainieren, dass es die Kompetenzen der Kandidaten mit der gleichen Messgenauigkeit wie die Personalverantwortlichen erfassen konnte. Was bedeutet das für die Praxis? Gerade bei hohen Bewerberzahlen verspricht eine solche Automatisierung große Einsparpotenziale. Die Forscher rechnen vor, dass die Behörde pro Jahr ca. 150.000 $ einsparen könnte, wenn nur einer der drei Personaler durch den Computer ersetzt würde. Der Computer könnte auch dafür genutzt werden, die nicht geeigneten Kandidaten herauszufiltern, um so den Kandidatenpool zu verkleinern und den Aufwand für die Personalverantwortlichen zu reduzieren.

Bei allem Optimismus geben die Forscher aber auch einige Probleme und Hindernisse zu bedenken: Erstens ist der Aufwand, eine solche Software einzuführen, beachtlich. Allein das initiale Training des Computers nahm in der Studie ca. 200 Arbeitsstunden in Anspruch. Auch benötigt man mindestens 500 vollständige Datensätze (inkl. menschlicher Bewertung), um das Programm auf die Belange der Organisation zu trainieren.

[A]dvances in text mining capabilities and the development of predictive modeling software programs have the potential to usher in a new era of selection scholarship and practice.

Zweitens darf nicht vergessen werden, dass die Software zwar Wörter und Phrasen erkennen aber keine Semantik verstehen kann. So kam es in der Studie vereinzelt zu deutlichen Abweichungen zwischen den Bewertungen von Mensch und Maschine. Beschreibt ein Kandidat z.B. im Aufsatz nicht seine eigene Führungserfahrung, sondern gibt lediglich seine Meinung zum Thema Führung wieder, bewertet der Computer dies trotzdem als gute Leistung, solange die entsprechenden Termini im Text vorkommen. Auch der umgekehrte Fall ist möglich: Nutzt ein Kandidat ungewöhnliche Wörter oder Umschreibungen, kann der Computer diese nicht richtig zuordnen und unterschätzt die Leistung des Kandidaten.

Der Einsatz einer solchen Software bei Deutschen Behörden und Verwaltungen könnte außerdem rechtliche Fragen aufwerfen: Selbst wenn die Software in 99% der Fälle richtig liegt, könnten abgelehnte Bewerber sich darauf berufen, zu den restlichen 1% zu gehören und auf dieser Grundlage das Verfahren anfechten. Die DIN 33430, eine Qualitätsnorm für die Personalauswahl, äußert sich zwar (noch) nicht zu Big-Data-Methoden, verlangt aber eine nachvollziehbare Dokumentation des Verfahrens. Bedenkt man, dass zur Vorhersage der Leistung in dieser Studie mehr als 1.000 Variablen berücksichtigt und verrechnet wurden, ist die Nachvollziehbarkeit der softwarebasierten Auswahl zumindest fraglich.

Schlussendlich kann die Software nicht besser sein als die Kriterien, die zur Kalibrierung genutzt werden. Das heißt, der Computer ist zwar in der Lage, die Kompetenzeinschätzung der Personalverantwortlichen recht genau zu reproduzieren, kann jedoch nicht genauer oder valider sein. Es besteht außerdem die Gefahr, die Software bei der Einführung mit ungenauen oder nicht validen Daten zu trainieren und dadurch ebenso unbrauchbare Ergebnisse zu erhalten (garbage in, garbage out).

Zusammengefasst kann festgehalten werden, dass Big Data in der Personalauswahl noch eine untergeordnete Rolle spielt. Ob sich dies in Zukunft ändern wird, hängt wohl in erster Linie von der Verfügbarkeit erschwinglicher und leicht bedienbarer Softwarelösungen ab. Da derartige Software langfristig zu Personalabbau führen wird, kann auch mit Widerständen in den Personalabteilungen gerechnet werden. Bis alle technischen, inhaltlichen und rechtlichen Probleme gelöst sind, wird Big Data in der Personalauswahl wohl vorerst ein Thema für die Forschung bleiben.

Campion, M. C., Campion, M. A., Campion, E. D., & Reider, M. H. (2016). Initial investigation into computer scoring of candidate essays for personnel selection. Journal of Applied Psychology, 101(7), 958-975. doi: 10.1037/apl0000108