Európsky prieskum pracovných podmienok 2024: Správa o validácii a úprave údajov

Úprava a validácia dát sú veľmi dôležitou súčasťou procesu zberu a kontroly dát, aby sa zabezpečila presnosť, konzistentnosť, porovnateľnosť a spoľahlivosť údajov.

Odhaľujú chyby personalistov, opravujú nezrovnalosti a overujú vzorce preskakovania a logiku súvisiacu so zamestnaním (napr. pracovný status, pracovný čas, príjem). Čistenie zosúladzuje údaje naprieč krajinami, jazykmi a terénnymi agentúrami, čím zabezpečuje správne uplatňovanie štandardných klasifikácií (povolanie, sektor činnosti, vzdelávanie, región). Identifikuje odľahlé hodnoty, kontroluje demografickú pravdepodobnosť, pripravuje premenné na váženie a odstraňuje náhodné identifikátory pre súlad s ochranou údajov. Prostredníctvom systematickej validácie a dokumentácie čistenie dát chráni integritu pravdepodobnostnej vzorky a umožňuje zmysluplnú analýzu trhu práce naprieč krajinou.

Validácia prebiehala pred, počas a po terénnej práci, vrátane zabezpečenia kvality skriptov, kontrol zabudovanej logiky a hodnôt a monitorovania v reálnom čase prostredníctvom nástroja na monitorovanie terénnej práce. Do dotazníka bolo zabudované významné množstvo kontrol, ktoré pokrývali chyby v smerovaní, nekonzistentné odpovede, nepravdepodobné hodnoty a odľahlé hodnoty. Väčšina respondentov vyvolala len veľmi málo signálov, pričom 98 % osobných rozhovorov a 94 % online rozhovorov vyvolalo menej ako štyri varovania – dôkaz robustnej celkovej kvality dát.

Posudzovala sa aj dodržiavanie protokolov odberu vzoriek a kontaktu. Relatívne malý počet interviewérov bol označený na preskúmanie, pričom niektoré rozhovory boli vymazané kvôli zlyhaniu spätnej kontroly, porušeniam protokolov, nedostatočnému kódovaniu alebo ukazovateľom kvality po terénnej práci.

Ďalšie problémy zahŕňali nekonzistentnosti v smerovaní, časové nepravidelnosti a potrebu revidovať pipeline na spracovanie dát.

Prílohy