Page 10 - IDEA Studie 11 2022 Publikacni vykonnost

PUBLIKAČNÍ VÝKONNOST PANELISTŮ GRANTOVÉ AGENTURY ČR (2019–2021) IDEA 2022 Pro každou definici ukazujeme výsledky samostatně a následně diskutujeme robustnost výsledků při použití různých definic. Definice nekombinujeme (například tak, že bychom publikační výkonnost označovali za výrazně nižší, pokud splňuje „alespoň jedno kritérium“ nebo „všechna kritéria“). Podrobnější informace o použitých definicích udává oddíl Metodologie níže. Panelista by měl být schopný rozpoznat a ocenit i vysoce nadprůměrné návrhy projektů. Publikační výkonnost panelisty tedy pro účely studie považujeme za „neadekvátní“, pokud je dle dané definice výrazně nižší než publikační výkonnost řešitele, který se podle daného bibliometrického ukazatele nachází na 75. percentilu mezi řešiteli podpořených projektů hodnocených daným panelem. Za „výrazně neadekvátní“ ji pak označujeme, pokud je výrazně nižší než publikační výkonnost řešitele na 50. percentilu. Studie se primárně zaměřuje na členy panelů z posledních let 2019–2021, kteří hodnotili projekty s počátkem řešení v letech 2020–2022. Pro historické srovnání také ukazujeme vývoj v čase po dvouletých obdobích, počínaje roky 2009–2010. Naše analýza ukazuje, že ve většině panelů se jejich členové publikační výkonností řešitelům podpořených projektů podobají a v některých panelech je převyšují. Podíl panelistů sneadekvátní, respektive výrazně neadekvátní publikační výkonností je u různých indikátorů zhruba 25 %, respektive 15 %, či nižší. V mnoha panelech se panelisté s neadekvátní publikační výkonností téměr nevyskytují. Na druhou stranu u téměř třetiny panelů – převážně ve společenských a technických vědách – podíl panelistů s neadekvátní publikační výkonností převyšuje 30 %. Jak uvedená čísla interpretovat? Jaký podíl panelistů s neadekvátní publikační výkonností je neúnosně vysoký? Kdy už hrozí nezanedbatelné zkreslení celkových výsledků? Je to 10 %, 50 % nebo 80 %? Každý panel nakonec vydává doporučení jako celek. Panel má kolem 10 členů mimo jiné i proto, aby soudy jednotlivých členů nemohly disproporčně ovlivnit výsledný názor panelu. Na druhou stranu, Box 1 naznačuje, že na výsledné zhodnocení návrhu projektu může mít poměrně výrazný vliv hned první čtveřice panelistů: hlavní zpravodaj, vedlejší zpravodaj a 2 hodnotitelé, kteří ho dostanou ke zhodnocení v 1. kole a udělí mu první dílčí známky, které následně formují i názor ostatních členů panelu. Tyto známky totiž rozhodují o prvotním pořadí projektu. Jako jeden z několika signálů o kvalitě projektu je pak berou i ostatní členové panelu, když se rozhodují o navržení konečné známky před 2. zasedáním panelu. Pokud by se stalo, že 2 nebo dokonce 3 z těchto 4 členů panelu mají hned 8