Page 11 - IDEA Studie 11 2022 Publikacni vykonnost

PUBLIKAČNÍ VÝKONNOST PANELISTŮ GRANTOVÉ AGENTURY ČR (2019–2021) IDEA 2022 nazačátku problémy správně zhodnotit kvalitu projektu, může to výrazně ovlivnit doporučení vydané celým panelem. Box 1. Proces hodnocení návrhů projektů v hodnotících panelech GA ČR Úkolem hodnotícího panelu je udělit každému projektu známku A (podpořit), B (podpořit při dostatku financí) nebo C (nepodpořit) a určit pořadí projektů. Proces, kterým toho dosáhne, probíhá dvoukolově v následujících krocích: • V 1. kole hodnocení předseda a místopředseda panelu přiřadí každému projektu z řad členů panelu hlavního zpravodaje a IT systém následně náhodně přiřadí ještě vedlejšího zpravodaje a 2 hodnotitele. • Hlavní a vedlejší zpravodaj sepíší úvodní posudky projektu a každý ze dvou zpravodajů a dvou hodnotitelů navrhne nezávisle na sobě známku A, B nebo C, tj. projekt dostane 4 dílčí známky. Automatický algoritmus na základě udělených známek sestaví předběžné pořadí projektů. S těmito podklady se seznámí všichni členové panelů. • Na 1. zasedání panelu jeho členové návrhy projektů prodiskutují, přičemž zvláštní pozornost věnují návrhům, jejichž hodnocení se liší, a udělí jim první souhrnnou známku A, B nebo C za celý panel. Zásadní je zejména určit, které projekty dostanou známku C, a tudíž nepostoupí do 2. kola hodnocení. • Pro projekty, které postoupily do 2. kola hodnocení (s první souhrnnou známkou A anebo B), hlavní a vedlejší zpravodaj nominují zahraniční hodnotitele, kteří k projektu rovněž sepíší posudek a navrhnou mu známku A1, A2, B, C1 nebo C2. Každý projekt získá hodnocení od přinejmenším 2 zahraničních hodnotitelů. • Všichni členové panelu se znovu seznámí s doposud získanými podklady (zejména 4 dílčí a první souhrnná známka z 1. kola, známky od zahraničních hodnotitelů a všechny dostupné posudky) a každý z nich nezávisle na sobě pro každý projekt navrhne finální známku A, B nebo C. Automatický algoritmus na základě všech udělených známek sestaví předběžné pořadí projektů. • Na 2. zasedání panelu jeho členové v rámci diskuse každému projektu udělí konečnou souhrnnou známku A, B nebo C za celý panel a určí pořadí projektů, které odejde z panelu na oborovou komisi. Panelisté se v žádném kroku nesmí účastnit hodnocení návrhů projektů, ve vztahu k nimž jsou ve střetu zájmů. Tabulka 1 pro hypotetický panel o 10 členech ukazuje, jaká je při různém počtu panelistů s neadekvátní publikační výkonností pravděpodobnost, že mezi 4 klíčovými členy panelu známkujícími projekt v 1. kole hodnocení jich bude X či více, kteří mají neadekvátní publikační výkonnost. 9