Original page: https://www.cs.purdue.edu/homes/dec/essay.research.measure.html

Douglas E. Comer

Vaikka nuorille tietotekniikan tutkijoille kerrotaan, että heidän on tuotettava tutkimustuloksia, tarkkoja vaatimuksia ei ole määritelty. Sen sijaan tutkijoille annetaan yleensä epämääräistä kannustusta saavuttaa jotain %quot;merkittävää” tai on %quot; korkealaatuisia julkaisuja” ilman tarkkaa selitystä, mitä se tarkoittaa.

Nuoremmalle tutkijalle voi vaikuttaa siltä, ​​että vanhusten keskuudessa tapahtuu salaliitto – että heillä on jokin salainen tapa arvioida tutkimusta, mutta he eivät halua paljastaa sitä. Loppujen lopuksi kuullaan todennäköisesti epämääräinen lausunto, kuten %quot; tutkimus tarkoittaa yksinkertaisesti tiedon keräämistä “tai vähemmän fiksu: %quot; se on vaikea määritellä, mutta tiedän hyvää tutkimusta, kun näen sen”.

Syy, että nuorempi toimihenkilö ei voi saada tarkempaa selitystä tutkimuksen mittaamisesta, on se, että yhtenäistä selitystä ei ole. Sen sijaan on olemassa erilaisia ​​toimenpiteitä – jokaisella ryhmällä on taipumus käyttää toimenpidettä, joka maksimoi tavoitteensa. Itse asiassa joku haluaa osoittaa pisteen jonkun puolesta tai vastaan, he valitsevat toimenpiteen, joka auttaa.

Jos olet nuorempi tutkija, tämä opas on sinulle. Siinä luetellaan mitat, selitetään jokainen ja esitetään tosiasiat. Luettelon tunteminen auttaa sinua vaikuttamaan muihin, kun puhut tutkimuksesta, ja auttaa välttämään sudenkuoppia.

Lehtipaperin lähestymistapa

(lehden kustantajien suosima)

Mitta: N, julkaistujen lehtien kokonaismäärä.
Perustelu: Uuden idean generoinut tutkija kirjoittaa tutkielman, jonka vertaisarvioidaan ja julkaistaan ​​lopulta arkistolehdessä. Siten paperien lukumäärä on tuottavuuden mitta.
Tosiasiat: Julkaisustandardit vaihtelevat suuresti. Jotkut konferenssit ja lehdet hyväksyvät kaikki ehdotukset, kun taas toiset hyväksyvät vain muutamat. Vielä tärkeämpää on, että lähes kaikki tutkimus on hyödytöntä; kukaan ei todellakaan lue lehtiä. (Yhden tutkimuksen mukaan tietyn tutkielman lukee keskimäärin .5 ihmistä. Tiedemiehen lukemat muutamat artikkelit vinoittavat lukumäärää ylöspäin.)
Varoitukset: Vaikka virkakomiteat väittävät toisin, virkakomiteat käyttävät tätä toimenpidettä, koska paperien laskeminen on paljon helpompaa kuin niiden ansioiden arviointi. Huomaa, että harmailla hiuksilla olevat ihmiset ovat erityisen ihastuneita tähän toimenpiteeseen, koska he voittavat mainitsemalla sen – heidän henkilökohtainen N-arvonsa on paljon korkeampi kuin nuoren tutkijan. Kun käytät tätä mittaa, älä urkuta tekijöitä, koska luotto vähenee, kun paperilla on useita kirjoittajia.

Näkyvyysaste

(nuorten tutkijoiden suosima)

Mitta: N/T, julkaistujen lehtien kokonaismäärä suhteessa ajankohtaan, jona ne julkaistiin.
Perustelu: Paperimäärä ei ole riittävä, koska se ei mittaa tuottavuutta – jos tutkija julkaisee 10 artikkelia vuodessa, ne ovat erittäin tuottavia, mutta jos he julkaisevat 10 artikkelia elämässä, ne ovat erittäin tuottamattomia.
Tosiasiat: Tutkijan julkaisutaso vaihtelee ajan myötä; todelliset huiput tapahtuvat juuri ennen kuin henkilöä harkitaan ylennykseksi, ja korko vähenee yleensä dramaattisesti eläkkeelle ennen vuotta. Siksi tutkijan ikääntyessä he lopettavat puhumisen N/T: stä ja palaavat mittaamaan N. Varoitus: Toimitusvaliokunnat ovat varovaisia kaikille, jotka mainitsevat tämän toimenpiteen. Lisäksi ole realistinen – joukko harmaita tukkoja, vanhoja kavereita ei aio palkita sinua korkeasta arvosta, kun he itse kohtaavat pudonneen koron.

Painotettu julkaisumenetelmä

(akkreditointitoimistojen suosima)

Mitta: W, julkaistuille papereille annettujen painojen summa.
Perustelu: Koska jotkut paperit edustavat enemmän henkistä saavutusta kuin toiset, jokaiselle paperille tulisi antaa paino suhteessa sen laatuun. Paperien laskemisen sijasta tulisi käyttää painojen summaa. Esimerkiksi muille kuin tutkimuksellisille papereille voidaan antaa paino nolla tai nolla.
Tosiasiat: Sen sijaan, että arvioitaisiin jokaista erillistä artikkelia, tätä menetelmää käyttävät ihmiset vain määrittävät jokaiselle päiväkirjalle painon sen arvostuksen mukaan ja käyttävät sitten arvoa kaikille päiväkirjaan ilmestyville kirjoille. Tietysti lehden arvovalta vaihtelee ajan myötä, eikä ole sellaista asiaa kuin päiväkirja, jonka kaikki lehdet ovat tasalaatuisia, mutta sillä ei näytä olevan väliä. Mittarin kauneus on se, että annettaessa joukko julkaisuja voidaan valita painot, jotta luettelo näyttää hyvältä tai huonolta.
Varoitus: Kun keskustelet tästä toimenpiteestä, muista, että painojen valinta on mielivaltainen ja että vaikka henkilö voi esittää todisteita valintansa perustelemiseksi, lopulta kaikki näyttävät suosivan painojoukkoa, joka antaa henkilökohtaiselle julkaisuluettelolleen korkean sijoituksen.

Miljoonien apinoiden lähestymistapa

(suosii valtion myöntävät virastot)

Toimenpide: G, tutkimukseen jaettujen veronmaksajien rahojen kokonaismäärä.
Perustelu: Kun otetaan huomioon tarpeeksi pitkä aika, satunnainen joukko tutkijoita, jotka paukuttelevat pois näppäimistöiltä, ​​kirjoittavat lopulta paperin jostakin, joka hyödyttää maata. Kannustaakseen enemmän tutkijoita tuottamaan enemmän papereita, hallitus kerää ehdotuksia ja antaa rahaa prosenttimäärälle; paras. “On selvää, että lisäämällä rahaa stimuloidaan lisää papereita, mikä lisää hyötyä maalle.
Tosiasiat: Apurahajärjestelmä on lähempänä arpajaisia ​​kuin kansallista etua. Varmistaakseen, että kaikki on %quot; tasa-arvoista” valtion virastot seuraavat usein poliittista ohjelmaa, mikä tarkoittaa, että apurahan saamisen todennäköisyys voi riippua muun muassa laitoksen koosta, sen maantieteellisestä sijainnista, rodusta ja sukupuolesta. Ääritapauksessa hakija saa kirjeen, jossa ilmoitetaan heille, että heidät on valittu avustusta varten, mutta heidän on tarkistettava ehdotustaan, koska tieteellistä sisältöä ei voida hyväksyä.
Varoitus: Älä ota sitä henkilökohtaisesti tavalla tai toisella – Avustuksen myöntäminen ei välttämättä tarkoita, että sinulla on loistava idea, eikä julkisen avun epääminen tarkoita, että idea on arvoton.

Suoran rahoituksen lähestymistapa

(mieluummin osastopäälliköt)

Toimenpide: D, tutkijan hankkimien avustusvarojen kokonaismäärä dollaria.
Perustelu: Tutkijoilla, joille myönnetään apurahoja tutkimukselle, on oltava hyviä ideoita (tai myöntävä virasto ei olisi myöntänyt rahaa). Siksi lisää rahaa on tarkoitettava enemmän ideoita.
Tosiasiat: Osastonpäälliköt ovat kiinnostuneita vaikuttamaan vain muiden laitosten dekaaniin ja osastopäällikköihin – he rakastavat uskoakseen kaikkien osastonsa jäsenten tuomien avustusvarojen kokonaisdollariin. Valitettavasti kerättävien apurahojen määrä riippuu enemmän käytettävissä olevasta määrästä kuin ehdotetun tutkimuksen laadusta. Hallitukset jakavat enemmän, kun kassa ylittää (tai jos sillä on jonkin verran poliittista etua); teollisuus antaa paljon enemmän, kun voitot ovat suuret (tai kun ne voivat saada verojen alaskirjauksen).
Varoitus: Älä myöskään lue liian paljon apurahoiksi – riippumatta siitä, mitä kukaan sanoo, saamasi rahasummasi (pieni tai paljon) ei aina ole verrannollinen ideoidesi laatuun.

Epäsuora rahoitustapa

(yliopistojen ylläpitäjien suosima)

Mitta: O, generoitu kokonaiskustannusdollari.
Perustelu: Kun tutkijalle myönnetään N dollarin julkista apurahaa, 1/3 siitä nimitetään %quot; epäsuorat kustannukset “tai %quot; yleiskustannukset”, joka maksaa sellaisista asioista kuin toimistotilat, sähkö ja kirjanpitäjät, jotka seuraavat kirjaa avustuksen menoista. Yleiskustannukset ovat mitta siitä, kuinka paljon tutkija on tuonut instituutiolle.
Tosiasiat: Toimistotilaa tarvitaan joko apurahalla tai ilman apua, ja suurilla tutkimuslaitoksilla on jo kirjanpitomenettelyt ja – järjestelmät. Epäsuorat kustannukset ovat siis vain tapa, jolla laitos kerää rahaa tutkimusapurahoista.
Varoitus: Laitteille myönnettävät apurahat on vapautettu välillisistä kustannuksista, joten älä kerskaa järjestelmänvalvojaa suuresta apurahasta – he eivät ole vaikuttuneita. Muista myös, että epäsuoria kustannuksia syntyy, kun rahaa käytetään, ei silloin, kun se myönnetään. Jos siis käytät apurahoja tammikuussa joulukuun sijasta, yleiskustannukset lasketaan uuteen vuoteen eikä vanhaan.

Alarivi – lähestymistapa

(suosii teollisuuden tutkimuslaboratoriot)

Mitta: P, patenttien tai tutkimuksen tulosten tuottama voitto.
Perustelu: Teollisuus perustaa tutkimuslaboratorion hyötymään liiketoimintayksiköistä, ei pelkästään tapana käyttää liiallisia voittoja. Siksi teollisuusmaailmassa on järkevää mitata tutkimusta sen avulla, miten se auttaa tulosta.
Tosiasiat: Melkein yhdellä tutkimuksella ei ole todellista vaikutusta yrityksen tulokseen. Vaikka tutkimusidea lopultakin suuntautuisi tuotteeksi, tuottavat tulot riippuvat paljon enemmän markkinoinnista kuin taustalla olevan idean laadusta (on jopa joitain todisteita tuotteen laadun ja voiton välisestä käänteisestä suhteesta).
Varoitus: Tulot ovat hirvittäviä mittauksia tutkimuksen laadusta, koska tyhmät tai triviaalit ideat tuottavat usein eniten voittoa. älä oleta, että idealla on tieteellisiä ansioita vain siksi, että se ansaitsee rahaa, ja älä oleta muutoin, jos sillä ei ole.

Vaikutuslähestymistavan arviointi

(suosii kourallinen tutkijoita, jotka todella saavuttavat jotain)

Mitta: I/R, työn vaikutuksen suhde sen tuottamiseen käytettyjen resurssien määrään.
Perustelu: Alakohtaisen tutkimuksen %quot; vaikutus” antaa hyvän kokonaisarvon. Voidaan kysyä esimerkiksi seuraavia aiheita: Vaikuttiko teos muihin? Vai onko teos mainittu ja käytetty? Kuitenkin vertailun kannalta oikeudenmukaiseksi ei voi verrata suuressa teollisuuslaboratoriossa työskentelevän kaksikymmentäneljän tutkijan ryhmän tutkimusta, joka käyttää kymmenen miljoonan dollarin kustannuksia, viikonloppuisin työskentelevän yksilön tekemiin tutkimuksiin, joissa ei ole henkilöstöä. vaikutus resursseihin.
Tosiasiat: Sekä vaikutuksia että resursseja on vaikea mitata. Vielä tärkeämpää on, että on valitettavaa, että %quot; iso tiede” näyttää usein olevan enemmän vaikutusta yksinkertaisesti siksi, että se tuottaa enemmän julkisuutta.
Varoitus: Huomaa, että vaikka tämä toimenpide on oikeudenmukaisin, se on epäsuosittu. Järjestelmänvalvojat eivät pidä toimenpiteestä, koska rahoituksen määrä – kohde, jota he haluavat korostaa – ilmestyy nimittäjään, mikä tarkoittaa, että tutkija, joka saavuttaa tietyn vaikutuksen vähemmän apurahoilla, saa korkeamman arvioinnin tämän toimenpiteen perusteella! Useimmat tutkijat eivät pidä myöskään toimenpiteestä, koska siinä korostetaan tuotoksia enemmän kuin panosta – rahoituksen saaminen on paljon helpompaa kuin todellisten vaikutusten tuottaminen.

Johtopäätös

Jos tutkimuksesi ei näytä hyvältä käytetyn mitan alla, ehkä on aika muuttaa mitta!