Profesor dr Pero Sipka sa Filozofskog fakulteta u Novom Sadu o vrednovanju naucnog rada

Postavi ciljeve i meri progres

Dvostruka tranzicija nauke: dr Pero Sipka

Naucni ucinak vrednuje se u svetu uglavnom na osnovu citatnih baza podataka Instituta za naucne informacije (ISI) iz Filadelfije. U njima se referise preko 6000 najvrednijih svetskih casopisa, od cega u bazi za drustvene nauke (SSCI) oko 1700. Sistematski se prati njihova citiranost, takozvani - impakt. Na osnovu impakta referisanih casopisa, autori odlucuju o tome gde da objavljuju svoje clanke, biblioteke o pretplati casopisa, a urednistva o ceni pretplate. Na osnovu citiranosti nereferisanih casopisa odlucuje se o njihovom eventualnom pridruzivanju bazama ISI.

Profesor dr Pero Sipka je istrazivac u ovoj oblasti i rukovodioc tima koji je razvio SocioFakt, prvu domacu citatnu bazu. U bazi se referise oko 60 domacih casopisa iz raznih oblasti drustvenih nauka. Podacima iz SocioFakt-a upravo su pridodati podaci o ucinku nasih autora u SSCI. Tako je nastao EINUS - Elektronski izvestaj o naucnom ucinku u Srbiji u oblasti drustvenih nauka. Iz tog izvestaja vidi se kompletan ucinak domacih autora, institucija, casopisa, istrazivackih timova, izdavackih ustanova i naucnih skupova u periodu 1991-2000. godine. Bio je to povod za razgovor sa ovim istoricarem o uspesnosti nase nauke.

Zasto se citiranosti u svetu poklanja tolika paznja?

Zato sto je najvredniji pokazatelj. Produktivnost tojest broj objavljenih radova, kao alternativna i u proslosti jedina koriscena mera, odrazava istrazivacku aktivnost (tacnije agilnost), ali malo govori o kvalitetu naucnog rada. To posebno vazi za nase prilike, gde urednici prihvataju i clanke koji nisu vredni objavljivanja, posto recenzentski postupak, koji bi trebalo da filtrira kvalitet, ne obavlja svoju ulogu.

Citiranost, naravno, nije savrsen pokazatelj. Ona je istovremeno mera informativnosti, relevantnosti, ali i vidljivosti, dostupnosti, provokativnosti, pa i pomodnosti, radova i njihovih autora. Neke od tih komponenata nisu izraz kvaliteta. Medjutim, te manjkavosti se daju statisticki otkloniti i mi to u EINUS-u cinimo. Za sve naucne subjekte tu se nudi vise pokazatelja koji prikazuju, ne samo obim, vec i portret ucinka. Tako se npr. za autore izmedju ostalog racuna i "frakciona heterocitiranost izvan kruga koautora", sto znaci da se sabiraju samo delovi citata koji odgovaraju procentualnom ucescu autora u autorskom timu, i to citata koje su im "dodelile" kolege izvan kruga saradnika.

Da li to znaci da broj objavljenih radova treba odbaciti kao meru ucinka?

Ne sasvim. Prema nasim nalazima to je umesno pri vrednovanju mladjih istrazivaca, posto od prvih radova do prvih citata protekne vise godina. Pored toga, produktivnost se koristi za racunanje slozenijih pokazatelja ucinka institucija. Najbolja mera te vrste je RCI, odnos broja citata i broja objavljenih radova, sto se uzima za najbolje merilo kvaliteta. Tako je upotrebom RCI u medjunarodnim poredjenjima utvrdjeno npr. da su neke male zemlje poput Svajcarske ili Danske prema kvalitetu radova u samom vrhu svetske nauke. Statisticki preciscena produktivnost i dalje je koristan pokazatelj, ali se ne moze ostati samo na tome. Taj stav je svojevremeno prevladao i u nasem Ministarstvu za nauku, kada je "domaca" citiranost prihvacena kao merilo pri izboru u naucna zvanja.

Nevolja je sto ono pri tome nije obezbedilo legitiman informacioni izvor, dakle nacionalnu citatnu bazu, prepustajuci to "zainteresovanim korisnicima". Rezultat tog licemerja je praksa da "zainteresovani korisnici" svoju citiranost jos uvek utvrdjuju prelistavanjem fusnota po casopisima i knjigama i na druge karikaturalne nacine. Sada se iz SocioFakt-a vidi da tako uspevaju da "nahvataju" jedva polovinu svojih citata.

U svetu se ispituje naucni doprinos zemalja. Govori se o naucnom bogatstvu naroda. Koliko je naucno bogatstvo Srbije?

Kad se iskaze brojem radova objavljenih u SSCI casopisima i uporedno u odnosu na zemlje iz okruzenja ucinak u oblasti drustvenih nauka je vise nego skroman. U periodu od 1991. do 1999. godine identifikovan je 271 rad autora sa jugoslovenskom adresom, od toga tri iz Crne Gore. Vise od trecine otpada na manje vredne priloge, poput prikaza knjiga ili kongresnih apstrakata. Kada se posmatra u odnosu na zemlje iz regiona produktivnost nasih autora visa je samo od ucinka Albanije, BIH i Makedonije. Otprilike je u ravni Rumnije i vise nego cetvorostuko niza od one koju imaju Grci i Madjari. Bugari, Slovenci i Hrvati takodje su znatno vise objavljivali. Hrvatska i Slovenija su ostvarile visi ucinak mada su im startne pozicije 1991. godine bile jednake ili nize od nasih. Pritom valja imati na umu da Hrvatska ima manje, a Slovenija cak visestruko manje istrazivaca.

Kvazinaucni opus Vojislava Seselja

Zasto u vrednovanju ucinka ne uzimate u obzir i naucne knjige-monografije, mada su i one predstavljene u vasoj bazi?

To se danas u svetu ne cini. Prakticno je neizvodljivo medju knjigama prepoznati i izdvojiti one koje se mogu smatrati naucnim produktima. Ako, pak, hocemo da izbegnemo tu skupu operaciju, dospevamo u apsurdne situacije. Tako bi npr. najproduktivniji domaci autor u periodu koji SocioFakt pokriva bio dr Vojsilav Seselj sa 83 naslova. Sve te knjige referisane su u bazi zato sto su u nekom javnom bibliografskom servisu dobile UDK oznaku za drustvene nauke. Vec iz vecine naslova (Bal vampira, Siktanje crvene zmije i sl.) vidi se da tu uopste nije rec o naucnom stivu, mada ima i takvih knjiga koje naslov, sam po sebi, ne diskvalifikuje. Nijedna Seseljeva knjiga nije citirana ni u jednom od 17.495 radova koliko je referisano u SocioFaktu. Za deset godina Seselj je u bazi ostvario svega cetiri citata.

Dva poticu iz intervjua, a dva iz teksta "Kome je do politike neka osniva stranku", gde je jedan od koautora. Citati mu se, dakle, ticu vannaucnih sadrzaja. Vec to je dovoljno za zakljucak da Vojislav Seselj nije naucnik. Svaki sistem vrednovanja koji bi Seselja ucinio naucnikom bio bi pogresan. Pa ipak, jedna komisija i jedan dekan ucinili su upravo to, promovisuci ga u profesora i time u naucnika. Oni su to ucinili prema jos uvek vazecem Zakonu i svim, ,jos uvek vazecim, pratecim normativnim aktima koja uredjuju izbor u zvanja u Srbiji. Jedini moguci osnov za takvu odluku mogla je biti produktivnost kandidata izrazena knjigama. Vidi se, prvo, da broj objavljenih knjiga ne moze da posluzi kao merilo naucnog ucinka i, drugo, da nase propise treba hitno i radikalno menjati.

Napredak Hrvatske je ubedljivo najveci u regionu. On je ostvaren zahvaljujuci dobrim delom tome sto je odnedavna predstavljena u SSCI cak sa dva casopisa. I Slovenija je zastupljena s jednim, Srbija ni sa jednim. Na taj nacin, objavljujuci u nacionalnim casopisima, tamosnji autori direktno doprinose medjunarodnoj nauci i istovremeno ucinku sopstvene zemlje. Za male zemlje to i jeste najbolja i najjeftinija strategija ukljucivanja u medjunarodnu nauku. Citiranost nasih autora jos je niza od produktivnosti. U posmatranom periodu 4.745 nasih aktivnih autora ostvarilo je ukupno 1.509 citata. Sa prosecno 0,03 citata po aktivnom istrazivacu godisnje Srbija svakako ne spada u naucno bogate zemlje. Iz nekih uporednih podataka vidi se da je stanje jedva nesto bolje u domenu prirodnih, tehnickih i biomedicinskih nauka. Govorite o evaluaciji kao medikamentu za ozdravljenje nase nauke. U podnaslovu knjige koju ste pripremili na osnovu EINUS-a kazete da idemo u susret "evaluativnoj drzavi". O cemu je rec? "Evaluativna drzava" je doktrina upravljanja javnim, pa tako i naucnim sektorom. Nastala je u SAD pocetkom devedesetih i ogleda se u sloganu "postavi ciljeve i meri progres". U naucnom sektoru ona je usredsredjena na otklanjanje dve najvaznije slabosti savremene nauke: narusen (eticki) integritet i nedovoljnu drustvenu korisnost. Osnovana su zasebna tela koja se bave sprecavanjem zloupotreba u nauci, narocito u vezi s postovanjem konkursnih procedura. Promene se odvijaju i na organizacijskom planu. Da bi se nauka ucinila plodotvornijom razvijene su nove (medju)institucije koje nauku povezuju s privredom: naucni parkovi, inovacioni centri i sl. Novu doktrinu su u potpunosti preuzele Svetska banka, MMF, EU i druge medjunarodne institucije s kojima sada zasnivamo saradnju. Time je sve receno.

Naucni sektor se, dakle, i na Zapadu temeljno preuredjuje, sto se jednako opisuje kao "tranzicija". Prema tome, nama predstoji dvostruka tranzicija: jedna iz "socijalisticke" nauke u "kapitalisticku" i druga, kojom se nauka, bila ona kapitalisticka ili socijalisticka, prevodi u odgovornu i efikasnu. U prilici smo da to obavimo jednokratno. Neke zemlje na Istoku to su cinile sukcesivno i sada priznaju gresku. Kako to zamisljate u organizacionom smislu?

Za transformaciju naucnog sektora mora biti odgovorna vlada, njeno ministarstvo za nauku. Taj proces ce potrajati, a pojedine akcije bice manje ili vise efektivne. U zavisnosti od toga menjace se i rezultati grupnih i pojedinacnih subjekata koji deluju u tom sektoru. Rezultati moraju da se mere, a merenje mora da se odvija kontinuirano i prema odgovarajucoj metodologiji. Svaki pojedinacni rezultat mera je uspesnosti subjekta na koga se odnosi. Uzeti zbirno ti isti rezultati pokazuju ucinak Ministarstva u ostvarivanju ciljeva reforme. Danas se npr. na osnovu EINUS-a vidi da je ucinak srpske nauke u doba ministra Kanazira bio bolji nego u vreme ministra Unkovica i njegove prethodnice g-dje Trajkovic, dok je za mandata ministra Ivkovica bio porazan.

Ako se predstojecim promenama ne pristupi na taj nacin, napretka prema postavljenim ciljevima, ili nece biti, ili ga nece biti mogucno dokazati, a to se u demokratskom drustvu svodi na jedno.

Da li je to izvodljivo u nasim uslovima? Koliko i na koji nacin nalazi iz EINUS-a mogu biti korisni?

Izvestaj pokazuje da je objektivna evaluacija i u nas moguca. Pokazatelji ucinka domacih casopisa obezbedjuju uslove za njihovu selektivnu podrsku, saglasno kvalitetu i uticajnosti, dok citiranost stranih casopisa omogucuje ustede i nabavku u skladu s realnim potrebama istrazivaca. Koristan je i nalaz da je nauka uspesnija kada je smestena na univerzitetu, cime se potvrdjuju inostrana iskustva. Mada samostalni instituti publikuju vise, citiranost, posebno RCI kao merilo kvaliteta, sistematski je na strani univerzitetskih katedara. Beogradski univerzitet ima najveci ucinak, pa i na pokazateljima koji uzimaju u obzir broj zaposlenih. Medjutim, rang preostalih ne odgovara uvrezenim predstavama. Iznenadjuje npr. visok ucinak univerziteta u Kragujevcu, najvisi posle BU, cemu istini za volju doprinosi i njegova "krnja" struktura, tj okolnost da ne sadrzi manje produktivne fakultete.

Neprijatno je nizak ucinak nevladinih organizacija koje se bave visokim obrazovanjem. One po autoru imaju najnizu citiranost, nizu cak i od univerziteta u Pristini. Ne vidi se npr. naucno pokrice za visokoskolski status Fakulteta za internacionalni menadzment ili Megatrenda. Stanje nije bolje ni na nekim drzavnim fakultetima, medju kojima jedan, beogradski, ima ucinak u ravni predskolskih ustanova. Inace, naucni doprinos vannaucnih ustanova obuhvata cak petinu produkcije, sto je mnogostruko vise nego u razvijenim zemljama i sto otvara nelagodna pitanja. Cini se da potreba za nekakvom, kakvom-takvom evaluacijom institucija akademskog sektora u Srbiji, nije samo nuzna, vec i urgentna. Ocekujete li neprijatnosti kada podaci postanu javno dostupni?

Da, ali tu se nista ne moze. Nasa naucna zajednica vec se izjasnila, a najodredjenije na jednom skupu SANU 1996. godine, za objektivnu i javnu evaluaciju. Naravno, ima i onih koji nece biti srecni sto se posredstvom baze njihovi radovi cine vidljivima. Treba se setiti da je skandalozno i drsko plagiranje poljskog "naucnika", A. Jendryczkog, otkriveno tek kada su njegovi radovi uneti u jednu bibliografsku bazu. Takve baze postoje i zato da sud javnosti ne spava. U Srbiji se danas prekrajaju biografije, a s njima i bibliografije. Izostavljaju se reference ili sakrivaju njihovi delovi. Ta pojava, koja se inace lako dijagnositikuje u procesu izrade baze, pre izaziva sazaljenje nego revolt. Zametanje knjiga sigurno nije sto i zametanje hladnjaca. Ali steta kolikogod da nije jednaka, iste je vrste.

Steta bi bilo da Srbija posle svega ostane zemlja u kojoj ce ljudi nastaviti da ispisuju reci po javnim mestima sa znanjem da ce sutra, ako to bude nuzno ili samo korisno, moci jednostavno da ih obrisu. Sa valjanom evidencijom u nauci, a potom i u politici i drugde, i s evaluacijom na osnovu evidencije, to ce unekoliko biti manje mogucno i Srbija ce za toliko biti bolja.

Vise o SocioFactu mozete naci na Web-sajtu:

http://www.ceon.org.yu