Polityka_blog_top_bill_desktop
Polityka_blog_top_bill_mobile_Adslot1
Polityka_blog_top_bill_mobile_Adslot2

10.07.2013
środa

Segregujemy się sami

10 lipca 2013, środa,

Zaskoczyło mnie pojawienie się na łamach Polityki artykułu Segregacja prasowa Sławomira Tumańskiego. Zawsze wydawało mi się, że problem jakości narzędzi oceny badań naukowych jest dla Polityki zbyt specjalistyczny. Tak zresztą uważają znajomi dziennikarze, z którymi na ten temat rozmawiałem i moi koledzy, znawcy bibliometrii, którzy przekonali się o tym, że ich doskonałe analizy nie znajdują uznania u redaktorów tygodników opinii mimo, że są krótkie i napisane w przystępny sposób. Jeśli więc piszą na ten temat, publikują w „Forum Akademickim”, które dociera do bardzo wąskiej grupy w środowisku akademickim. Owszem, pojawiło się kilka, a może nawet kilkanaście artykułów na tematy związane z listą filadelfijską i indeksem Hirscha, ale zawsze albo kogoś atakowały – a to się dobrze sprzedaje, albo starały się coś załatwić i – jak podejrzewam zostały napisane przez osoby dysponujące siłą przebicia.

 

Sławomir Tumański, profesor i redaktor naczelny miesięcznika „Przegląd Elektrotechniczny” atakuje listę filadelfijską. W ostatnim zdaniu artykułu diagnozę: „Choroba filadelfijska ma więc swoją polską odmianę – jest zadowolona z siebie grupa mistrzowska i sfrustrowana, bez szans na rozwój naukowy, reszta środowiska”. Oczywiście, jak dobry lekarz, proponuje też terapię: „Może warto pomyśleć o polskim instytucie oceniającym naukę i polskiej liście rankingowej. Pole do popisu maja też polscy europosłowie – dlaczego nie powołać obiektywnego instytutu europejskiego, podobnego do amerykańskiego”.

 

Zaniepokoiły mnie te dwa zdania. Uważam oba pomysły za absurdalne, ale pierwszy bez trudu może znaleźć poparcie wielu wpływowych osób, kierujących prowincjonalnymi uczelniami i instytutami badawczymi i mających dostęp do uszu polityków. Drugi natomiast dobrze wpisuje się w działania Unii Europejskiej, od czasu uchwalenia słynnej Strategii Lizbońskiej buduje wizerunek organizacji, dla której jednym z priorytetów jest przegonienie Stanów Zjednoczonych w badaniach i innowacji.

 

Artykuł profesora Tumańskiego jest dobrze skonstruowany. Przede wszystkim buduje obraz Instytutu Thomsona – twórcy Listy Filadelfijskiej – jako instytucji skrajnie elitarystycznej, działającej w sposób “niezupełnie jasny” lub wręcz “niezupełnie nieuczciwy”. Temu służy zapewne zabieg erystyczny, polegający tym, że pan profesor tłumaczy Master Journal List jako Listę Mistrzowską. A przecież master key, to nie jest klucz mistrzowski, lecz klucz uniwersalny, a master plan to nie plan mistrza, ani plan mistrzowski, tylko plan ogólny. Jeśli to błąd, to jest to błąd elementarny, studencki, którego przecież profesor nie mógłby popełnić. Trzeba więc uznać, że jest to manipulacja. Manipulacji jest więcej. Kolejna polega na podgrzewaniu starego sporu pomiędzy twórcami i urzędnikami: “Naukowcy nie godzą się na automatyzm urzędniczej oceny …”. A przecież, oparte o Listę Filadelfijską, algorytmy “oceny parametrycznej układali nasi koledzy profesorowie, członkowie KEJN – Komitetu Ewaluacji Jednostek Naukowych. Wcześniej Listę Filadelfijską jako podstawę oceny badań naukowych rekomendowało inne ciało profesorskie – KBN. Przeciętny czytelnik jednak tego nie wie, i po przeczytaniu artykułu Segregacja prasowa zobaczy biednego polskiego naukowca w kleszczach nieuczciwych amerykańskich korporacji i polskich, nie rozumiejących nauki, urzędników.

 

Będę bronił honoru Listy Filadelfijskiej – co oczywiście nie musi oznaczać, że jestem zwolennikiem traktowania jej z przesadną estymą i wykorzystywania jej do zadań, do których się nie nadaje. Lista ta jest konstruowana w sposób całkowicie przejrzysty i uczciwy. Nie ma zresztą żadnych powodów, aby ktokolwiek przy tworzeniu tej listy manipulował. Wymagania Instytutu Thomsona dotyczą spraw formalnych – publikacje muszą być recenzowane, poprzedzone streszczeniem, czasopismo musi ukazywać się regularnie. Są też dodatkowe wymagania, dla mnie i wielu moich kolegów oczywiste: czasopismo nie może być forum dla członków komitetu redakcyjnego, a grono czytelników nie powinno pokrywać się z listą autorów. Lista nie jest i nie pretenduje do listy czasopism elitarnych. Są na niej czasopisma bardzo kiepskie, także publikujące żenujące teksty.

 

Próba uczynienia z Listy Filadelfijskiej ekskluzywnego klubu, ma osłodzić fakt, że redagowane przez profesora Tumańskiego czasopismo znikło z tej listy, a pisma techniczne na tej liście można policzyć na palcach jednej ręki. Chciałbym zwrócić uwagę na fakt, że znika pojęcie narodowego czasopisma naukowego. Oczywiście jest niewielka grupa, na ogół wysoko cenionych, czasopism z tradycją, wydawanych przez uczelnie lub narodowe stowarzyszenia naukowe. Rynek czasopism naukowych jest jednak opanowywany przez komercyjne korporacje wydawnicze. Jest też na nim miejsce dla dużych międzynarodowych organizacji naukowych, takich jak choćby wymienione w artykule IEEE. Jest to zrozumiałe, gdyż w zglobalizowanym i skomercjalizowanym świecie jednym z najtrudniejszych zagadnień każdej instytucji jest znalezienie rynków zbytu dla swoich produktów, dotarcie do potencjalnych klientów i czytelników, a wydawców pojedynczych czasopism nie stać na finansowanie akcji marketingowych i dużych sieci dystrybucji. Nie ma więc powodu do załamywania rąk z powodu małej liczby polskich czasopisma liście filadelfijskiej. Uważam wręcz, że to dobrze. Odbiera bowiem młodym uczonym pokusę publikowania w czasopismach wydawanych przez swego mentora lub jego kolegów i zmusza do próbowania swoich sił na konkurencyjnym rynku międzynarodowym.

 

Z tekstu profesora Tumańskiego wyłania się bardzo smutny obraz polskiej nauki. Przede wszystkim odnosi się wrażenie, że publikacja jest celem do osiągnięcia awansu, że wartościowe są publikacje sławnych autorów. A przecież celem publikacji jest podzielenie się z kolegami pracującymi na całym świecie swoim odkryciem naukowym, nowym związkiem chemicznym lub lepszym wyjaśnieniem znanego zjawiska. Nowym algorytmem lub pomysłową konstrukcją. Jeśli uzyskane osiągnięcie jest ciekawe i ważne, opublikują je czołowe wydawnictwa na świecie. Nie trzeba być sławnym, żeby pisać do najlepszych czasopism. Trzeba mieć coś ciekawego do powiedzenia. Oczywiście, trzeba też umieć zredagować publikację tak, aby recenzent nie znający polskiego potrafił ją ze zrozumieniem, a najlepiej także z przyjemnością, przeczytać. To wymaga wysiłku, czasem pomocy bardziej doświadczonych kolegów, ale trzeba się tego nauczyć. Nie ma sensu bowiem publikować ważnych odkryć w wydawnictwach, których nikt nie czyta. A na publikowanie bezwartościowych szkoda czasu, papieru i farby drukarskiej.

 

Kilkanaście lat temu, gdy powołano Komitet Badań Naukowych i budowano zręby systemu oceny badań naukowych w Polsce, jednym z najważniejszych celów byłą walka z odziedziczoną po latach realnego socjalizmu izolacją polskiej nauki. Temu miało służyć oparcie metody punktacji czasopism na istniejących za granicą bazach danych. Wybrano największą i najbardziej znaną bazę, stworzoną przez ISI, mieszczący się w Filadelfii Instytut Informacji Naukowej, którą Andrzej Kajetan Wróblewski nazwał „listą filadelfijską”. Plan umiędzynarodowienia polskiej nauki udał się tylko częściowo – wciąż, o czym świadczy choćby tekst profesora Tumańskiego, znaczna część środowiska tkwi w zaścianku (wiele zostało do zrobienia).

 

Oczywiście zgadzam się z profesorem Tumańskim, że ocena osiągnięć naukowych nie może polegać na zliczaniu punktów. Nie wierzę, że uda się wymyślić algorytmiczny system odporny na pomysłowość niektórych pracowników naukowych i redaktorów czasopism. Prawie każdy potrafi podać kilka przykładów przypadkowych paradoksów lub mozolnie konstruowanych patologii. Niedawno musiałem przeczytać nową publikację publikacji trzech polskich uczonych. Lektura nie pozostawiała żadnych wątpliwości że dzieło nie zawierało żadnej nowej myśli, żadnej oryginalnej obserwacji, nie opisywało nowego eksperymentu ani nowych obliczeń. Nic. To oczywiście zdarza się bardzo często i nie warto byłoby o tym pisać, gdyby nie to, że czasopismo, w którym ten bubel został opublikowany, eksperci ministerstwa ocenili na maksymalną liczbę punktów – 50, oczywiście biorąc pod uwagę tak zwany impact factor czasopisma. Możliwe, że czasopismo jest doskonałe, a autorzy mieli niezwykłe szczęście bo ich dzieło trafiło do niedysponowanego recenzenta. Możliwe też, że impact factor został mocno dopompowany. Od lat wiadomo, jak to się robi. Już ponad 50 lat temu Derek J. De Solla Price w, przetłumaczonej na język polski i wydanej w Bibliotece problemów, książeczce – Mała Nauka, Wielka Nauka – opisał metody tworzenia pozorów wielkiej nauki poprzez wzajemne wspieranie się cytatami. A od tego czasu pojawiło się wiele nowych tricków.

 

Jaki stąd morał? Po pierwsze należy się bać listy filadelfijskiej, ani na siłę na nią wciskać. A jeśli już ktoś bardzo chce, aby czasopismo na trwałe się na liście filadelfijskiej znalazło, to nie może na stronie czasopisma pokazywać, że korzysta wyłącznie z recenzji pisanych przez Polaków. I musi dbać o to, by drukować dobre publikacje, niekoniecznie pisane przez zasłużonych i sławnych autorów. Po drugie, nie można przy ocenie badań naukowych opierać się tylko na jednej bazie danych. Jest wiele baz zawierających ważne i ciekawe informacje. Bezpłatny Google Scholar łatwiej oszukiwać, bo cytują każdy tekst w Internecie. Ale można się z niego dowiedzieć, że ktoś jest istotnie cytowany w niepublikowanych notatkach noblisty z Princeton, co może mieć większą wartość od cytowania przez słabego uczonego z przeciętnym czasopiśmie. Inna bezpłatna baza Microsoft Academic Search pozwala obliczyć impact factor czasopism i recenzowanych konferencji, które nie są indeksowane przez Instytut Thompsona, ale w niektórych środowiskach odgrywają rolę większa od czasopism i tam publikują głównie informatycy z MIT. Po trzecie jeśli musimy ocenić instytucję, a tym bardziej indywidualnego uczonego, nie możemy ograniczyć się do sprawdzenia liczby cytowań i dodawania punktów. Nawet niespecjalista może łatwo sprawdzić, czy duża liczba cytowań pochodzi od uczniów i kolegów z wydziału, czy też z czołowych ośrodków badawczych na świecie. A przede wszystkim róbmy dobrą naukę, wtedy będą nas cenić i cytować.

 

 

 

 

Reklama
Polityka_blog_bottom_rec_mobile
Reklama
Polityka_blog_bottom_rec_desktop

Komentarze: 8

Dodaj komentarz »
  1. Do wszystkiego trzeba podchodzic zdrowo-rozsadkowo. Wydaje mi sie, ze srodowisko w ktorym pracuja naukowcy wie kto co soba reprezentuje. Wziecie pod uwage ‚miary’ oceny pracownika naukowego pochodzacej z zagranicy jest jak najbardziej wskazane jak rowniez zwieksza obiektywizm bo nie zawsze ocena u nas jest miarodajna (moze byc zawyzona w przypadku blizszych znajomych lub tez zanizona gdy ktos kogos nie lubi).
    pozdrowienia

  2. Profesor T. co prawda nie radzi, jak były prezydent, żeby stłuc termometr, ale sugeruje stworzenie „naszego” termometru, z nasza skala przystosowana do naszych celów. A te cele to publikacje dające punkty potrzebne do kariery akademickiej, a nie publikacje cenione w kraju i na świecie. Trudno te cele pogodzić, ale naiwnością byłoby wierzyć ze zrobiłby to nowy krajowy instytut rankingowy.

  3. Pozwolę sobie w tym miejscu zadać pytanie troszkę nie na temat wpisu, za to o fundamentalnym znaczeniu dla naszej przyszłości. W kolejnej perspektywie finansowej UE na lata bodaj 2014-2020 przewiduje się znaczącą redukcję nakładów na infrastrukturę (autostrady i aquaparki) i znaczący wzrost nakładów na „wspieranie badań naukowych, rozwoju technologicznego i innowacji”, przy czym wsparcie to będzie skierowane na „wspólne działania przedsiębiorstw i instytucji naukowych”. Szacuje się, że środki przeznaczone na ten cel wyniosą ponad 11 mld euro. Docelowo od Polski wymaga się, by w 2020 r przeznaczała na B&R 1.7 %PKB, z czego 0.8% ma pochodzić z przedsiębiorstw. Wszystkie te liczby razem wzięte to niewyobrażalna (dla mnie małego uczelnianego pionka) góra pieniędzy.

    Jak Pan widzi szanse powodzenia tego projektu? Czy uczelnie są w stanie sprostać temu wyzwaniu? Czy też grozi nam wariant grecki? Moje dotychczasowe doświadczenia są bardzo pesymistyczne: przedsiębiorcy przez B&R z reguły rozumieją zakup gotowych technologii, natomiast jeżeli uczelnie są im do czegoś potrzebne, to chyba tylko by poprzez swoją obecność w różnych wnioskach grantowych zwiększyć prawdopodobieństwo otrzymania dotacji.

  4. Reklama
    Polityka_blog_komentarze_rec_mobile
    Polityka_blog_komentarze_rec_desktop
  5. Leszek Pacholski napisal:
    Sławomir Tumański, profesor i redaktor naczelny miesięcznika „Przegląd Elektrotechniczny” atakuje listę filadelfijską. W ostatnim zdaniu artykułu diagnozę: „Choroba filadelfijska ma więc swoją polską odmianę – jest zadowolona z siebie grupa mistrzowska i sfrustrowana, bez szans na rozwój naukowy, reszta środowiska”.

    A ja z ta opinia akurat sie zgadzam.

    Ale po kolei. W artykule prof. S. Tumanskiego jest jest sporo goryczy zwiazanej z usunieciem „Przegladu Technicznego’ z listy filadelfijskim po okresie dosc krotkiego pobytu tego czaspoisma na tej liscie. Atrykul prof. S. Tumanskiego jest w zwiazku z tym emocjonalny i nie zawsze spojny logicznie.

    Ale teza, ze lista filadefijska jest uzywana do tworzenie nowego porzadku, czesto w sposob dosc absurdalny jest wg mnie prawdziwa.

    Wg mnie przede wszystkim niewlasciwe jest wprowadzenie znaczenia IF i indeksu H z moca do dzialania wstecz. Gorzej parametry te sa wykorzystywane w sposob zupelnie bezkrytyczny np. przez instytucje grantowe, zachecane do takich praktyk przez naukowcow z instytutow badawczych, aby wykazac „slabosc” prowincjonalnych uczelni. Zapomina sie tylko przy tym, ze z to wlasnie instytutow badwczych nie ma zadnego pozytku. Tylko czy na pewno „zapomina sie”, czy byc to jest wlasnie element gry?

  6. @Zbyszek

    To jest wariant życzeniowy. Kwota 11 mld euro przestaje ekscytować, gdy uświadomimy sobie, że chodzi o okres 7 lat. Wychodzi raptem 1,57 mld euro rocznie, czyli dwukrotność tego, co obecnie. Oznacza to tylko tyle, że – przy zachowaniu liczności kadry – zamiast mieć finansowanie per capita na poziomie 14% niemieckiego będziemy mieli, być może, 28% niemieckiego. Oczywiście można podnosić argumenty o proporcjach budżetu. Fakt, polski jest siedem razy mniejszy od niemieckiego, ale nakłady inwestycyjne – w przeliczeniu na pracownika – muszą być zbliżone, aby mieć szanse na jakąkolwiek konkurencyjność. Cudów nie ma i z pustego nawet Salomon nie naleje.

    Dodatkowo widzę trzy problemy

    a) jak zadbać, aby nie powtórzyły się patologie POIG, gdzie uczelnie były tylko kluczykiem do Sezamu: „tu przybij, tu podpisz, a teraz spadaj ze swoją dolą i nie przeszkadza w prawdziwej produkcji”; aby środki nie zostały przejedzone na zwykłe zakupy inwestycyjne nie mające w sobie nic innowacyjnego,

    b) jak zadbać, aby poziom finansowania czysto bytowego pracowników przestał urągać jakimkolwiek standardom cywilizowanych krajów; aby asystent nie zarabiał nieomal najniższej krajowej, aby adiunkt nie musiał łapać dziesięciu fuch czy przerośniętej dydaktyki dla utrzymania rodziny. Rzucając ochoczo hasłem o kontraktach należy pamiętać o drugim elemencie kontraktu: kwoty muszą być wyższe niż w przypadku zwykłych etatów, bo z tych kwot muszą być sfinansowane – nieuniknione w warunkach niekompletnego pokrycia zleceniami/grantami – okresy przestojowe. O tak trywialnych kwestiach wie każdy w miarę rozgarnięty menadżer biznesowy negocjujący swój kontrakt.

    c) jak zadbać o właściwe proporcje podziału kwot pomiędzy projekty odtwórcze, średnio innowacyjne i bardzo innowacyjne. Rzecz nietrywialna, bo bez zbudowania pełnej piramidy skok cywilizacyjny poza pułapkę średniego rozwoju nie ma szans się udać. Wioską potiomkinowską nie zbuduje się gospodarki innowacyjnej. W okresie ostatnich dwudziestu lat bezmyślnym prywatyzowaniem i likwidowaniem doprowadzono do utraty znacznego zasobu informacji technologicznych. Czym innym jest teoria i technika laboratoryjna, a czym innym półtechnika i pełna instalacja. Różnica skali powoduje powstanie zupełnie innych problemów. Wszyscy wiedzą, jaka jest idea matryc ciekłokrystalicznych, ale tylko nieliczni potrafią te ekrany wyprodukować. Do czego dążę? Ano do tego, abyśmy nie poszli do przodu tak daleko, że nas z tyłu zabraknie. Projekty mające charakter generyczny, odtwórczy są absolutnie niezbędne dla zbudowania kompetencji technologicznych.

    I teraz mam dylemat. Czy cieszyć się nadchodzącą perspektywą 2014-2020 i możliwościami, czy – nauczony doświadczeniem – lękać się kolejnego „przewalania” pieniędzy.

  7. @Timus

    Profesor T. ujmując najbardziej eufemistycznie łka, gdyż replikuje „Wesele”: miałeś chamie złoty róg, ostał ci się ino sznur. A teraz po ewidentnej klęsce – wypadnięciu redagowanego czasopisma z JCR – próbuje tę klęskę racjonalizować według klasycznie polskiego schematu martyrologii, zwycięstwa moralnego etc.

    Popełnili identyczny błąd, jak w swoim czasie „Polimery”. I w identyczny sposób dostali po łapach. Nie można bezmyślnie pompować IF poprzez autocytowania w obrębie czasopisma, nie można bezmyślnie gwałtownie zwiększać podaży artykułów. Od redaktora naczelnego wymaga się umiejętności strategicznego zarządzania POLITYKĄ WYDAWNICZĄ a nie roztkliwiania się nad pojedynczymi artykułami, bo od tego są recenzenci. A jak widać w rozważanym przypadku, krzywa uczenia redakcji była bardzo płaska.

  8. Zbyszek napisał „przedsiębiorcy przez B&R z reguły rozumieją zakup gotowych technologii, natomiast jeżeli uczelnie są im do czegoś potrzebne, to chyba tylko by poprzez swoją obecność w różnych wnioskach grantowych zwiększyć prawdopodobieństwo otrzymania dotacji” – takiej sytuacji wykluczyć oczywiście nie można. Niemniej na myśl przychodzi mi pewna scenka z czasów radosnej twórczości. Profesorowie topowej politechniki krajowej „sprzedają” swoje dzieło na naradzie technicznej w zjednoczeniu. Konsternację wywołuje „bezczelny” inżynier, który całkowicie neguje wyniki prac, jako że wyniki są nie do przyjęcia z powodu nie technologicznych rozwiązań i absurdalnych kosztów. Sytuację „na szczęście” ratuje dyrektor usadzając inżyniera i tłumacząc pozostałym, że praca musi być odebrana bo uczelnia musi wykazać „przerób”. Czy obecnie nastąpiły jakieś zmiany? Ależ oczywiście! Nie ma już zjednoczeń soc-firm i inżynierów zadających trudne pytania.
    Podsumowując, możliwości są dwie, albo w polskim biznesie działają sami idioci, którzy nie inwestują we współpracę z uczelniami nad innowacjami, albo uczelnie w RP nie są w stanie niczego zaoferować i taniej i lepiej jest zakupić technologię za granicą.
    „Surowcowe” źródło składowej polskiego PKB nie pozostawia raczej wątpliwości.
    Przemysł PRL był mało efektywny, ale ta część uczelnianych kadr, która w nim uczestniczyła miała szansę rozwiązywać realne problemy i weryfikować tezy naukowe. Wraz z likwidacją całych sektorów czy rabunkową prywatyzacją całkowicie odcięto uczelnie od kontaktu z gospodarką. Zachodnie firmy nie będą dzielić się swoim know-how z polskimi akademikami. Pozostanie więc tworzenie makulatury lub w zasadzie „defraudacja” środków, paradoksalnie właśnie na przyzwoite badania, bo te będą stanowiły koszt polskiego podatnika składowych badań dobrych zespołów międzynarodowych, za które ten podatnik zapłaci drugi raz przy imporcie wyrobów i usług finalnych. No, ale co po niektórzy „podrasują” sobie „h”, ministerstwo wykaże się sukcesem oczywiście „czyjejś” pracy, obywatele otrzymają jasny przekaz o sukcesach nauki polskiej i w zasadzie większość będzie szczęśliwa lub nieświadoma, co na jedno wychodzi.

  9. Problemem nie sa wskazniki i ich sposob uzycia lecz podtrzymywanie niewydolnego i patologicznego systemu opartego na stopniach, tytulach, minimach i punktach, a nie na merytorycznej ocenie oraz zweryfikowanych osiagnieciach. Pozoranctwo-kontra-jakosc i etyka pracy.

    W takich warunkach nie ma szans na promocje i weryfikacje wiedzy, zdolnosci oraz indywidualnego sukcesu. Postep ogranicza sie tu do zmiany daty…?

    Probiezem wydolnego systemu szkolnictwa i nauki jest innowacyjnosc, to cos, co moze zainteresowac nawet… samego Conana: http://teamcoco.com/video/young-scientist-award-winner-eesha-khare-pt-1-06-13-13