Artykuł podejmuje kwestie omówienia zagadnień związanych z ewaluacją działań podejmowanych w sferze szeroko rozumianego zdrowia publicznego, a więc pokazuje czy i w jakim stopniu realizacja zadań publicznych dotyczących zdrowia mieszkańców Polski oparta jest o zasadę evidence-based policy.

Obecność ewaluacji w zdrowiu publicznym

Jak wiadomo, w trakcie prac nad opracowywaniem nowych leków przyjęta została w branży farmaceutycznej doktryna EBM (ang. evidence-based medicine), która mówi o tym, że każdy lek przed uzyskaniem pozwolenia na wprowadzenie do obrotu musi uzyskać pozytywną ocenę w zakresie jego jakości, bezpieczeństwa oraz skuteczności stosowania u ludzi, prowadzoną w ramach badań klinicznych, po uprzednim pomyślnym zakończeniu fazy badań przedklinicznych na zwierzętach.

Zanim to nastąpi prowadzone są liczne prace naukowe (chemiczne, biotechnologiczne, farmakologiczne) typu research & development (R&D), mające na celu syntezę cząsteczek i wyłonienie tych rokujących pomyślnie dla potencjalnych terapii i tych, które będą mogły zostać w ogóle poddane badaniom (przed)klinicznym.

Wszystkie ww. działania mają charakter stricte naukowy i w podejmowaniu decyzji o końcu/rozpoczęciu prac nie dopuszcza się tu do zaistnienia żadnego wyjątku. Analizy oparte o zasadę EBM realizowane są początkowo w celu złożenia wniosku o rejestrację produktu leczniczego. Etap wprowadzenia leku do obrotu nie jest jednak ostatnim, który wykorzystuje naukowe „dowody” w celu podjęcia/wydania decyzji administracyjnej.

Kolejnym jest etap wnioskowania o refundację produktu leczniczego, na którym to ponownie Minister Zdrowia jako regulator – przy eksperckim zaangażowaniu w ten proces Agencji Oceny Technologii Medycznych i Taryfikacji (dalej: AOTMiT), a dokładnie Rady Przejrzystości oraz Prezesa AOTMiT, a następnie Komisji Ekonomicznej przy Ministrze Zdrowia – bada szereg cech leku, warunkujących uzyskanie przez podmiot odpowiedzialny (firmę farmaceutyczną) wsparcia finansowego ze środków NFZ w postaci refundacji poniesionych wydatków związanych z produkcją, dystrybucją i sprzedażą leków.

Kolejne naukowe oceny (ewaluacje) jakości leku wynikają z badań typu RWE (ang. Real World Evidence), prowadzonych w warunkach stosowania już zarejestrowanego leku (praktyki klinicznej) czy też monitorowania jego działań niepożądanych (ang. Pharmacovigilance).

Mając na uwadze powyższe, należy stwierdzić, że leczenie farmakologiczne, które niewątpliwie stanowi jeden z najważniejszych elementów „medycyny naprawczej”, służącej ratowaniu życia oraz poprawie zdrowia pacjentów, opiera się w znacznym stopniu na wiedzy płynącej z różnorodnych badań naukowych – chemicznych, biotechnologicznych, formulacyjnych, klinicznych, farmakoekonomicznych oraz ocen lekowych technologii medycznych, HTA (ang. Health Technology Assesment).

Wszystkie te badania czy analizy mają na celu zminimalizowanie strat wynikających z korzystania przez pacjenta z dostępnych w obrocie leków i maksymalizowanie efektu zdrowotnego. Oczywiście leki nie są w 100% bezpieczne i skuteczne, gdyż każdy lek sam w sobie może powodować szereg działań niepożądanych (co eliminuje pewność na temat bezpieczeństwa jego stosowania u każdego człowieka), a wielolekowość (polipragmazja) – szereg niepożądanych interakcji pomiędzy różnymi lekowymi technologiami medycznymi.

Poza tym ich stuprocentową skuteczność ogranicza szereg czynników behawioralnych, takich jak stosowanie się pacjenta do zaleceń z ulotki/charakterystyki produktu leczniczego (dalej: ChPL) czy zaleceń profesjonalistów medycznych – lekarzy/farmaceutów, a więc zjawiska zwane „compliance”/”adherence”, czy też nadużywanie leków i inne zachowania, których nie da się przewidzieć ani w pełni kontrolować.

Ewaluacja to zgodnie z przyjętym podejściem akademickim: „ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego usprawnienia, rozwoju lub lepszego rozumienia” [1].

Zgodnie z zapisami Standardów Ewaluacji, wypracowanych przez Polskie Towarzystwo Ewaluacyjne (PTE): „Ewaluacja ma na celu poprawę jakości działań (w tym polityk publicznych) poprzez zwiększenie ich adekwatności, skuteczności, użyteczności, efektywności i trwałości.”

Ewaluacja jest procesem wywodzącym się przede wszystkim z nauk społecznych (nauk o zarządzaniu), a więc nieco inaczej niż część badań i analiz wykorzystywanych w przemyśle farmaceutycznym, które bazują na wiedzy wynikającej z nauk ścisłych (fizyka, chemia, biologia, medycyna).

Jednak podobnie jak badania kliniczne, ocena technologii medycznych czy analiza farmakoekonomiczna, ewaluacja wykorzystuje teorię i warsztat (metody i techniki badawcze/analityczne) zaczerpnięte ze statystyki, ekonomii, socjologii i psychologii (społecznej) [1].

Jednocześnie ewaluacja jest procesem bliskim innym rodzajom działań publicznych o charakterze analitycznym, szczególnie jeżeli przyjrzymy się niektórym stosowanym w badaniach ewaluacyjnych metodom i technikom gromadzenia i/lub analizy danych.

Mowa tu przede wszystkim o metodach eksperymentalnych, które w ewaluacji znajdują coraz powszechniejsze zastosowanie (badania eksperymentalne i quasi-eksperymentalne z grupą kontrolną – tzw. CIE (ang. Counterfactual Impact Evaluation)), natomiast stosowane w badaniach klinicznych stanowią o największej mocy dowodowej – badania randomizowane, RCT (ang. Randomized Controlled Trial).

Warto zatem zadać sobie szereg pytań związanych z tym, czy zdrowie publiczne wykorzystuje w wystarczającym stopniu podejście wypracowane w ocenie lekowych technologii medycznych, wykazując związek podejmowanych decyzji politycznych z wynikami analiz o charakterze ekonomicznym oraz oceną jakości planowanych i zrealizowanych działań.

Taki związek jest możliwy do zaobserwowania w ramach polityki zdrowotnej realizowanej w Polsce, niemniej jednak nie jest on tak silny, jak w obszarze samej polityki lekowej. Ważny wysiłek dotyczący prowadzenia polityki zdrowotnej w obszarze zdrowia publicznego z zastosowaniem zasady evidence-based policy stanowią inicjatywy ustawodawcze w zakresie przypisania zadań AOTMiT czy zapisy programów ogólnokrajowych w obszarze zdrowia publicznego, takich jak Narodowy Program Zdrowia (dalej: NPZ).

Stanowią one wkład w rozwój ewaluacji w zdrowiu publicznym. W tym kontekście warto zwrócić również uwagę na ustawodawstwo i programy z zakresu zdrowia publicznego, które również mają zaimplementowane mechanizmy zbierania informacji o efektach podejmowanych działań.

Mowa tu przede wszystkim o ustawie z dnia 11 września 2015 r. o zdrowiu publicznym (Dz. U. z 2018 r. poz. 1492 t.j.), która określa zadania z zakresu zdrowia publicznego, podmioty uczestniczące w realizacji tych zadań i zasady ich finansowania oraz wydanym na mocy delegacji z art. 12 ust. 11 tej ustawy rozporządzeniu Ministra Zdrowia z dnia 21 grudnia 2016 r. w sprawie rocznej informacji o zrealizowanych lub podjętych zadaniach z zakresu zdrowia publicznego, które określa sposób przekazywania rocznej informacji o zrealizowanych lub podjętych w ubiegłym roku zadaniach z zakresu zdrowia publicznego.

Sama ustawa z dnia 11 września 2015 r. o zdrowiu publicznym mówi o tym, że do zadań ministra właściwego do spraw zdrowia w zakresie koordynacji zadań z zakresu zdrowia publicznego należy m.in. przygotowanie projektu NPZ, a także sporządzanie informacji o zadaniach z zakresu zdrowia publicznego zrealizowanych lub podjętych w danym roku, wraz z ich ewaluacją.

Ustawa tworzy także Radę do spraw Zdrowia Publicznego, pełniącą funkcję opiniodawczo-doradczą dla ministra właściwego do spraw zdrowia, do zadań której należy m.in. opiniowanie projektu NPZ i ewaluacja wdrażania tego Programu. Jednocześnie zgodnie z przepisami ustawy w ramach NPZ określa się wskaźniki i sposób monitorowania i ewaluacji tego Programu.

Zgodnie z przepisami tej ustawy, organy administracji rządowej (z wyłączeniem wojewody), agencje wykonawcze oraz inne państwowe jednostki organizacyjne uczestniczące w realizacji zadań z zakresu zdrowia publicznego przekazują ministrowi właściwemu do spraw zdrowia roczną informację o zrealizowanych lub podjętych w ubiegłym roku zadaniach z zakresu zdrowia publicznego.

Jednostki samorządu terytorialnego (dalej: JST) są natomiast zobowiązane do przekazania bezpośrednio wojewodzie informacji o zrealizowanych lub podjętych w ubiegłym roku zadaniach z zakresu zdrowia publicznego w terminie do dnia 31 marca każdego roku.

Wojewoda na podstawie informacji, nadesłanych przez JST przygotowuje informację zbiorczą wraz z opinią dotyczącą zgodności zrealizowanych lub podjętych zadań z priorytetami dla regionalnej polityki zdrowotnej, o których mowa w art. 95c ustawy z dnia 27 sierpnia 2004 r. o świadczeniach opieki zdrowotnej finansowanych ze środków publicznych, a następnie wraz z informacjami o zadaniach zrealizowanych przez niego w okresie objętym sprawozdaniem przekazuje ministrowi właściwemu do spraw zdrowia do dnia 30 września każdego roku.

Tego typu obowiązki sprawozdawcze noszą w pewnym sensie znamiona procesów monitorowania i ewaluacji, gdyż ich celem jest gromadzenie, analiza, ocena i pokazanie efektu działań publicznych.

Podobnie jak w przypadku ww. ustawy, również w treści NPZ 2016-2020 kilkanaście razy jest mowa o ewaluacji, w tym ewaluacji samego NPZ, która prowadzona ma być w trakcie całego okresu realizacji Programu.

Dodatkowo NPZ nakłada na szereg instytucji podległych MZ (Krajowe Biuro do Spraw Przeciwdziałania Narkomanii (dalej: KBPN), Państwowa Agencja Rozwiązywania Problemów Alkoholowych (PARPA), Instytut Psychiatrii i Neurologii (dalej: IPiN)) zadania dotyczące okresowej ewaluacji funkcjonowania systemu rekomendacji programów profilaktycznych i promocji zdrowia psychicznego oraz realizowanych programów profilaktycznych.

Jako jedno z zadań NPZ ustanowiono również prowadzenie badań ewaluacyjnych programów profilaktycznych, które mają być realizowane przez podmioty wybrane w drodze konkursów ogłaszanych przez MZ. Ewaluacja zdrowia publicznego w znacznym zakresie znajduje zastosowanie w przypadku przeciwdziałania narkomanii.

Zadania dotyczące KBPN polegają m.in. na okresowej ewaluacji działań i programów adresowanych do osób uzależnionych od środków odurzających, substancji psychotropowych i/lub nowych substancji psychoaktywnych, w celu podnoszenia jakości tych programów, a także wspieraniu badań naukowych, epidemiologicznych oraz badań ewaluacyjnych dotyczących uzależnień behawioralnych oraz skutecznych metod rozwiązywania problemów z nimi związanych.

KPBN na swoich stronach internetowych zamieściła Mini-przewodnik po procesie badań ewaluacyjnych programów profilaktycznych i przeciwdziałania narkomani [2], a także inny zagraniczny dokument instruktażowy dotyczący prowadzenia ewaluacji pn. „Guidelines for the evaluation of drug prevention. A manual for programme-planners and evaluators” [3].

Świadczyć to może o tym, że ewaluację traktuje się w obszarze profilaktyki przeciwdziałania narkomanii i leczenia uzależnień jako potrzebne i użyteczne narzędzie, dostarczające wiedzy o skuteczności prowadzonych działań.

Ewaluacja w obszarze zdrowia publicznego obecna jest jednak przede wszystkim w działalności AOTMiT. Ma to związek z nadaniem tej instytucji odpowiednich uprawnień i nałożeniem obowiązków ustawowych. Podejście do stosowania EBM w postaci analiz farmakoekonomicznych czy HTA wyewoluowało z obszaru polityki lekowej i stopniowo przeniesione zostaje na poziom szeroko rozumianej polityki zdrowotnej.

Można powiedzieć, że ewaluacja w rozumieniu AOTMiT jest bliższa bardziej ocenie technologii medycznych niż ocenie wdrażania polityki publicznej. Przejawia się ona w dwóch czynnościach – opiniowaniu założeń programów polityki zdrowotnej i gromadzeniu informacji na temat wyników realizacji tych programów, pozyskiwanych od ich realizatorów.

Opiniowaniu programów polityki zdrowotnej (dalej: PPZ) poświęcony został art. 48a ustawy z dnia 27 sierpnia 2004 r. o świadczeniach opieki zdrowotnej finansowanych ze środków publicznych, natomiast wydawaniu rekomendacji w sprawie zalecanych technologii medycznych, działań przeprowadzanych w ramach programu oraz warunków realizacji PPZ, dotyczących danej choroby lub danego problemu zdrowotnego – art. 48aa ww. ustawy.

W uzupełnieniu do przepisów tej ustawy szczególnie istotne znaczenie dla systemu oceny PPZ ma rozporządzenie Ministra Zdrowia z dnia 22 grudnia 2017 r. w sprawie wzoru programu polityki zdrowotnej, wzoru raportu końcowego z realizacji programu polityki zdrowotnej oraz sposobu sporządzenia projektu programu polityki zdrowotnej i raportu końcowego z realizacji programu polityki zdrowotnej.

W załączniku nr 1 do przedmiotowego rozporządzenia Minister Zdrowia określił sposób monitorowania i ewaluacji programu polityki zdrowotnej. Mówi on m.in. o tym, że ewaluację należy rozpocząć dopiero po zakończeniu realizacji programu polityki zdrowotnej. Zastrzega się więc obowiązek ewaluacji PPZ jedynie do ewaluacji ex post (strategicznej).

Ewaluacja opiera się na porównaniu stanu sprzed wprowadzenia działań w ramach programu polityki zdrowotnej i stanu po jego zakończeniu, z wykorzystaniem co najmniej zdefiniowanych wcześniej mierników efektywności odpowiadających celom programu polityki zdrowotnej.

Ewaluacja jest w tym kontekście analizą danych z PPZ, realizowaną w celu oceny efektów prowadzonych działań. Jest procesem rozpoczynającym się po zakończeniu działań programowych i wykracza poza okres realizacji PPZ. Monitoring i ewaluacja korzystać mogą z tych samych danych, ale służą czemu innemu.

JST realizujące PPZ są jednakże zobowiązane do dwutorowej sprawozdawczości, tj. składania raportów z programów polityki zdrowotnej (jeśli takie realizują) do AOTMiT oraz rocznej informacji o zadaniach z zakresu zdrowia publicznego do wojewody.

Nie istnieją opracowania zbiorcze z informacji o zrealizowanych czy planowanych programach zdrowotnych składanych przez JST, z wyjątkiem publikowanych zestawień przesyłanych przez wojewodów w ramach sprawozdania z wykonania ustawy o zdrowiu publicznym, gdzie można znaleźć dane o zrealizowanych programach polityki zdrowotnej.

Do maja 2019 r. do AOTMiT wpłynęły 63 raporty końcowe w 2018 r. oraz 96 raportów w 2019 r. Nie ma jednak dostępu do podsumowania wyników realizacji tych programów (PPZ), które mogłobystanowić cenną informację dla decydentów, w tym policy makers i innych interesariuszy.

W odniesieniu do monitorowania i ewaluacji przedstawiane są w raportach końcowych m.in. dane dotyczące osiągniętych wskaźników produktu, takich jak liczba pacjentów uczestniczących w programie czy też wyniki pomiaru satysfakcji z udziału w tym programie.

Raporty zawierają dane wskazujące na skalę działań (input i output) oraz wyniki subiektywnych badań opinii uczestników programów. Niestety brakuje wymogu oceny poprawy stanu zdrowia adresatów programów, czyli de facto oceny faktycznego oddziaływania PPZ.

W artykule naukowym pn. Ewaluacja programów zdrowotnych – od teorii do praktyki [4] mowa o tym, że w naszym kraju brakuje wystandaryzowanych zaleceń i wytycznych, które byłyby narzędziem ułatwiającym proces planowania, implementacji i ewaluacji programu zdrowotnego.

Jak twierdzą autorzy, schemat konstrukcji programu zdrowotnego rekomendowany przez AOTMiT jest co prawda narzędziem wpierającym realizację samorządowych programów zdrowotnych, ale dość ogólnie odnosi się w kilku punktach do uwzględnienia elementu ewaluacji w procesie planowania programu.

Badania empiryczne projektów programów zdrowotnych przedkładanych do AOTMiT przez jednostki samorządu terytorialnego [5] wskazują natomiast, że ponad połowa z nich w ogóle nie uwzględnia ewaluacji, a wśród tych, które ten element zawierają, zastosowane wskaźniki pomiaru w większości przypadków nie są właściwie dobrane.

Autorzy stwierdzają, że zakres materiałów mających na celu wsparcie podmiotów realizujących programy zdrowotne, jakie AOTMiT opracowuje i udostępnia na swojej stronie internetowej, uległ w ostatnich latach wzbogaceniu – załączone są wytyczne, opinie Agencji dotyczące poszczególnych wniosków i odpowiedzi na najczęściej zadawane pytania. Działania te należy ocenić pozytywnie.

Niemniej jednak nadal odczuwa się niedosyt, bowiem w dalszym ciągu kwestie związane z procesem ewaluacji programów zdrowotnych nie są należycie upowszechniane i rozwijane (brakuje np. narzędzi wspierających i przykładów dobrych praktyk w zakresie ewaluacji).

W związku z powyższym, zdaniem autorów artykułu, należy prowadząc działania szkoleniowe i edukacyjne z zakresu programów i promocji zdrowia, koncentrować się nie tylko na planowaniu, ocenie potrzeb zdrowotnych i wyborze właściwych metod działania, ale szczególną uwagę poświęcać także procesowi ewaluacji, upowszechnieniu uzyskanych wyników oraz dzieleniu się uzyskaną wiedzą ze wszystkimi zainteresowanymi stronami.

Należy skoncentrować się na wzroście świadomości realizatorów programów zdrowotnych w zakresie znaczenia, roli i korzyści ewaluacji. Ważny jest także wzrost tej świadomości wśród wszystkich interesariuszy, gdyż ich aktywny udział i zaangażowanie warunkują właściwe wykorzystanie uzyskanych wyników i nabytej wiedzy oraz doświadczeń.

Ponadto, bazując na doświadczeniach innych krajów, warto byłoby opracować, szeroko upowszechnić i wdrożyć stosowanie wytycznych ewaluacyjnych kierowanych do realizatorów programów promocji zdrowia w Polsce, z uwzględnieniem polskich systemowych uwarunkowań i z podaniem przykładów dobrych praktyk.

Stosowanie takich wytycznych wynika nie tylko z potrzeby, ale jest warunkiem koniecznym, którego spełnienie może wpłynąć na poprawę jakości i skuteczności wdrażanych programów promocji zdrowia w Polsce.

Tzw. „ustawa pilotażowa” wprowadziła na podstawie art. 48aa ustawy o świadczeniach instytucję rekomendacji dot. problemów zdrowotnych, które wydawane będą przez AOTMiT. Wydanie rekomendacji oznacza brak konieczności opiniowania PPZ, dla których wydano rekomendację, a także możliwość wezwania podmiotu do uzupełnień programu.

Repozytorium AOTMiT zostało udostępnione w 2019 r. Wagę i konieczność utworzenia takich narzędzi, jak ww. rekomendacje oraz repozytorium dostrzegł wykonawca ewaluacji zleconej przez MZ w 2018 r. pn. „Ewaluacja on-going realizacji celów V Osi Priorytetowej Programu Operacyjnego Wiedza Edukacja Rozwój (PO WER)” [6].

W raporcie końcowym z tego badania ewaluacyjnego wielokrotnie przytaczany jest problem – wskazywany przez beneficjentów programu PO WER (a dokładnie Działania 5.1 PO WER) i ekspertów zewnętrznych z systemu ochrony zdrowia – dotyczący ograniczenia w sprawnym opracowywaniu i wdrażaniu PPZ (nie tylko współfinansowanych z Europejskiego Funduszu Społecznego (EFS), ale również ze środków z budżetu JST), związanego z obowiązkiem każdorazowego uzyskiwania opinii AOTMiT odnośnie każdego zaplanowanego programu profilaktycznego.

Ostatecznie nie miało to wpływu na realizację projektów dofinansowanych z PO WER, niemniej jednak niepotrzebnie wydłużało czas potrzebny na ich wdrożenie. Autorzy raportu z niniejszej ewaluacji dostrzegli, że istotnym czynnikiem minimalizującym w pewnym zakresie tę niedogodność są szkolenia i warsztaty organizowane przez Agencję w zakresie opracowywanych programów profilaktycznych.

Dzięki takim spotkaniom instytucje zarządzające i pośredniczące – wdrażające programy profilaktyczne – pozyskują wiedzę dotyczącą właściwego sposobu opracowywania PPZ, a sama Agencja dowiaduje się o specyfice wsparcia z EFS i ograniczeniach w zakresie ich grup docelowych.

Jednocześnie warto zauważyć w ślad za ewaluatorem, że pomimo obostrzeń ustawowych wydłużających czas opracowania programów polityki zdrowotnej, realizacja projektów w przyjętym zakresie odbywa się aktualnie praktycznie wyłącznie dzięki istnieniu dofinansowania z EFS. Bez wparcia z środków europejskich liczba tych projektów byłaby znacznie ograniczona.

Biorąc pod uwagę zdiagnozowany problem, ewaluator popiera rozwiązanie ustawowe związane z utworzeniem repozytorium gotowych programów profilaktycznych, których realizacja nie wymagałaby już wydania nowej opinii przez ww. podmiot.

Zdaniem ewaluatora zmiana ta skutkowałaby eliminacją problemu wynikającego z długotrwałego procesu opiniowania, który wskazywany był przez badanych beneficjentów jako przyczyna powstawania opóźnień w realizacji projektów. Ocenę taką potwierdzać mogą również wyniki Ewaluacji mid-term postępu rzeczowego i finansowego Programu Operacyjnego Wiedza Edukacja Rozwój (PO WER) 2014-2020 oraz wyliczenie wartości wskaźnika rezultatu długoterminowego [7].

Wykonawca tego badania ewaluacyjnego stwierdza w raporcie końcowym, że Działanie 5.1 PO WER jest najbardziej ryzykownym obszarem interwencji z EFS w sektorze zdrowia ze względu na
opóźnienia w opracowywaniu programów profilaktycznych oraz liczne trudności w ich wdrażaniu. Niezbędna jest koncentracja na szybkim zakończeniu prac nad pozostałymi programami profilaktycznymi, które mają być docelowo wdrażane.

W kontekście nowej perspektywy finansowej UE (2021-2027) wskazane jest przeprowadzenie analizy czynników wpływających na zaangażowanie Podstawowej Opieki Zdrowotnej (POZ) w programy profilaktyczne.

Co więcej, z ewaluacji tej wynika, że brak jest narzędzi rzetelnej oceny programów profilaktycznych pod kątem ich wpływu na zdrowie osób objętych programami zdrowotnymi. Tymczasem zdaniem ewaluatora, ocena rzeczywistych efektów zdrowotnych programów pilotażowych możliwa jest w perspektywie 5 – 10 lat.

Wymaga to porównania sytuacji osób uczestniczących i nieuczestniczących w tego typu programach, a co za tym idzie niezbędne jest wdrożenie mechanizmów oceny efektów zdrowotnych programów profilaktycznych w dłuższej perspektywie.

Nie sposób się z tym nie zgodzić, gdyż dotychczasowa ewaluacja PPZ (na poziomie opiniowania ich założeń i oceny efektów ich realizacji) prowadzona z poziomu AOTMiT jest wykonywana na poziomie każdego projektu oddzielnie, przez co nie jest tak efektywna i użyteczna, jakby została przeprowadzona na wielu projektach (lub choć reprezentatywnej próbie projektów), wdrażających podobny typ interwencji mogących przynieść tzw. „efekt skali”.

W ramach takiej ewaluacji możliwe byłoby dokonanie oceny faktycznych efektów populacyjnych programów, a także zrozumienie jakie mechanizmy warunkują sukces. W skali jednego projektu trudno dostrzec takie zależności i jeszcze trudniej przypisać efekty danej interwencji. Jednocześnie na poziomie analizy i oceny ex post zrealizowanych już projektów ewaluacja tak naprawdę nie jest zbyt obiektywna i w pełni profesjonalna, gdyż nie jest wykonywana przez specjalistów od HTA ani zdrowia publicznego, bowiem jest to autoewaluacja prowadzona przez samych realizatorów.

W tym aspekcie jest to zatem ewaluacja nieznacznie odbiegająca od monitoringu i kontroli, gdyż jest nieco pozbawiona eksperckiej oceny wynikającej z analizy nie tylko ilościowych, ale przede wszystkim jakościowych danych.

Próbą rozwiązania tego problemu, w opinii wykonawcy ww. badania, może być opracowanie koncepcji oceny skuteczności programów profilaktycznych, w tym szczególnie określenia zakresu potrzebnych danych i ich źródeł, a także realizacji dedykowanego projektu, służącego ocenie skuteczności programów profilaktycznych.

Problem barier w szybkiej realizacji wsparcia z EFS o charakterze profilaktycznych dostrzeżony został również w ewaluacji zrealizowanej na zlecenie Ministerstwa Inwestycji i Rozwoju pn. Metaanaliza wyników badań ewaluacyjnych dotyczących oceny wsparcia z EFS – raport cząstkowy 2018 [5].

Jak napisano w ww. raporcie, barierą dla wdrażania wsparcia w zakresie opracowania i realizacji programów profilaktycznych był przedłużający się proces przygotowania na szczeblu krajowym map potrzeb w zakresie ochrony zdrowia.

W raporcie tym podkreśla się, że wdrażanie programów profilaktycznych (zdrowotnych) jest jednym z tematów, które powinny być poddane ewaluacji. W przypadku programów profilaktycznych, realizacja badań ewaluacyjnych uzasadniona jest zdiagnozowanymi licznymi ryzykami, mogącymi ograniczyć trafność i skalę wsparcia.

Niezbędne jest prowadzenie bieżącego i wystandaryzowanego monitoringu realizowanych programów zdrowotnych, a także pomiaru efektów zrealizowanych programów.

Ewaluacja programów współfinansowanych ze środków europejskich

W ramach obecnej perspektyw finansowej źródłem finansowania PPZ mogą być środki z Europejskiego Funduszu Społecznego (EFS). Wsparcie finansowe z EFS obecne jest zarówno w programach operacyjnych realizowanych na poziomie ogólnokrajowym (takich jak PO WER), jak i wojewódzkim.

Regionalne PPZ, zwane powszechnie RPZ, są istotnym elementem strategii wojewódzkich i są aktualnie opracowywane i wdrażane w ramach regionalnych programów operacyjnych (dalej: RPO).

W ramach takich programów może zostać wybranych w trybie konkursowym wielu realizatorów, którzy będą je wdrażać. Projekty profilaktyczne realizują PPZ lub RPZ tylko wtedy, gdy uzyskały one pozytywną lub warunkowo pozytywną opinię Prezesa AOTMiT.

Dodatkowo PPZ/RPZ musi być przyjęty uchwałą Komitetu Sterującego ds. koordynacji interwencji EFSI w sektorze zdrowia (dalej: KS), który jest podstawowym gremium zrzeszającym przedstawicieli strony rządowej, samorządowej, a także organizacji spoza administracji, decydującym o sposobie alokowania środków z funduszy europejskich (wraz ze współfinansowaniem krajowym) na działania określone w strategicznym dokumencie Ministerstwa Zdrowia pn. Krajowe Ramy Strategiczne. Policy paper dla ochrony zdrowia na lata 2014-2020.

Koordynacyjna rola KS polega w szczególności na rekomendowaniu kryteriów wyboru projektów, mających za zadanie zapewnienie wysokiej jakości działań profilaktycznych, których zadaniem jest z kolei zapewnienie uniwersalności i spójności programów wdrażanych w poszczególnych regionach i na poziomie ogólnokrajowym.

Należy zatem pamiętać, że pomimo opiniowania Programów współfinansowanych z EFS przez AOTMiT, do rozpoczęcia ich realizacji konieczna jest wyrażona uchwałą zgoda KS. Co za tym idzie, działania dotyczące profilaktyki chorób dwukrotnie poddawane są weryfikacji, zanim będzie można rozpocząć ich realizację.

Pierwsza ma formę opinii AOTMiT, która jest de facto pewną formą ewaluacji ex ante, natomiast drugi etap stanowi procedura podejmowania decyzji o charakterze politycznym, kolegialnym (uchwała KS) i demokratycznym (przedstawiciele różnych stron).

Na pewno taka procedura sprzyja realizacji interwencji o dużej wartości merytorycznej, przemyślanych, trafnych i potencjalnie użytecznych, a także zgodnych z priorytetami zdrowotnymi i kierunkami reform określonymi na poziomie strategicznym.

Z drugiej strony jednak, podejście to jest często krytykowane przez samych interesariuszy systemu ochrony zdrowia za zbyt drobiazgowy i niepotrzebnie wydłużony charakter, który powoduje, że proces wyboru realizatorów projektów profilaktycznych jest opieszały i długotrwały.

Takie opinie potwierdzają badania ewaluacyjne zrealizowane na zlecenie Ministerstwa Zdrowia oraz Ministerstwa Inwestycji i Rozwoju (MIiR) [6]. W związku z potrzebą demarkacji wsparcia z EFS na poziomie krajowym/regionalnym przez MIiR (we współpracy z MZ), opracowane zostały Wytyczne w zakresie realizacji przedsięwzięć z udziałem środków Europejskiego Funduszu Społecznego w obszarze zdrowia na lata 2014-2020 [8].

Zgodnie z ww. wytycznymi rezultaty i produkty wdrożenia programów polityki zdrowotnej realizowanych przez MZ w ramach PO WER oraz przez samorządy województw w ramach RPO zostaną poddane ewaluacji. Ewaluacja powinna nastąpić w końcowej fazie wdrożenia RPZ lub bezpośrednio po jego zakończeniu i dotyczyć całości RPZ, nie zaś pojedynczych projektów go realizujących (wyjątkiem może być sytuacja, w której jeden projekt stanowi realizację całości RPZ).

Ewaluacja ta, zgodnie z ww. wytycznymi, powinna korzystać z danych zbieranych w trakcie realizacji RPZ (wartości mierników, wskaźników, informacji o ewentualnych problemach) i mieć również wymiar jakościowy, a nie tylko ilościowy. Jak dotąd 13 samorządów województw zaplanowało ewaluacje dotyczące oceny RPZ. Wyniki pierwszej z tych ewaluacji zostały odebrane w 2019 r. Niemniej jednak większość badań zostanie zrealizowanych w latach 2022 i 2023, co wynika z faktu, iż ewaluacja RPZ jest ewaluacją typu ex post – realizowaną po zakończeniu wdrażania interwencji.

Dopiero wtedy będzie bowiem możliwa właściwa ocena efektów ich realizacji. Ponadto projekty wdrażające PPZ, realizowane ze środków PO WER na poziomie ogólnokrajowym, zostaną poddane w 2020 r. ewaluacji zleconej przez MZ.

Co dalej z ewaluacją zdrowia publicznego w Polsce

Polski system ochrony zdrowia prowadzi działania w zakresie zdrowia publicznego głównie poprzez działania strategiczne, w ramach, których ewaluacji nadano już pewne znaczenie, choć wydaje się, że wciąż istnieje przestrzeń, w ramach której można ją w większym stopniu wykorzystać.

Ministerstwo Zdrowia zajmuje się ewaluacją zdrowia publicznego chociażby poprzez nadzorowanie realizacji NPZ, który przewiduje wykorzystanie ewaluacji do oceny efektów podejmowanych działań, jak i procesu ich wdrażania. Element analityczny w zdrowiu publicznym w postaci ewaluacji jest niewątpliwie obecny w działaniach AOTMiT.

Ewaluacja jest często łączona z monitorowaniem, gdyż procesy te są zwykle współzależne i przenikają się oraz uzupełniają. Dlatego zarówno w kontekście NPZ, jak i wytycznych i zaleceń AOTMiT, są one traktowane jako praktycznie jeden element.

Ocena technologii medycznych (HTA) wyszła już z wąsko rozumianego obszaru klinicznego (ocena leków) i zaczęła obejmować programy z zakresu zdrowia publicznego. Na podstawie analizy przytoczonych źródeł wydaje się jednak, że wytyczne AOTMiT odnośnie oceny efektów PPZ nie formułują kompleksowego podejścia i metodologicznie nie są zbyt restrykcyjne.

Ewaluacja jest w nich rozumiana dość wąsko, a metodyka prowadzenia ewaluacji programów oparta jest raczej na deklaracjach samych realizatorów i uczestników interwencji niż o „twarde” dane, wypływające z bardziej wiarygodnych badań eksperymentalnych, czy też dane administracyjne.

Można powiedzieć, że poza tym „ciężar” ewaluacji przerzucony został na samych realizatorów PPZ, a więc mamy tu tak naprawdę do czynienia z autoewaluacją, czyli zgodnie z definicją Polskiego Towarzystwa Ewaluacyjnego – ewaluacją realizowaną przez podmiot znajdujący się w strukturach organizacyjnych ewaluowanego przedsięwzięcia i – co więcej – jedynie ewaluacją podsumowującą (ex post), która nie pozawala na bieżącą korektę ocenianych przedsięwzięć.

Poza tym, należy pamiętać, że wszelkie wytyczne i opinie AOTMiT w zakresie sposobu prowadzenia ewaluacji pozostają tylko zaleceniami (tzw. soft law), w związku z czym istnieje ryzyko niewielkiej rozliczalności z efektów realizatorów PPZ, subiektywizmu i wyrywkowości procesu ewaluacji.

Pomimo, iż wśród niektórych instytucji systemu ochrony zdrowia w Polsce ewaluacja to jeszcze nadal proces słabo ustrukturyzowany, to m.in. dzięki zaimplementowaniu w prawie powszechnie obowiązującym w Polsce przepisów związanych z koniecznością oceny przedsięwzięć finansowanych ze środków publicznych w obszarze ochrony zdrowia, temat ewaluacji programów w zdrowiu publicznym zaczyna aktualnie zyskiwać na znaczeniu.

Od kilku lat widoczny jest również wyraźny wzrost zainteresowania analizą danych w ochronie zdrowia. Systematyczna ewaluacja, co dostrzega zarówno Ministerstwo Zdrowia, jak i niektóre inne instytucje podległe i nadzorowane przez MZ, takie jak AOTMiT czy KBPN, ma istotne znaczenie dla prowadzenia polityki zdrowotnej i podejmowania decyzji politycznych w obszarze zdrowia, gdyż może dostarczać cennych rekomendacji i pozwalać identyfikować problemy oraz unaoczniać mechanizmy prowadzące do osiągania sukcesu wdrażanych interwencji publicznych.

Wydaje się więc, że ewaluacja może stać się niedługo jednym z ważniejszych elementów zarządzania i źródeł podejmowania decyzji w systemie ochrony zdrowia, w tym z zakresu zdrowia publicznego. Dlatego też na pewno, pomimo obiektywnych przeszkód, warto ją dalej rozwijać, upowszechniać wiedzę na jej temat i korzystać jak najwięcej z jej wyników.

Autor:
mgr Michał Sułkowski

Artykuł pochodzi z 51. numeru kwartalnika „Farmakoekonomika Szpitalna”

 

Źródła:

1. Polskie Towarzystwo Ewaluacyjne. O ewaluacji: Czym jest ewaluacja? http://pte.org.pl/o-ewaluacji/ (stan z dn. 25.07.2019 r.).
2. Mini-przewodnik po procesie badań ewaluacyjnych programów profilaktycznych i przeciwdziałania narkomanii. www.kbpn.gov.pl/portal?id=15&res_id=472315 (stan z dn. 25.07.2019 r.).
   3. E.M.C.D.D.Α. Guidelines for the evaluation of drug prevention. http://www.emcdda.europa.eu/system/files/publications/144/manual1_222754.pdf (stan z dn. 25.07.2019 r.).
   4. Domagala A., Dubas-Jakóbczyk K., Topor-Mądry R.: Ewaluacja programów zdrowotnych – od teorii do praktyki (Article in Polish). Alergoligia Info. 2015;1:108-114.
   5. Cianciara D., Rdzany R.: Planowanie samorządowych programów zdrowotnych. Część III. Monitorowanie i ewaluacja. Hygeia Public Health. 2015;50(1):97-103. 5. Fundusze dla zdrowia. Ocena jakości i efektywności wdrażania POWER. http://zdrowie.gov.pl/epublikacja-56-ocena_jakosci_i_efektywnosci_wdrazania.html (stan z dn. 25.07.2019 r.).
   6. Ministerstwo Inwestycji i Rozwoju. Ewaluacja mid-term postępu rzeczowego i finansowego Programu Operacyjnego Wiedza Edukacja Rozwój 2014-2020 (PO WER) oraz wyliczenie wartości wskaźnika rezultatu długoterminowego. Raport końcowy. https://www.power.gov.pl/media/78644/Mid-term_RK_11_09.pdf (stan z dn. 25.07.2019 r.).
   7. Evalu Sp. z o.o.: Metaanaliza wyników badań ewaluacyjnych dotyczących oceny wsparcia z EFS – raport cząstkowy 2018. https://www.power.gov.pl/media/60892/Metaanaliza_EFS_RCz_2018.pdf (stan z dn. 25.07.2019 r.).
   8. Wytyczne Ministra Inwestycji i Rozwoju w zakresie realizacji przedsięwzięć z udziałem
   środków Europejskiego Funduszu Społecznego w obszarze zdrowia na lata 2014-2020.https://www.funduszeeuropejskie.gov.pl/strony/o-funduszach/dokumenty/projekt-wytycznych-w-zakresie-realizacji-przedsiewziec-z-udzialem-srodkow-europejskiego-funduszu-spolecznego-w-obszarze-edukacji-na-lata-2014-2020/ (stan z dn. 25.07.2019 r.).