Należy realizować tylko takie programy profilaktyczne, które są efektywne i dają spodziewane rezultaty. Warunkiem koniecznym jest zatem ich ewaluacja – podkreśla dr Katarzyna Okulicz-Kozaryn, psycholożka, adiunkt w Zakładzie Zdrowia Dzieci i Młodzieży Instytutu Matki i Dziecka w Warszawie.
Programy profilaktyczne. Dlaczego należy je ewaluować?
Dlatego, że ewaluacja jest sposobem na poznanie wartości tego, co robimy. Jeżeli realizujemy program nie poddając go ocenie, dużo tracimy. Nie wiemy, jak nasze działania są odbierane przez innych i jaki wpływ na to ma nasza praca. Jeżeli dowiadujemy się, że przynosi ona oczekiwane efekty, to umacnia nas w dalszym działaniu. Jeżeli okazuje się, że tych efektów nie ma albo są mniejsze niż oczekiwaliśmy, to dzięki ewaluacji możemy się dowiedzieć, co zmienić, aby osiągnąć lepsze rezultaty. Ewaluacja to obiektywna ocena każdego projektu na wszystkich jego etapach, zwłaszcza na etapie planowania, realizacji i mierzenia rezultatów. Dostarcza rzetelnych i przydatnych informacji i umożliwia wykorzystanie zdobytej wiedzy w procesie decyzyjnym.
Jakie są rodzaje ewaluacji?
Najprostszą formą jest sprawdzanie, czy to, co robimy, jest zgodne z tym, co zaplanowaliśmy, czyli tak zwana ewaluacja procesu. Jej ważnym elementem jest też poznawanie opinii odbiorców programu: czy im się podoba, czy może mają zastrzeżenia dotyczące części jego elementów, w których działaniach uczestniczą chętnie, a w których mniej chętnie.
Bardziej zaawansowane formy ewaluacji dotyczą efektów (ewaluacja wyników), czyli sprawdzenia, czy osiągamy te cele, które chcielibyśmy osiągnąć poprzez realizację konkretnych działań. Taka ewaluacja wymaga odpowiedniego przygotowania formalnego do prowadzenia badań, ponieważ o jakości ewaluacji świadczy przede wszystkim jej jakość metodologiczna. Metodologia dotyczy takich kwestii, jak ogólny schemat badania (czyli liczba i terminy pomiarów oraz to, czy w badaniu biorą udział tylko uczestnicy programu, czy też inne grupy osób), procedura rekrutacji respondentów (ich dobór może być losowy lub celowy na podstawie przyjętych kryteriów kwalifikacji), wielkość próby, sposoby zbierania i analizowania danych (ogólnie można je podzielić na jakościowe, ilościowe lub mieszane), zastosowane narzędzia (najlepiej, żeby były to narzędzia opracowane na podstawie jasnych założeń teoretycznych i o znanych własnościach parametrycznych).
Dlaczego ewaluacja jest wymaganym elementem programów profilaktycznych w bazie programów rekomendowanych
Dlatego, żeby nie upowszechniać czegoś, co jest niesprawdzone. Należy realizować tylko takie programy, które są efektywne, dają spodziewane rezultaty. Chodzi o to, żeby nie proponować programów, o efektach których niczego nie wiemy. Chociaż niestety, obecnie w bazie programów rekomendowanych jest zaledwie kilka takich, które mają potwierdzoną skuteczność. Większość uzyskała rekomendacje ze względu na solidne podstawy teoretyczne, logikę konstrukcji i adekwatność działań dla grupy docelowej. Są to programy określane jako „obiecujące”, właśnie ze względu na ich treść i formę, a nie wyniki. Jednak, pomimo braku dowodów na skuteczność, programy te są zapewne godne rekomendacji.
Zawsze jednak istnieje ryzyko, że na przykład program, który z założenia ma ograniczać używanie substancji psychoaktywnych przez młodzież czy inne zachowania ryzykowne, może przynosić efekty odwrotne, nieoczekiwane. Może się okazać, że uczniowie, którzy wzięli udział w programie profilaktyki alkoholowej, po tym programie częściej sięgają po alkohol niż przedtem. Natarczywe opowieści profilaktyków o szkodliwym działaniu alkoholu na organizm ludzki mogą wywołać w młodych ludziach odruch buntu. Nastolatki – po tak zwanych pogadankach o „złym alkoholu” – z ciekawości i przez przekorę mogą po niego sięgnąć. A ewaluacja pozwala oszacować (w świetle jasno sformułowanych kryteriów), jak często uczniowie sięgali po alkohol przed programem, jak często to robią po programie i jeszcze, jak to robią uczniowie w tym samym wieku z podobnych szkół, którzy nie biorą udziału w programie. Ewaluacja pozwala na sprawdzenie, czy dany program działa tak, jak byśmy chcieli, czy działa odwrotnie albo może w ogóle nie działa i nie ma żadnego wpływu na picie alkoholu przez uczniów.
Ewaluacja pozwala też uniknąć na przykład sytuacji, w której program profilaktyczny jest realizowany w klasach 4–8, ale zajęcia są za trudne dla najmłodszych klas lub zbyt infantylne dla najstarszych. Można się o tym przekonać dzięki dobrze prowadzonym badaniom ewaluacyjnym porównującym odbiór programu i jego efekt w różnych grupach wiekowych i wskazać, że program tak naprawdę nadaje się wyłącznie dla uczniów klas 5 i 6, a nie dla młodszych i nie dla starszych.
Jakie są zasady etyki badań ewaluacyjnych?
Z mojej perspektywy badania ewaluacyjne są formą badań naukowych. A w działalności naukowej obowiązują ogólne zasady etyczne. Kluczowymi wartościami w procesie ewaluacji są niezależność (albo wolność intelektualna) i uczciwość, które prowadzą do rzetelnej metodologicznie pracy i obiektywnej oceny. Podstawowa zasada badań ewaluacyjnych to: nie szkodzić, czyli, między innymi, zadawać pytania i prowadzić badania w taki sposób, żeby nie narażać uczestników na przykrości.
Na przykład należy unikać sytuacji, w której na podstawie odpowiedzi uczniów na pytania ankietowe wychowawca klasy mógłby odgadnąć, który uczeń i ile razy używał substancji psychoaktywnych. Należy zapewnić uczestnikom badań pełną anonimowość i poufność.
Istotna jest również transparentność. Badania powinny być prowadzone w taki sposób, żeby każdy następny zespół badawczy, który będzie chciał ocenić dany program, wiedział co zrobić, żeby uzyskać porównywalne wyniki. Słowem, cały proces badawczy powinien być na tyle szczegółowo opisany, żeby można go było powtórzyć. To jest też ogólna zasada prowadzenia wszystkich badań naukowych – wszystkie elementy badań powinny być możliwe do replikacji.
Kluczową kwestią, związaną z uczciwością badawczą, jest też ujawnianie wszystkich wyników – nie tylko zgodnych z oczekiwaniami, ale też „złych”. Z perspektywy rozwoju nauki, każdy wynik jest wartościowy. Każdy wynik mówi nam coś na temat rzeczywistości. Jeżeli uzyskujemy negatywne wyniki dotyczące programu, to wiadomo, że trzeba mu się dobrze przyjrzeć, zastanowić się na tym, co zrobić lepiej, żeby w przyszłości wyniki były lepsze.
Zatem, przy wyborze programów profilaktycznych warto zwracać uwagę na przedmiot i jakość ewaluacji. Czy jest to ewaluacja, która nam coś mówi o osiągnięciu celów programu, czy może tylko o tym, że jest on możliwy do realizacji albo że się podoba odbiorcom? Niestety, ta ostatnia ocena (jedynie ocena procesu realizacji) wcale nie świadczy o tym, że program przynosi oczekiwane efekty, czyli ogranicza ryzyko zachowań problemowych.
Czy to jest wskazówka dla jednostek samorządu terytorialnego wdrażających, realizujących i finansujących programy profilaktyczne?
Tak. Przede wszystkim warto tu podkreślić, że w Polsce jest stanowczo za mało badań ewaluacyjnych dotyczących wyników programów. Widać pilną potrzebę, aby przeprowadzanie ewaluacji wyników stało się integralnym elementem profilaktyki. Jeżeli realizujemy program profilaktyczny, od razu powinniśmy pomyśleć, że potrzebna jest jego ewaluacja. Jeżeli dajemy pieniądze na realizację działań profilaktycznych, to jednocześnie staramy się, żeby znalazły się też fundusze przeznaczone na sensowną ocenę tego, co wynika z realizacji tych działań.
Ewaluacja wyników daje wyraźne korzyści. Ale żeby przeprowadzić taką ewaluację, trzeba mieć warsztat badawczy, a do tego konieczna jest intensyfikacja współpracy między tymi, którzy dysponują funduszami na realizację profilaktyki, autorami i realizatorami działań oraz instytutami naukowo-badawczymi.
Z korzyścią dla wszystkich byłoby na przykład prowadzenie badań ewaluacyjnych przez studentów w ramach prac licencjackich lub magisterskich. To by było super, bo akademicy robiliby coś, co ma praktyczny sens, a samorządy terytorialne wiedziałyby więcej o jakości działań profilaktycznych, na które wydatkują publiczne pieniądze.
To jest wyraźna podpowiedź.
To moja sugestia: nawiązywać współpracę nie tylko z profilaktykami, którzy mogą zrealizować dane działania, ale też z instytucjami, zespołami badawczymi, które mogą zadbać o ewaluację tych programów.