Ewaluacja 2017
W 2017 r. MSZ poddało ocenie działania polskiej pomocy na rzecz krajów Partnerstwa Wschodniego, przeprowadzone w Polsce i na terenie Ukrainy.
Zbadane zostały projekty zrealizowane w ramach dwóch Programów Wieloletnich Polskiej Współpracy Rozwojowej – PWWR 2012-2015 i PWWR 2016-2020. Celem była analiza trafności, efektywności, skuteczności, trwałości, użyteczności i innowacyjności działań rozwojowych finansowanych ze środków pozostających w dyspozycji MSZ.
Badanie składało się z trzech komponentów.
- W ramach Komponentu I przeanalizowano wybrane inicjatywy zrealizowane na Ukrainie w latach 2014-2016. MSZ wraz z partnerami zewnętrznymi, tj. z organami administracji rządowej oraz Fundacją Solidarności Międzynarodowej (FSM), wspomagał kluczowe reformy rządu Ukrainy, w tym związane z wdrażaniem Umowy Stowarzyszeniowej UE – Ukraina oraz z zapotrzebowaniem zgłoszonym rządowi RP dotyczącym wsparcia reformy samorządowej.
- Komponent II dotyczył wpływu na bezpieczeństwo publiczne Ukrainy projektów, które były skierowane do służb pożarniczych i policyjnych oraz służb ratowniczych. Badanie objęło inicjatywy zrealizowane w okresie 2012-2016 przez administrację, uczelnię, organizację pozarządową oraz przez Ambasadę RP w Kijowie.
- Komponent III koncentrował się na projektach i działaniach edukacyjnych, zrealizowanych w Polsce na rzecz obywateli Ukrainy oraz innych krajów Partnerstwa Wschodniego od 2012 do 2016 roku. Zbadany został Program Akademii Administracji Publicznej Partnerstwa Wschodniego, obejmujący specjalistyczne moduły szkoleniowe dla urzędników z krajów partnerskich (Armenii, Azerbejdżanu, Białorusi, Gruzji, Mołdawii, Ukrainy), staże dla przedstawicieli Sekretariatu Gabinetu Ministrów Ukrainy oraz kształcenie obywateli Ukrainy na studiach podyplomowych w Kolegium Europejskim w Natolinie.
Ewaluacja pokazała, że cele społeczno-ekonomiczne zakładane w projektach rozwojowych we wszystkich obszarach wsparcia zostały w większości osiągnięte. Rozwiązania oferowane Ukrainie w ramach polskiej współpracy rozwojowej bazują na polskich doświadczeniach transformacyjnych i są łatwe do zaadaptowania w warunkach ukraińskich.
Wyniki badania – Komponent I (inicjatywy wspierające reformy na Ukrainie)
Polskie doświadczenia były inspiracją dla strony ukraińskiej, szczególnie w początkowym okresie prac nad decentralizacją. Jednak z czasem obecność polskich praktyk i odwołań do polskiego modelu stawała się na Ukrainie coraz rzadsza, co wynika m.in. z większej skali wsparcia innych donatorów (w 2017 r. na terenie tego kraju realizowano 15 dużych zagranicznych programów pomocowych). Polskie wsparcie widoczne jest najbardziej na poziomie politycznym, natomiast w dużo mniejszym stopniu na poziomie strategicznym, programowym i wdrożeniowym.
Efekty realizowanych działań pokazują, że doszło do uruchomienia mechanizmu zmiany, obejmującego zarówno szeroko rozumiane kompetencje uczestników działań, jak i wdrożenie nowych mechanizmów funkcjonowania samorządu. Badanie zidentyfikowało również wiele innych efektów, m.in. przygotowanie dokumentów strategicznych, poznawanie polskich doświadczeń w zakresie działania samorządów, poprawę kompetencji samorządowców.
Podkreślanie wpływu polskich działań na kompleksowe i systemowe zmiany jest szczególnie zasadzane w odniesieniu do wsparcia reformy ukraińskiego systemu oświaty. W tym obszarze można też spodziewać się szerokiego oddziaływania długoterminowego, obejmującego zasięgiem cały kraj. Dalszemu zwiększeniu efektywności PWR mogłoby tu sprzyjać lepsze rozpoznanie potrzeb odbiorców oraz większy nacisk na pokazywanie aspektów praktycznych funkcjonowania systemu oświaty w Polsce. Dużą wartość dodaną mogłoby również przynieść wydłużenie projektów, tak by objęły one fazę wdrażania, monitorowania i oceny efektów. Ponadto, skuteczność inicjatyw zwiększyłoby włączenie do grupy docelowej projektów pracowników szkół wyższych kształcących pedagogów. Obecnie są oni postrzegani jako spowalniający reformy.
Mocne strony polskiej współpracy rozwojowej w tym zakresie to: wysoki poziom trafności pomocy zarówno w wymiarze strategicznym, jak i operacyjnym, dobra znajomość realiów ukraińskich wynikająca z doświadczenia i wcześniejszych kontaktów polskich organizacji z partnerami ukraińskimi oraz praktyczny wymiar projektów i proponowanych rozwiązań.
Główne rekomendacje przedstawione przez ewaluatorów:
- wzmocnienie strategicznego podejścia do wspierania reform na Ukrainie (m.in. tematyczna koncentracja działań, planowanie w dłuższym okresie);
- dalsze wsparcie w sytuacji, gdy zaprzestanie realizacji projektów może doprowadzić do utraty dotychczasowych efektów;
- kontynuacja (a nawet intensyfikacja) wsparcia w obszarach decentralizacji i reformy oświaty;
- większe wykorzystanie istniejących kanałów koordynacji polskich działań z innymi donatorami;
- wzmocnienie instytucjonalnej obecności polskiej pomocy rozwojowej na Ukrainie.
Wyniki badania – Komponent II (inicjatywy skierowane do służb pożarniczych i policyjnych oraz służb ratowniczych Ukrainy)
Projekty z zakresu bezpieczeństwa publicznego cechuje wysoka skuteczność w osiąganiu założonych rezultatów twardych i produktów - w przypadku niektórych przedsięwzięć ich wskaźniki zostały przekroczone. Trudno natomiast oszacować skuteczność w osiąganiu rezultatów miękkich, ponieważ pomiar taki jest dokonywany sporadycznie.
Projekty realizowane w ramach II komponentu odznaczają się wysoką trwałością. Decyduje o tym przede wszystkim wykorzystywanie w pracy ukraińskich służb wiedzy i umiejętności nabytych podczas specjalistycznych szkoleń, a także sama konstrukcja projektów - łączenie działań edukacyjnych z elementami „twardymi”, tj. infrastrukturalnymi (np. modernizacją i remontem obiektów) oraz przekazywaniem sprzętu. Odroczone efekty projektów nie są jednak monitorowane.
Projekty pożarnicze stanowią polską „niszę” i „polski produkt eksportowy”. Widoczna jest również duża synergia pozioma inicjatyw, które układają się w całość - kolejne przedsięwzięcia bazują na doświadczeniach wcześniejszych.
Nie zauważono komplementarności polskich projektów z działaniami innych donatorów, ani nie zidentyfikowano przypadków nakładania się przedsięwzięć w obszarze bezpieczeństwa. Na tle innych donatorów, polskie wsparcie dla ukraińskich służb ratowniczych wyróżnia systematyczność, kompleksowość i wyspecjalizowanie.
Główne rekomendacje przedstawione przez ewaluatorów:
- kontynuacja wsparcia procesu zmian w organizacji ukraińskiego systemu ratowniczo-gaśniczego;
- współpraca z innymi donatorami w zakresie projektów pożarniczych;
- zachowanie koncentracji i wyspecjalizowania pomocy w obszarze ratownictwa, przy jednoczesnym objęciu działaniami nowych odbiorców i tematów (w ramach ratownictwa);
- poprawa monitorowania sposobów użytkowania przekazanego sprzętu i korzystania z uzyskanej wiedzy i umiejętności;
- utrzymywanie współpracy ze sprawdzonymi partnerami.
Wyniki badania – Komponent III (inicjatywy w obszarze edukacji)
Badane inicjatywy edukacyjne zostały ocenione bardzo wysoko. Prawie wszyscy respondenci poleciliby udział w podobnym projekcie innym. Najbardziej docenianymi przez nich elementami są zdobyta wiedza oraz możliwość wymiany doświadczeń z osobami z innych krajów.
Analizowane inicjatywy mają trwały charakter, większość badanych w pracy zawodowej korzysta z wiedzy zdobytej podczas szkoleń, studiów i staży. Zauważają oni również, że po udziale w projekcie ich sytuacja finansowa w miejscu pracy, przynajmniej trochę, poprawiła się.
Wart podkreślenia jest fakt, że niektóre realizowane przez Polskę koncepcje są unikatowe, co wyróżnia nas korzystnie spośród innych donatorów. Pozytywnie należy ocenić również potencjał wszystkich instytucji zaangażowanych w badane inicjatywy. Doświadczenie projektodawców, działania podejmowane na rzecz ulepszania i rozwijania realizowanych przedsięwzięć potwierdzają zasadność kontynuacji polskiego wsparcia.
Szczególnie cenione przez uczestników staży, szkoleń i stypendiów jest otwartość i chęć do dzielenia się doświadczeniami przez polskich ekspertów/wykładowców.
Główne rekomendacje przedstawione przez ewaluatorów:
- zwiększenie koordynacji między inicjatywami i upowszechnienia dobrych praktyk w zakresie dzielenia się wiedzą przez beneficjentów w swoich krajach;
- rozbudowanie analizy potrzeb uczestników i wprowadzenia monitorowania losów absolwentów;
- wprowadzenie minimalnego zakresu informacji promujących realizowane projekty.
Materiały
Raport – Wyniki badania „Ewaluacja polskiej współpracy rozwojowej finansowanej za pośrednictwem MSZ RP wspierającej reformy na Ukrainie oraz wybrane inicjatywy edukacyjne na rzecz krajów PW w okresie 2012-2016”. Komponent I - Inicjatywy wspierające reformy na UkrainieKomponent_I_inicjatywy_wspierające_reformy_na_Ukrainie.pdf 1.87MB Raport – Wyniki badania „Ewaluacja polskiej współpracy rozwojowej finansowanej za pośrednictwem MSZ RP wspierającej reformy na Ukrainie oraz wybrane inicjatywy edukacyjne na rzecz krajów PW w okresie 2012-2016”. Komponent II - Inicjatywy skierowane do służb pożarniczych i policyjnych oraz służb ratunkowych na Ukrainie
Komponent_II_nicjatywy_skierowane_do_służb_pożarniczych_i_policyjnych_oraz_służb_ratowniczych_Ukrainy.pdf 1.26MB Raport – Wyniki badania „Ewaluacja polskiej współpracy rozwojowej finansowanej za pośrednictwem MSZ RP wspierającej reformy na Ukrainie oraz wybrane inicjatywy edukacyjne na rzecz krajów PW w okresie 2012-2016”. Komponent III - Inicjatywy w obszarze edukacji
Komponent_III_inicjatywy_w_obszarze_edukacji.pdf 1.28MB Informacja o badaniu
Broszura_pl_(1).pdf 3.29MB Raport metodologiczny 2017
Ewaluacja_2017_Raport_metodologiczny_2017.pdf 1.53MB Plan ewaluacji na rok 2017
Plan_ewaluacji_2017.pdf 0.08MB