EL BLOG DE LA FIIAPP. Cooperación Española

Al plantearnos una evaluación de política pública, uno de los primeros pasos metodológicos comúnmente aceptados es el análisis de la lógica de la intervención: ¿Cómo ha sido diseñada la política? ¿Existe una coherencia entre sus objetivos (explícitos o implícitos) y sus resultados, actividades y productos, y entre todos estos elementos de la cadena entre sí?

Para hacer frente a la compleja situación en la que nos encontramos, las Administraciones han adoptado una amplia serie de medidas, que afectan a muy diversos sectores de la sociedad: sanidad, mercado laboral, vivienda, movilidad, fiscalidad, etc.

Pero ¿cuáles son los objetivos específicos, generales, a medio, a corto, a largo plazo, establecidos? En principio, podríamos pensar que el principal objetivo sería perder el menor número de vidas humanas posibles, que no colapse el sistema de salud, que la población no pierda derechos ni poder adquisitivo. Sin embargo, para hacer una valoración rigurosa y exhaustiva, sería necesario el establecimiento de metas claras sobre las cuáles poder medir los avances y los logros o fracasos. ¿Con qué criterios de juicio se podrán evaluar las medidas adoptadas para poder pronunciarse sobre su eficacia, es decir, su capacidad de conseguir las metas propuestas?

«¿Con qué criterios de juicio se podrán evaluar las medidas adoptadas para poder pronunciarse sobre su eficacia?»

Por supuesto, esto nos lleva a planteamientos complejos y delicados política y socialmente hablando: ¿Cuál es la meta aceptable en pérdida de vidas humanas? ¿Qué número se considerará aceptable de desempleados (no temporales)? ¿Cuántas pequeñas y medianas empresas se puede asumir que desaparezcan? Son solo algunos ejemplos.

Para poder realizar una evaluación de la eficacia de las medidas adoptadas, sería necesario, por lo tanto, que nuestras Administraciones Públicas:

– Definan con exactitud los distintos problemas sociales que están planteados y los que se plantearán potencialmente.

– En base a ellos, establezcan un Plan de Contingencia, idealmente, inserto en el Decreto de Declaración del Estado de Alarma (de forma que forme parte del Ordenamiento Jurídico), en el que se enmarque el conjunto de medidas aprobadas, que respondan a objetivos claros y delimitados, definiendo asimismo indicadores de proceso y resultado, que permitan hacer un seguimiento de su evolución.

– Establezcan nuevas medidas para construir un todo coherente que permita alcanzar los objetivos definidos.

– Diseñen un sistema exhaustivo de seguimiento, que permita modificar las medidas en función de los resultados que se vayan obteniendo, en base a las evidencias recolectadas.

Una sociedad madura que, en su inmensa mayoría, se está comportando de forma impecable en el seguimiento de las recomendaciones, debe poder conocer cuáles son los parámetros en los que las instituciones se manejan como escenario posterior, para poder evaluarlos.

Si pensamos en una evaluación de impacto stricto sensu, la dificultad que se plantea es la inexistencia de contrafactual: ¿Qué habría pasado si en vez de las medidas adoptadas no se hubiera adoptado ninguna? ¿Qué habría pasado si se hubieran adoptado otras medidas o si se hubieran adoptado antes? ¿Cuál es el modelo más exitoso para hacer frente a esta crisis entre los distintos establecidos?

Cada día y cada hora que pasa, se generan datos y cifras que van dibujando gráficos y estadísticas que evolucionan rápidamente y de forma cambiante según se analicen por país, por región, por continente. Van aportando información valiosa y reflejan desarrollos sobre los que construir hipótesis a contrastar.

A la vista de los datos y del contexto, los países han adoptado distintas soluciones, pero la existencia de demasiadas variables difíciles de controlar (grado de fortaleza de los sistemas sanitarios, situación de partida de la salud de la ciudadanía, pirámide poblacional, hábitos culturales, esperanza de vida, etc.), impiden actualmente realizar un análisis comparativo con la rigurosidad necesaria para sacar conclusiones robustas.  Sin embargo, sí tenemos experiencias anteriores parecidas que nos pueden dar algunas pautas de análisis.

«La existencia de demasiadas variables difíciles de controlar impiden actualmente realizar un análisis comparativo con la rigurosidad necesaria para sacar conclusiones robustas»

Expertos en la materia han mencionado que durante las crisis del SARS (2003) o la gripe A (2009), se produjo un gran avance en cuanto a la investigación y la lucha contra estas enfermedades. También se ha puesto de manifiesto que al haberse controlado los brotes y haber finalizado la emergencia, los fondos para continuar la investigación y el desarrollo de distintos fármacos fueron eliminados o drásticamente reducidos y se detuvieron estas líneas de trabajo. El trabajo quedó inconcluso. Lamentablemente, aquellas ocasiones anteriores no fueron lo suficientemente aprovechadas como para haber frenado antes y de mejor manera la crisis actual.

Una de las utilidades de la evaluación de políticas públicas puede ser la extracción de lecciones aprendidas. Ojalá una evaluación ex post de la crisis actual nos muestre lecciones aprendidas que faltaron anteriormente y sirva para construir sobre fortalezas que, sin ser conscientes de ello, estamos creando entre todos durante estos días.

Desde el Proyecto EVALÚA estamos atendiendo las nuevas prioridades de las instituciones socias en la elaboración de una línea de base que pueda servir de punto de referencia para la posterior evaluación de las acciones actuales, con un enfoque comparado de ámbito regional.

Marta Monterrubio, especialista en Evaluación de Políticas Públicas del proyecto EVALÚA.

En la elaboración de las Agendas Nacionales de evaluación, distintas finalidades entran en juego: la rendición de cuentas a la ciudadanía, la mejora de la política o programa evaluado, de su diseño o de su gestión, fomentar la transparencia como herramienta democrática, el aprendizaje institucional o gerencial. 

En materia de Gestión de Riesgos de Desastres, esta evaluación tiene relevancia en todos los aspectos mencionados. Es una materia especialmente sensible: además de visibilizar las fuertes vulnerabilidades a las que está sometida una gran parte de la población mundial, son conocidos algunos casos por las lamentables carencias en la gestión de los fondos destinados a emergencia y reconstrucción. La opinión unánime de los especialistas, también recogida en el Marco de Sendai, es que en materia de riesgos de desastres contar con un sistema sólido de prevención marca la diferencia en los daños producidos, tanto en la pérdida de vidas humanas como en pérdidas materiales y de bienes básicos para la supervivencia de la población. También marcará la diferencia a la hora de afrontar la reconstrucción posterior. 

El 16 abril de 2016, se registró un terremoto de magnitud 7,8 (Mw)3 en la costa Noreste de Ecuador.  Se contabilizaron 671 fallecidos y 6.277 heridos. Los daños alcanzaron a cuatro provincias y catorce cantones fueron declarados en estado de excepción.  

Después de atender los primeros momentos de la emergencia, el gobierno ecuatoriano aprobó el Plan de Reconstrucción post Terremoto 2016, enmarcado en su normativa de Gestión de Riesgos y en el Sistema Nacional Descentralizado de Gestión de Riesgos (SNDGR). El Plan de Reconstrucción tiene como fin la recuperación territorial, direccionar los procesos de reconstrucción y recuperación de los medios de vida post terremoto, bajo criterios de resiliencia y sostenibilidad, a través de las intervenciones y coordinación intersectorial y multinivel. 

¿Cuál ha sido la cobertura de la ayuda de emergencia y reconstrucción a la población en las zonas afectadas? ¿Cuántos núcleos familiares se beneficiaron de las ayudas y por cuánto tiempo? ¿Cómo y de qué manera se asignaron las ayudas de acogida, alquiler y alimentación? ¿Se atendió a la población más vulnerable? ¿Cuál es el grado de rehabilitación de las infraestructuras? ¿Cuántos establecimientos de salud pública fueron repotenciados rehabilitados y reconstruidos? ¿Cuál es el grado de satisfacción de la ciudadanía con respecto a la atención y los servicios médicos? ¿El Sistema Nacional Descentralizado de Gestión de Riesgos de Ecuador es el idóneo para prevenir y gestionar desastres de esta naturaleza? ¿Qué mejoras deben llevarse a cabo para minimizar las consecuencias de posibles desastres futuros? 

Son algunas de las preguntas que responderá la evaluación: transparencia, mejora, aprendizaje. 

El equipo consultor contratado por EVALÚA ya ha finalizado el trabajo de campo. En pocas semanas tendremos las respuestas. 

¿Qué se está evaluando?

Janet López: En Uruguay, estamos evaluando el Plan Cuenca Casavalle, que constituye una política integral y una demanda fuertemente ligada con políticas de inclusión social. Es un proyecto liderado por la Intendencia de Montevideo y que ha tenido una implicación de varios ministerios, en el que cada uno se ha sumado en distintas políticas.

Una política integral consiste en el abordaje desde distintos actores, desde nuestro Ministerio de Desarrollo Social a la Intendencia de Montevideo: en aspectos de infraestructura, los sectores de la vivienda, el desarrollo integral en el deporte y la cultura como parte fundamental para el desarrollo de una sociedad. Esas diferentes líneas son las que hacen de esta una política integral.

Ahora estamos haciendo un levantamiento de nuevos datos para comprobar cómo ha sido el avance de esta intervención política.

Teodora Recalde: En Paraguay, estamos comprometidos con los procesos para elaborar presupuesto por resultados. En 2011, introdujimos tres herramientas: indicadores de desempeño, evaluaciones de programas públicos y un balance de gestión. Fuertemente trabajamos en lo que es la evaluación en las instituciones y empezamos a evaluar los diseños y la gestión de los distintos programas, tales como los programas agrícolas, las penitenciarías, los programas de salud y otras instituciones que tienen sus programas específicos.

¿Por qué era necesario evaluar? ¿Cuál es el objetivo?

J.L: La evaluación es parte de una estrategia a largo plazo. Nosotros trabajamos en todo el ciclo de la gestión pública: planificación, presupuesto, monitoreo y evaluación. Evaluación fue la última etapa que integramos.

La unidad que dirijo se formó hace diez años, ya que poco antes de eso de la evaluación ni siquiera se hablaba. En los inicios, comenzamos con capacitaciones internas para darnos la formación necesaria para actualmente estar participando en procesos de evaluación de política pública.

El objetivo fundamental es la mejora de la gestión. No se trata de una evaluación de carácter punitivo, hay que dejar eso claro. Lo importante es que aporte realmente a la mejora de la gestión pública y, en definitiva, al uso de los recursos públicos.

T.R: El objetivo de la evaluación, desde la mirada presupuestaria y desde el Ministerio de Hacienda es diseñar programas que lleguen a la ciudadanía, y ayudar a que los mismos se gestionen de manera eficiente, enfocándose en la calidad del gasto.

La evaluación ayuda además a generar información que facilite la toma de decisiones y que permita conocer como los programas están siendo ejecutados a través del presupuesto, mirando hacia dónde va la inversión.

¿Qué ofrece EVALÚA como proyecto?

J.L.: La evaluación del Plan Casavalle no es el primer proyecto en el que trabajamos con EVALÚA. Venimos haciéndolo desde hace ya cuatro años y yo creo que EVALÚA aporta el expertise técnico que va desde el apoyo en la revisión de todos los términos de referencia, hasta el apoyo que la FIIAPP desde su administración nos está brindando. A su vez, también suma valor el intercambio que posibilita el Grupo EVALÚA desde la retroalimentación que nos ofrece los otros países de América Latina que están involucrados en el proyecto. El intercambio de las distintas miradas y el aporte que todos tenemos suma valor.

T.R.: El proyecto EVALÚA es para nosotros un punto principal, porque ha propiciado el aprendizaje sobre la existencia de ventajas comparativas en la complementariedad entre países. Con este Grupo hemos logrado crear un nuevo esquema de trabajo estimulando la relación entre los profesionales de distintas dependencias: ya sea el área de planificación, el área de finanzas como la nuestra y un aporte instrumental y metodológico en materia de evaluación.

¿Cómo es el trabajo con EVALÚA?

J.L.: Para explicar cómo es el trabajo con EVALÚA podría poner ejemplos de muchas actividades, podría destacar los intercambios y la formación de una agenda común de trabajo; la revisión de algunas evaluaciones que se han realizado en algún país y el expertise de los distintos técnicos que agrega también valor. Eso por un lado y, nosotros en particular, estamos trabajando en un plan de desarrollo de capacidades de monitoreo y evaluación que, entendemos, es parte de lo que hace tener un lenguaje común a nivel nacional y a nivel internacional con los países que están involucrados.

T.R.: El trabajo con el Grupo EVALUA es armónico y enriquecedor, debido a que a través del intercambio de experiencias y el aprendizaje de primera mano, hemos logrado cambios interesantes en nuestro trabajo. Como ejemplo se puede citar que existen evaluaciones que ya se hicieron con otros países. Específicamente con Costa Rica hemos trabajado en los términos de referencia para poder arrancar con una evaluación y adoptar esos modelos de evaluación dentro de nuestro propio país, ya que nosotros estamos iniciando ese proceso.

¿Cuáles son los beneficios para la ciudadanía?

J.L.: Se produce un beneficio directo porque lo que queremos es evaluar cómo han repercutido las distintas políticas en el territorio. Se va a trabajar también mediante talleres consultivos con organizaciones civiles y eso va a dar también un resultado, una retroalimentación para poder ver dónde hay que mejorar o dónde poner el foco.

T.R.: La ciudadanía se vería beneficiada por el impacto en la medida en que estos programas estén bien diseñados y los servicios sean bien entregados, entonces es cuando la política incide directamente en la ciudadanía.

La evaluación desde lo financiero/presupuestario, centra el debate  sobre dónde ajustamos los recursos. Uno nunca sabe de dónde recortar, y para entonces se necesita una evaluación. A medida que uno va evaluando, sabe dónde invertir. Porque si se invierte bien, el presupuesto se optimiza y este llega mejor a la ciudadanía.