Lamentablemente, en el mundo de los programas del desarrollo estamos más cerca de la primera situación que de la segunda. Cada año se llevan a cabo miles de programas destinados a combatir el subdesarrollo y sabemos muy poco sobre sus efectos ¿Sirven para reducir el desempleo los programas de capacitación profesional? ¿Qué programa es más costo-efectivo para lograr que los niños no abandonen la escuela en África: dar becas escolares o pastillas desparasitarias?

Lo cierto es que para saberlo, igual que ocurre en el campo de la medicina, es necesario estudiarlo. Las evaluaciones de impacto son herramientas que miden los efectos que tienen los programas en sus objetivos de desarrollo final. Por ejemplo, gracias a evaluaciones de impacto como esta en República Dominicana, esta en Colombia o esta en Turquía, hoy tenemos evidencia de que los programas de capacitación profesional tienen efectos positivos en la calidad de los trabajos, pero muestran efectos muy modestos en la reducción del desempleo. También, gracias a evaluaciones como las que se resumen aquí, hoy sabemos que por cada 100 dólares que nos gastamos en un programa de desparasitación en África logramos aumentar en 13,9 años la escolaridad en la población, mientras que el mismo dinero dedicado a becas solo la aumenta en 0,27 años.

Sólo evidencias como esta son lo que permite a los gestores de políticas públicas disponer de herramientas válidas para establecer los programas adecuados para luchar contra el subdesarrollo de manera efectiva, logrando resolver los problemas más rápido, y gastando menos recursos innecesariamente.

Para medir la efectividad de los programas, las evaluaciones de impacto utilizan grupos de tratamiento y grupos de comparación (o control). El grupo de tratamiento incluye a un grupo de personas que recibieron el programa y el grupo de control a un grupo de personas que no lo recibieron (¡igual que para estudiar los medicamentos!).

El mayor reto de estas metodologías es encontrar un grupo de control que sea válido. Y en ocasiones esto no es fácil. Por ejemplo, para medir el impacto del programa de capacitación profesional, se nos podría ocurrir comparar los niveles de empleo antes y después de recibir el programa.

Si la diferencia fuera positiva ¿dirías que el programa ha sido efectivo? A primera vista podría parecer que sí, pero también podría haber ocurrido que simplemente la economía hubiese mejorado y aumentado los niveles de empleo y que el programa hubiese sido totalmente inefectivo. Para evitar esto, se nos podría ocurrir comparar el grupo de desempleados que se inscribió en el programa con otro grupo (afectado por la misma economía) que no se inscribió. Si los inscritos hubiesen conseguido más empleo ¿dirías esta vez que el programa ha sido efectivo? Nuevamente podría parecer que sí, pero también podría ocurrir que simplemente el grupo que se inscribió lo hiciese porque estuviera más motivado para encontrar trabajo, y esa motivación es la que les llevó a encontrar más empleo (y no el programa).

Así que en las evaluaciones de impacto, para que el grupo de control sea válido es necesario que sea un grupo que haya estado sometido a las mismas condiciones en el tiempo  que el grupo de tratamiento (para evitar el primer problema) y que, al menos en promedio, sea equivalente al grupo de tratamiento en todas sus características (para evitar el segundo problema).La manera más rigurosa de generar grupos de control válidos es asignando aleatoriamente quien obtiene el programa y quién no. Esta metodología, llamada de tipo experimental, no es más que asignar el programa mediante una lotería. No obstante, en ocasiones, no es posible aleatorizar. Por ejemplo, puede que el programa se entregue a toda la población, o que se entregue en función de un ranking de pobreza, de manera que no es posible asignarlo por lotería. En tal caso, existen otras metodologías que nos pueden ayudar a encontrar buenos grupos de comparación. A estas metodologías se les llama quasi-experimentales, y aunque requieren de más supuestos (lo que les hace más “débiles” técnicamente), también son  buenas herramientas para medir el impacto.

En los últimos años ha aumentado el interés en medir la efectividad de los programas, y como consecuencia, han aumentado considerablemente las evaluaciones de impacto de programas de desarrollo. Organismos internacionales, como el Banco Interamericano de Desarrollo o el Banco Mundial, son dos buenos ejemplos de organismos donde las evaluaciones de impacto se han convertido en una pieza clave de aprendizaje sobre lo que funciona para retroalimentar el diseño de sus proyectos. En esta publicación podéis ver algunos de los aprendizajes del BID en 2013 y aquí algunas de las evaluaciones del Banco Mundial.

En el ámbito académico también existen centros de estudio dedicados a buscar evidencia rigurosa sobre qué programas funcionan y cuáles no. Algunos de los más importantes son Poverty Action Lab (J-Pal, asociado a MIT), Innovations for Poverty Action (IPA, fundada por un profesor de Yale), o Center for Evaluation for Global Action (CEGA, en Berckeley). También existen iniciativas globales como la Red de Redes de Evaluación de Impacto (NONIE) o International Initiative for Impact Evaluation (3ie) dedicadas a este fin.

Con cada evaluación de impacto vamos aprendiendo paso a paso qué programas son los que mejor funcionan y porqué.  Sin embargo, aún nos queda mucho por avanzar para ser tan efectivos como los médicos al “recetar” programas y así curar antes la “enfermedad del subdesarrollo”.

Paloma Acevedo
Economista, Especialista en Evaluación de Impacto del Banco Interamericano de Desarrollo (BID).

Las opiniones y comentarios vertidos en este blog son sólo responsabilidad de su autor

Las opiniones vertidas en este blog son exclusiva responsabilidad de la persona que las emite.