Red Latino Americana y del Caribe de Monitoreo y Evaluación

Mejorando el diseño y implementación de politicas y programas públicos

Las metodologías de evaluación actuales convergen todas hacia la utilización de una base de referencia común. Suchman[1] en 1967, definió una primera propuesta de aproximación formal al proceso de evaluación de políticas públicas que evolucionó a lo largo de los años mediante una secuencia sostenida de desarrollos que posteriormente Weiss[2] popularizó en 1995 con la publicación de una versión extensiva y mejorada denominada Teoría de Cambio (TC).  La actual TC de los programas y proyectos públicos parte del supuesto de que las organizaciones públicas tienen la capacidad transformar una  serie  de insumos, humanos, técnicos, financieros etc, en productos y servicios, que al ser entregados a una población objetivo logran cambios de mediano y largo plazo en sus condiciones y calidad de vida. La unidad de análisis de la TC es la cadena de valor/entrega; una representación gráfica cognitiva de la estructura de la intervención que se desea evaluar (ver figura 1).

Figura 1 – Cadena de valor/entrega de una intervención

                        

Fuente: Morra y Rist (2009), DNP

La importancia de la utilización de la TC en el marco de la evaluación de las políticas públicas radica en que permite comprender las necesidades en materia de evaluación de las intervenciones y delimitar el alcance de las diferentes tipologías de evaluación disponibles. En general la literatura disponible y las organizaciones gubernamentales dedicadas al tema, reconocen 3 tipologías de evaluación asociadas a la TC de las intervenciones (ver figura 2):

  • Evaluación de procesos
  • Evaluaciones de efectos (resultados/impactos)
  • Evaluación de marco lógico, basada en teoría o evaluación rápida

 

Figura 2 – Tipologías de evaluación

 Fuente: elaboración propia

 

Esta perspectiva es importante en la medida en que cada tipología de evaluación tiene un alcance, un momento y una connotación diferentes.  El evaluador debe tener la capacidad de decidir cuándo implementar una u otra clase de aproximación en consonancia con las necesidades de la intervención.

En general las evaluaciones de procesos se concentran sobre los mecanismos que conducen a la transformación de insumos en productos. Usualmente se adelantan durante la etapa de operación de la intervención. Su objetivo principal es acelerar el flujo de creación de valor entre insumos y productos, es decir incrementar la capacidad para obtener bienes o servicios. Recientemente, gracias a los desarrollos de Barber (2008)[3], se ha empezado a pensar en una asociación entre la evaluación de procesos propiamente dicha y la evaluación de la cadena de entrega, mediante la aplicación de una versión metodológica complementaria denominada Delivery System. Al mezclar estas dos facciones, se logra incrementar el flujo de creación de valor entre los insumos y los efectos de la intervención (resultados/impactos) sin llegar a determinar el cambio específico en los indicadores asociados a estos últimos.

 

Sin embargo siempre es importante testear el cambio en el bienestar poblacional que estamos alcanzando a través de una intervención. Para ello es posible utilizar cualquiera de las aproximaciones que intentan medir efectos. La evaluación de resultados por ejemplo, busca establecer cambios en ciertas condiciones poblacionales en el corto y mediano plazo, mientras que la evaluación de impacto procura identificar variaciones en la calidad de vida de los afectados en el marco de un horizonte de tiempo más largo. Ambas aproximaciones resultan valiosas en la medida en que nos permiten determinar si los flujos de creación de valor finalmente consiguieron o no los objetivos deseados, es decir si la intervención logró los cambios poblacionales para los que fue diseñada y puesta en operación. En cuanto a la temporalidad, estas aproximaciones tienden a aplicarse durante la operación en el caso de intervenciones de largo aliento o después de finalizadas en el caso que sean de poca duración.

 

También existen metodologías que permiten evaluar el flujo de creación de valor al nivel de procesos y resultados, en el marco de unas cuantas semanas. Para lograrlo, se concentran en validar la coherencia lógica de la intervención. Sin embargo debido a la velocidad de la aproximación, los resultados tienden a ser imprecisos y poco concluyentes. Esta versión se utiliza durante la operación para la toma efectiva de decisiones, en casos en los que es necesario contar con información de primera mano, en el marco de periodos de tiempo más cortos.

 

En cualquier caso lo importante es tener una oferta de evaluaciones bien definida que se pueda utilizar para suplir las necesidades de los hacedores de política. Es común que las agendas de evaluaciones se concentren en medir los efectos de las intervenciones no obstante resulte más costo efectivo, evaluar los procesos y los canales de entrega de la intervención.

 

Quedo atento a sus comentarios.

 

 

 

 

 

 

 

 



[1] Suchman, E. A (1967). Evaluative Research: Principles and Practice in Public Services and Social Actions Programs. New York, Russel Sage Foundation.

[2]Weiss, Carol. (1972). Evaluation Research: Methods of Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice-Hall.

Weiss, Carol. (1995). "Nothing as Practical as Good Theory: Exploring Theory-based Evaluation for Comprehensive Community Initiatives for Children and Families." In New Approaches to Evaluating Community Initiatives: Concepts, Methods, and Contexts, ed. James Connell et al. Washington, DC: Aspen Institute.

Weiss, Carol. (1972). Evaluation Research: Methods of Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice-Hall.

[3] Barber, M. (2008). Instruction to Deliver. London: Methuen Publishing Ltd.

Vistas: 1582

Comentario

¡Tienes que ser miembro de Red Latino Americana y del Caribe de Monitoreo y Evaluación para agregar comentarios!

Únete a Red Latino Americana y del Caribe de Monitoreo y Evaluación

Comentario de ARMANDO ARDILA DELGADO el abril 3, 2012 a las 3:46pm

Apreciado Pedro José, muchas gracias por tus impresiones. Sin duda de la experiencia se pueden sacar valiosas conclusiones. Desde mi perspectiva, la más importante es que todas estas herramientas son utiles en la medida en que sean implementadas por actores que tienen la experticia suficiente para hacerlo, Colombia por ejemplo viene trabajando de manera activa en fortalecer las capacidades en esta materia. Por otro lado considero que debe trabajarse más en las evaluaciones de procesos y menos en las de impacto, porsupuesto esta perspectiva tiene que estar atada a cierto grado de estabilidad y maduréz de las políticas en Colombia se viene haciendo lo propio. Un abrazo.

Comentario de Pedro José Martin Ochoa De la Cr el abril 3, 2012 a las 1:53pm

Estimado Armando, interesante resumen respecto a los tipos de evaluación. Coincido con algunos colegas que estamos en un proceso de construcción y generación de evidencias que permitan sacar experiencias y lecciones. Por mi aprte, considero importante que entre estos tipos de evalaución existe una retroalimentación que fortalece el aprendizaje y la adopción de políticas públicas. El tema de delivery sistem es importante y supongo se refiere a la retroalimentación que señalo. No olvidemos que el contexto es otro elemento que no podemos dejar de lado, aunque muchas veces solo se le considera como un marco general, los cambios que en él ocurren suelen ser determinantes en algunas intervenciones.

Enhorabuena el dialogo.

Comentario de ROQUE ONESIMO PEREZ GUEL el abril 2, 2012 a las 6:57pm

Que amable de tu parte, mi correo es: roperez@ciestaam.edu.mx.

Agradezco mucho el aporte.

 

Espero seguir en contacto contigo.

 

Saludos desde México

Comentario de ARMANDO ARDILA DELGADO el abril 2, 2012 a las 6:40pm

Gabriela. Gracias por tu comentario. Efectivamente este es un campo en construcción que desde mi perspectiva se puede enriquecer mediante su paulatina formalización. Las experiencias son un elemento central en este proceso.

Comentario de GABRIELA FLORA FLORES PEREZ el abril 2, 2012 a las 5:20pm

Hola Armando

Encuentro interesante aportar desde nuestra experiencia a enriquecer los enfoques y torias existentes sobre el tema de la evaluación en politicas publicas, dado que todavia hay mucho por construir....

 

Saludos cordiales

Gabriela Flora

Peru, Lima  

Comentario de ARMANDO ARDILA DELGADO el abril 2, 2012 a las 3:31pm
Roque por supuesto a que correo se lo envio.
Comentario de ROQUE ONESIMO PEREZ GUEL el abril 2, 2012 a las 2:58pm

Estimado Armando, muy interesante lo que comentas en el documento. De hecho debo comentarte que estoy en el posgrado y estoy trabajando en mi investigación sobre la evaluación de la estrategia de intervención de agentes de cambio en el sur-sureste de México.

No sé que posibilidades habría de que las referencias que citas me la pudieras compartir para revisarlas, pues considero que podrían ser útiles para mi investigación.

 

Esperando no ser imprudente con dicha petición, agradezco el tiempo dedicado y quedo a tus órdenes.

 

Recibe un cordial saludo

Comentario de ARMANDO ARDILA DELGADO el abril 2, 2012 a las 1:18pm
Lucy, me parece que el problema que enuncias esta enmarcado en la teoria de la decision social y las politicas publicas. La evaluacion durante y expost es una herramienta util para toma de deciones, pero en este caso la politica es un hecho. Habria que explorar elementos exante y todas las teorias de priorizacion
Social para establecer las causas de los graves problemas que presentas.
Comentario de ARMANDO ARDILA DELGADO el abril 2, 2012 a las 1:13pm
Carlos Alberto. Interesante reflexion, Harberguer propone una serie de argumentos que exploran de manera sistematica el problema que planteas. En la economia politica tambien existen aproximaciones interesantes. Justamente lo que persiguen redes como esta es popularizar herramientas como las enunciadas
de suerte que de conviertan en un elemento ineludible para los gobernantes. Hoy dia las omiten pero cada vez son mas utilizadas.
Comentario de LUCY MARGOT NIVIN VARGAS el abril 2, 2012 a las 12:13pm

La teoría del cambio... importante concepto, Presupuesto por Resultados,  Evaluación de procesos,  que impactos ha recibido la población con inversiones públicas, muchas veces no beneficiosas para las poblaciones empobrecidas, vivo en Ancash una región favorecida por el canon minero, unos dicen una bendición y otros una maldición,  autoridades que no respetan las decisiones de los presupuestos participativos de la población,  ellos hacen las obras que creen que son necesarias y lo lo que la población realmente requiere para mejorar su calidad de vida, queda mucho por trabajar por sensibilizar y sobre todo por capacitar a las autoridades que poco o nada conocen de gestión pública, las autoridades hacen obras que beneficien sus boilsillos con los diezmos millonarios que reciben de las constructoras, mientras la población ve de lejos como aparecen nuevos millonarios y los pobres solo dejan como herencia la pobreza a sus hijos.  Hasta ahora no se ha visto obras de impacto, obras de desarrollo sostenible que mejore la calidad de vida de esta parte del Perú.

Capítulos Nacionales



© 2014   Creada por Joao Pedro Azevedo.

Insignias  |  Informar un problema  |  Términos de servicio