La evaluación en el área de educación para los derechos humanos: un introductorio

LA EVALUACIÓN EN EL ÁREA DE EDUCACIÓN PARA LOS DERECHOS HUMANOS:
UN INTRODUCTORIO

por Felisa Tibbitts

Human Rights Education Associates (HREA)/
Asociados en la Educación para los Derechos Humanos (AEDH)

La investigación pura y la investigación aplicada, de la que forma parte la evaluación, no son más que instrumentos a nuestra disposición para entender mejor lo que estamos realizando, la forma en que lo hacemos y los resultados de nuestro trabajo. Es por esto, que los responsables de llevar a cabo un programa o una actividad específica son los beneficiarios directos de la investigación y la evaluación.

La investigación y la evaluación se diferencian principalmente en sus objetivos. El objetivo de las actividades de evaluación es el de determinar "efectos" o resultados. Esto se realiza por medio de una medición con criterios preestablecidos. Cuando este tipo de investigación se realiza durante la etapa de "crecimiento" de un programa, se denomina "evaluación formativa" y sus conclusiones se utilizan para enriquecer el programa. Después de que el programa está en funcionamiento y si nos interesa saber si está cumpliendo o no con las metas iniciales, entonces se realiza una "evaluación final".

Bien sea que la investigación se utilice para conocer las particularidades de un programa específico en sus inicios, o que la evaluación se realice después de la implementación del programa, el resultado ideal es que esta información le ayude a usted, el ejecutor y a los financiadores, si es el caso, a saber si están alcanzando las metas que se habían propuesto; bien sea en las aulas, en la capacitación de maestros, en la utilización de material nuevo o en la totalidad del programa. La evaluación permite realizar ajustes en las labores de tal modo que se puedan lograr mejores resultados.

Cualquier evaluación supone la realización de juicios bien fundados, sin embargo, existen diferencias en el modo en que estos juicios se forman y se llevan a la práctica. Entre la evaluación "formativa" y la "final" hay una diferencia fundamental. La evaluación formativa se lleva a cabo cuando el programa todavía está en curso, y se entiende que los resultados provocarán cambios que a su vez producirán mejores resultados en el futuro. Son ejemplos de evaluación formativa: la avaluación de estudiantes que se realiza a mitad de año con el fin de brindarles sugerencias que les permitan trabajar en el mejoramiento de sus puntos débiles, la recopilación de reacciones en el primer día de una jornada de capacitación de maestros para utilizarla en la reformulación del temario del día siguiente y la revisión en el primer año de operación de un programa de tres años para verificar si está cumpliendo o no con los objetivos establecidos.

La evaluación final se realiza al terminar un conjunto de tareas preestablecidas para ver si las metas que se fijaron inicialmente se alcanzaron. Como pueden ser los exámenes de final de período para los estudiantes, la evaluación final de una capacitación de maestros y la evaluación de un programa de tres años cuando éste finaliza. Aunque los resultados de este tipo de evaluación pueden ser ilustrativos para quienes los realizan, la verdad es que evaluaciones "tan definitivas" pueden repercutir sobre los participantes del proceso educativo así como sobre otros actores, es así como los resultados de la evaluación final pueden influir en la forma en que los estudiantes son clasificados en la clase, en el apoyo para la continuación de un programa de capacitación o en la renovación de la financiación de los programas.

"La recopilación de reacciones" es una estrategia informal para conocer lo que otros piensan o sienten respecto a una labor que estés realizando. El propósito de la recopilación de reacciones no es tanto el de "calificar algo" sino el de contribuir a que se apliquen correcciones a un bien o servicio de modo inmediato. Con frecuencia, la recopilación de reacciones es organizada por la persona que realiza el trabajo y no por terceros, como es el caso de un evaluador independiente.

Algunas evaluaciones se organizan "con recursos internos," lo que significa que el personal de planta las puede dirigir. Sin embargo, en otras ocasiones se contratan especialistas para dirigirlas, así sea la evaluación en sí misma o la capacitación de la planta de personal para que ellos las realicen. Es frecuente que los financiadores exijan que la evaluación de los programas utilice evaluadores independientes, porque confían en que este tipo de personas poseen profesionalismo e imparcialidad frente a los resultados.

En la práctica, la mayoría de las capacitaciones de maestros son evaluadas por los propios organizadores con la colaboración de los participantes. Un maestro evalúa el éxito o fracaso de una clase de educación para los derechos humanos realizando un sondeo en el aula. Pero en muchos casos se consulta a los especialistas en evaluación para realizar ensayos previos del material y la evaluación del programa, debido a que la recolección de este tipo de información es más compleja y tiene unas exigencias altas de imparcialidad; sin embargo, aún con la contratación de un experto externo, los responsables del proyecto se deben involucrar estrechamente en la recolección y análisis de la información.

Independientemente de si se emplea la planta regular de personal o especialistas para desarrollar el proceso de evaluación, se deben seguir unos pasos determinados, tales como escoger lo que se desea evaluar (metas objetivo), seleccionar el tipo de medición, sistematizar los métodos de recolección de datos, analizar los resultados y hacer que todos estos resultados se incorporen a las actividades estudiadas. También, sin tener en cuenta quién realice la evaluación, ésta debe ajustarse a los siguientes estándares [1]:

Si se ha decidido que se necesita un especialista para que colabore con la evaluación, existen numerosos sitios en los que se puede buscar a los candidatos.[2]Hay algunos evaluadores experimentados que han trabajado en el ámbito internacional, y muchas veces lo han hecho en el campo de la educación para los derechos humanos. Este tipo de especialista es tenido en cuenta en proyectos de alto nivel y en proyectos de alto costo que tengan el apoyo de financiación internacional. Por lo tanto, si se va a realizar la evaluación una sola vez, podría considerarse la posibilidad de contratar un experto internacional. Además, se deben sopesar los beneficios previstos de utilizar este tipo de expertos comparados con los costos probables, incluyendo los costos de viaje.

Para un proyecto de bajo perfil, en ejecución, podría considerarse la contratación de un especialista internacional para que trabajara estrechamente con un investigador local en las partes claves del proyecto de evaluación. Este especialista podría ayudar al evaluador local en el diseño del proyecto, el entrenamiento del personal local y el análisis de los resultados, al tiempo que la mayor parte de la recolección de información se podría realizar con recursos locales. Esta práctica de trabajo conjunto entre el especialista internacional y el evaluador local, también tiene el efecto benéfico de mejorar la capacidad local para la puesta en marcha de programas de evaluación.

Otra alternativa es la de utilizar evaluadores educacionales locales, ya que en muchas ocasiones, éstos se pueden encontrar en las universidades locales. Si terminan estableciendo convenios con universidades locales, también es posible que allí haya estudiantes de postgrado interesados en formar parte del proyecto para realizar su trabajo de grado. Este tipo de participación tiene la ventaja de que mejora el proyecto sin necesidad de incurrir en costos adicionales.

Bien sea que se utilice personal local o un especialista internacional, póngase en contacto con personas que tengan proyectos semejantes y pregúnteles a ellos cómo hicieron, ellos le pueden dar sugerencias. Se debe pedir a los aspirantes postulados para la evaluación que entreguen informes de trabajos realizados, para asegurarse de que tienen buen conocimiento del área, y que la forma de trabajo y el enfoque investigativo que usan son satisfactorios. Asegúrese de que los aspirantes sean personas con las que se facilite el trabajar. Después de filtrar a los aspirantes, debería pedirles un diseño del programa de evaluación antes de llegar a una decisión final. En caso de ser necesario, asesórese para evaluar la calidad de la propuesta.

El contrato con el evaluador debe incluir una cláusula relativa a los alcances del trabajo, en la que se incluya la descripción de las preguntas que va a formular; el plan de recolección de información, que incluya las fuentes, los lugares y los instrumentos; el horario de estas labores; y la programación de informes y reuniones.[3]

La regla general cuando se realizan evaluaciones es que en ellas se gaste entre 5% y 10% del total del presupuesto del programa. Sin embargo, los costos de salario y de materiales del especialista no son los únicos costos; también se debe tener en cuenta el tiempo que el personal de planta le dedicará, como parte de la evaluación, a la preparación de documentos, la asistencia a reuniones y la recolección de información. Los costos reales de la evaluación deben incluir todos estos rubros y se deben tener en cuenta cuando se realice la planeación.

Es mucho más fácil dar sugerencias si se tiene en cuenta el tipo de educación para los derechos humanos que se quiere evaluar: clases en el aula, capacitación de maestros, pruebas de material o evaluación de programas. Debido a que en esta última surge la mayor cantidad de interrogantes cuando se trata de la educación para los derechos humanos, en este informe se le prestará relativamente mayor atención. Es importante tener en cuenta que sobre este tipo de evaluación se han escrito volúmenes completos, por lo tanto, este informe es tan sólo un introductorio.

La evaluación de programas es frecuente en los proyectos de educación para los derechos humanos, particularmente cuando tienen el apoyo financiero de oficinas externas. Por lo general, se evalúa el programa y no la organización no gubernamental que lo maneja. Sin embargo, este tipo de evaluación puede terminar íntimamente ligado con las operaciones generales de la organización. Esto ocurre porque los programas en general reflejan las costumbres de toma de decisiones, comunicaciones, solución de problemas y relaciones públicas de la organización que les sirve de apoyo.

De por sí, la evaluación de programas puede ser formativa o final. La evaluación formativa de un programa recopilará información en la mitad o durante el transcurso del proyecto, con el fin de brindar información que le permita a los organizadores "reformar" o "desviar" el programa sobre la marcha, de tal modo que sea más eficaz. La evaluación final se realiza sólo una vez y tratará de registrar el grado en el cual el programa -- que ahora se encuentra en la etapa terminal -- tuvo éxito en alcanzar las metas que se había propuesto. Ambos tipos de evaluación sacan provecho, tanto del evaluador independiente, como de la activa participación en la documentación de aquellos que están más firmemente involucrados en la dirección del proyecto.

Antes de llevar a cabo la evaluación de un programa es importante conocer los diferentes modelos de evaluación:[4]

Tabla 1. MODELOS PARA LA EVALUACIÓN DE PROGRAMAS
_____________________________________________________________________________________________

Evaluación orientada a las metas: Es la evaluación que valoran los progresos de los estudiantes y la eficacia de las innovaciones educativas.

Evaluación orientada a las decisiones: Es la evaluación que propicia juicios racionales por parte de quienes toman las decisiones.

Evaluación del intercambio: Es la evaluación que describe los avances del programa y los puntos de vista valiosos de personas decisivas.

Evaluación investigativa: Es la evaluación que se centran en la explicación de los resultados educativos y la concepción de estrategias de enseñanza.

Evaluación que excluye los objetivos: Es la evaluación que valora los resultados del programa con base en criterios diferentes a aquellos que se concibieron en su origen.

Evaluación de adversarios: Es la evaluación que plantea el mejor caso entre dos apreciaciones enfrentadas sobre la importancia del programa. Ambos puntos de vista tienen acceso a la misma información sobre el programa.

__________________________________________________________________________________

En años recientes ha surgido un nuevo campo de investigación llamado "investigación en la acción". En este tipo de investigación, los participantes del programa forman parte de la organización y son quienes, de manera exclusiva, recolectan, interpretan y aplican la información en la renovación de la misma. Este es el caso de una escuela, por ejemplo.[5] En un modelo semejante, conocido como "investigación participativa", aunque el evaluador es el coordinador del proyecto y tiene la responsabilidad del respaldo técnico, el entrenamiento y el control de la calidad, el estudio se realiza en conjunto con los participantes.[6] Ambos enfoques se pueden usar en la evaluación formativa pero no en la evaluación final.

Los diferentes modelos suponen la participación de grupos de participantes grandes y pequeños en el lugar de trabajo, y pueden ir desde los más altos funcionarios, un pequeño grupo de colaboradores o la totalidad de la planta de personal. El tipo de participantes involucrados refleja los objetivos mismos de la investigación. Por ejemplo, una investigación dirigida a mejorar la cultura de toda la escuela debería involucrar a todos los integrantes del cuerpo docente, así como los estudiantes y el personal operativo; una investigación que pretenda mejorar la enseñanza de una materia en un área en particular debería involucrar sólo a los profesores de dicha área.

De modo ideal, todas las evaluaciones deberían utilizar un principio fundamental de la investigación en la acción, el que involucra la toma de decisiones basada en la práctica. "Los interesados", aquellos responsables directos de la realización de programas de educación para los derechos humanos y las personas para quienes el programa es de vital importancia, deben involucrarse como consultores al momento de formular las preguntas para la evaluación; lo que no excluye que se comprometan con la recolección de información, su interpretación y la presentación final.

Toda evaluación de un programa debe incluir una sección sobre la recolección de información, la cual puede abarcar factores tanto cualitativos como cuantitativos. Los indicadores cuantitativos se asocian con resultados cuantificables; los cualitativos, con resultados subjetivos tales como cualidades y actitudes. También existen indicadores de impacto global, tales como un incremento en la frecuencia de la enseñanza de derechos humanos en las aulas.[7] Es común que las evaluaciones combinen ambos tipos de mediciones. A continuación se presentan algunos ejemplos de indicadores cuantitativos y de logros, que se pueden utilizar para valorar los proyectos de educación para los derechos humanos.

la capacitación	medidas cuantitativas: cantidad de programas de capacitación, cantidad de participantes. medidas cualitativas: calidad de la capacitación. medidas globales: capacitaciones de tiempo completo patrocinadas por el Ministerio de Educación.
materiales	cuantitativos: cantidad de libros impresos y en circulación. cualitativos: calidad de los materiales producidos. global: los libros autorizados por el Ministerio
ONG	cuantitativos: personal contratado cualitativos: nivel de calificación del personal contratado global: trámites para contratar personal
pasantías	cuantitativos: cantidad del personal que hace parte del programa de pasantías, la duración del programa. cualitativos: efectos de las pasantías sobre el desarrollo profesional del personal. global: el tiempo completo es llevado a cabo por el personal que realiza pasantías

Los programas tienen efectos de primero, segundo y hasta de tercer orden. Los efectos de primer orden, que típicamente se examinan en las evaluaciones (en parte, porque son más fáciles de registrar) son aquellas actividades que realizan los ejecutores del programa. Un efecto de primer orden de un programa de educación para los derechos humanos puede ser si la cantidad ofrecida de sesiones de capacitación se realizó y se editaron los libros. La evaluación de segundo orden le revisa los efectos que tiene el diseño del programa, es decir, si ocurren cambios en los hábitos de los grupos objetivo. ¿Han utilizado los profesores los libros y han tenido algún efecto sobre las prácticas en el aula? Un efecto de tercer orden, que sería una consecuencia natural, es el cambio en los conocimientos, habilidades y actitudes en los niños como consecuencia de las modificaciones introducidas al ambiente de las aulas. Es importante tener en cuenta estos tipos de evaluación de impacto, pero no serán abordadas en este informe.

Para comenzar hay que hacerse las siguientes preguntas, cuyas respuestas servirán de guía para las etapas preliminares.

¿Cuáles es la finalidad de la evaluación?
¿Entienden y aceptan todos los interesados estos propósitos?

¿Quiénes dentro del personal o de fuera se involucrarán en la evaluación?
¿Cuál será el grado de contribución de los distintos participantes?
¿Se conformará un equipo representativo de planeación o un comité de dirección?
¿Existe alguna posibilidad de que la evaluación sea tomada con recelo por alguno de los participantes?
¿Cómo se puede minimizar cualquier sensación de recelo?

¿Quién llevará a cabo los aspectos técnicos de la evaluación?
- ¿Un Evaluador, una persona independiente comprometida con la recolección de información y análisis?
- ¿Un Facilitador, alguien comprometido en brindar su colaboración a la evaluación pero no al análisis?
- ¿Un Consultor, una persona involucrada sólo en algunos de los aspectos de la evaluación, como ayudar con las entrevistas?

¿Cuáles son los objetivos del proyecto que se evaluará: el logro de algunas metas, procesos o sistemas?
¿Cuáles son los indicadores de acierto?

¿Qué métodos de recolección de información se utilizarán?
Entre los métodos disponibles se incluyen:
- observación (estructurada o sin estructurar);
- entrevistas (estructuradas o sin estructurar)(individuales o con grupo de control);
- cuestionarios;
- análisis documental de informes, registros y otros materiales escritos;
- análisis del contenido de material curricular;
- informes de debates informales y conversaciones;
- pruebas de logros (de criterio y referenciadas por normas);
- diarios y auto reportes;
- grabaciones de audio y vídeo.
¿Existen las garantías apropiadas para asegurar que la información es apropiada y confiable?

8. Viabilidad de los métodos que se utilizarán para recolectar información

¿Es la concepción de la evaluación realista en términos de tiempo, personal y financiación disponible?
¿Existen algunos recursos particulares que se necesiten para lograr que la evaluación sea más efectiva (por ejemplo, ayuda secretarial, equipos, papel, gastos de envío, espacio de trabajo, trabajos de imprenta)?
¿Durante cuanto tiempo se prolongará la evaluación?

¿Cuál es el proceso que se utilizará para analizar la información?
¿Existen las medidas preventivas apropiadas para validar la información?

¿Quién tendrá el control sobre lo que se recopila y lo que se informa?
¿Cuáles serán los procesos que regirán la recopilación y la difusión de esta información?
¿Quién tendrá el derecho a objetar, corregir y dar validez a los informes y las actividades de las personas y los grupos?
¿Se difundirá la totalidad o sólo una parte de la información?

Un informe típico incluye un resumen; tabla de contenido; lista de tablas y figuras; objetivos; metodología; resultados y discusión. También puede contener recomendaciones.
¿Cuál será la forma (contenidos, estilo, formato) que se utilizará para el informe de la evaluación?
¿Se informarán los aspectos negativos del programa, y a quién?
¿Es necesario elaborar informes diferentes para distintos grupos?

¿Es posible observar o predecir resultados a partir de la evaluación?
¿Qué medidas se han tomado para asegurar que la evaluación sirva de apoyo a los procesos de toma de decisiones adecuados?
¿Son conscientes los participantes, desde el comienzo, de los resultados posibles?

¿PODRÍAS DARNOS MAYOR INFORMACIÓN SOBRE LOS MÉTODOS DE RECOLECCIÓN DE INFORMACIÓN?

Si el diseño de la investigación y los análisis son la "cabeza" de la evaluación de un programa, la recolección de información son los brazos, las piernas y el cuerpo del resto del trabajo. Ya hemos expuesto las diferencias entre los tipos de medición cualitativo y cuantitativo, ahora vamos a comparar estos enfoques en conjunto de la siguiente forma.

Son muy pocos los proyectos que tienen un enfoque cualitativo o cuantitativo puro, sin embargo, ambos métodos pueden hallarse combinados en un mismo esquema investigativo. La excepción a la regla son los estudios de caso o la investigación etnográfica, la cual se base típicamente en encuestas cualitativas e información basada en la observación, y los estudios experimentales o cuasi experimentales que se centran en comparaciones estadísticas.

La mayor parte de la evaluación de programas depende de encuestas y entrevistas para la recopilación de información. Por esta razón, es importante concentrarse en el diseño y la forma de presentar las preguntas. Las preguntas que se hagan, obviamente deberán estar relacionadas con los fundamentos del funcionamiento del programa o los efectos deseados. Cuando se haga la selección de los temas de las preguntas, se debe pensar sobre aquello que es imprescindible para las metas centrales del programa, y que...

Por ejemplo, si su proyecto de educación para los derechos humanos opera por fuera de un centro regional, puede tomar la decisión de realizar un estudio interno para comparar las operaciones de las regionales con las de la oficina principal. En este contexto, puede centrarse en el área administrativa o de formulación de políticas que estén bajo su influencia, tales como comunicaciones, toma de decisiones y presupuesto. Un estudio de este tipo podría identificar los mecanismos tanto formales como informales que se usan, evaluar su eficacia, y buscar modos de mejorar la operación global de la organización.

De modo alternativo, dicho proyecto de educación para los derechos humanos podría decidir que le interesa conocer qué tan bien los centros regionales han cumplido con su papel de convertirse en un recurso para las comunidades locales. En este caso, se pueden implementar mecanismos estandarizados para documentar la provisión de este tipo de servicios locales, tales como capacitación, utilización de la biblioteca de recursos, difusión de material, programación y otros tipos de asistencia técnica. Además, puede realizarse la tarea de ir a la comunidad para obtener información sobre el uso que le está dando al Centro y la forma en que se podría mejorar para atender sus necesidades.

Tan pronto como se han formulado los objetivos generales para las preguntas, se debe proceder a la confección de las preguntas que pueden ser cerradas, o sea, limitadas a unas opciones preestablecidas; o abiertas, en las cuales el entrevistado puede elaborar la respuesta del modo que le plazca. A continuación se presentan algunos ejemplos de preguntas abiertas y cerradas.

1=totalmente de acuerdo; 2=medianamente de acuerdo; 3=ni de acuerdo ni en desacuerdo; 4=medianamente en desacuerdo; 5=totalmente en desacuerdo

1=lo apruebo del todo; 2=lo apruebo; 3=no me decido; 4=lo desapruebo; 5=lo desapruebo del todo.

Clasifique las siguientes partes del programa de acuerdo con el grado de utilidad que tuvieron para usted.
Asígnele 1 punto a los de mayor utilidad y 4 puntos a los de menor utilidad.

Lo común es que durante las etapas preliminares de la investigación se realice un mayor número de preguntas abiertas y que en los períodos de verificación éstas sean cerradas. La principal ventaja de las preguntas cerradas es que brindan un marco de referencia uniforme que a su vez se utiliza para delimitar las respuestas a las preguntas. Las preguntas abiertas tienen la ventaja de que le permiten al encuestado mayor libertad para elaborar las respuestas. Las preguntas abiertas tienen la desventaja de que su análisis toma más tiempo.[10]

Si en una encuesta se incluyen preguntas, debe tenerse en cuenta que el diligenciamiento normal del cuestionario no debe demorar más de una hora, y cuando se revisen las preguntas, debe cerciorarse de que sean breves y claras; Además, de deben evitar las frases confusas, las abreviaturas y el lenguaje demasiado especializado. Realice pruebas anticipadas a los cuestionarios para determinar cuánto tiempo toma diligenciarlos, asegúrese de que las preguntas cerradas incluyan todas las posibles respuestas y que unas no incluyan a las en otras; además, dichas pruebas permiten comprobar que no haya sesgos ocultos o preguntas que sugieran las respuestas.

Se debe contar con medios que faciliten la recolección de los cuestionarios (puede ser correo prepagado o recolección personalizada), porque, en ocasiones los cuestionarios no se diligencian personalmente sino que son enviados y devueltos por correo. Esto ocurre por ejemplo, cuando se utilizan procedimientos de muestreo. Aunque esta es una forma muy eficaz de recolectar grandes cantidades de información, es posible que se incurra en falsas interpretaciones a menos que las preguntas estén bien elaboradas y enfocadas.

Se evalúa a los encuestados y no los materiales
Se sienta cátedra en lugar de evaluar
La presentación de la encuesta o la motivación del encuestado no es apropiada
Se comunica una actitud defensiva de modo no verbal, y de esta forma se impide la expresión libre de la crítica
Se habla más de lo que se escucha
Se Juzga que lo que dice el encuestado es "tonto" o "equivocado" (por medio de risas o expresiones faciales)
Se Realizan preguntas que sugieren la respuesta
Se realiza con prisa
No se tiene la capacidad para "ponerse en los zapatos del otro" (identificarse con el encuestado)
Se Influencian o cohíben las opiniones del encuestado
Se obliga o se hace que el encuestado se comporte de modo convencional.

En el momento de la entrevista, el investigador enfrenta los mismos desafíos que cuando trata de diseñar las preguntas más convenientes. La mayor parte de los protocolos o procedimientos de entrevista utilizan preguntas cerradas. El protocolo de entrevista estructurado no permite que ésta discrepe mucho de las preguntas diseñadas de antemano. El protocolo de entrevista semiestructurado, que se utiliza mucho, contiene una lista de preguntas preestablecidas; sin embargo, al investigador le queda un margen de maniobra para realizar preguntas espontáneas de seguimiento, las que le permiten el seguimiento de cursos de discusión imprevistos.

Las entrevistas de evaluación del programa generalmente se realizan en asocio con el personal central del programa y aquellos vinculados con la puesta en práctica del proyecto (por ejemplo, personal clave del Ministerio de Educación y delegados de los distritos educativos). La utilización de grupos de control es una alternativa cuando el grupo que se va a entrevistar es muy numeroso para hacerlo individualmente. En los proyectos de educación para los derechos humanos, estos grupos podrían incluir maestros, estudiantes, policías, u otros grupos objetivo del programa.

La realización de entrevistas parece fácil de llevar a cabo, pero asimismo es muy fácil cometer errores que limitarán la información recogida y tornarán la entrevista inservible. En la Tabla 2 se enumeran algunos riesgos que se deben evitar.

No se debe eximir a los estudiantes de la evaluación por el simple hecho de que estén tomando la clase de derechos humanos. Sin embargo, este tipo de evaluación debe reflejar tanto los objetivos multifacéticos que se pretende que los estudiantes logren (intelectuales, habilidades y desarrollo de valores efectivos), como los distintos métodos pedagógicos usados (trabajo individual, trabajo en grupos pequeños, trabajo por proyectos y debates). Siempre que sea posible, el maestro no debe limitarse simplemente a dar una nota, sino que debe incluir comentarios constructivos que realcen las fortalezas del estudiante así como las áreas que requieren mejoría.

La mayoría de los educadores que enseñan educación para los derechos humanos utilizan una combinación de técnicas de valoración para aprehender estos diversos campos de enseñanza y métodos pedagógicos. En la Tabla 3 se muestra un ejemplo de un sistema de notas que comprende la participación en grupos de trabajo y debate, resultados de proyectos participativos y pruebas, y ejercicios escritos. Las notas para el trabajo de proyectos y la participación en los debates en clase pueden ser asignadas por los compañeros de clase así como por el maestro. Además, los estudiantes pueden autoevaluar su contribución al trabajo en grupo.

La mayoría de maestros ya están familiarizados con las técnicas comunes de evaluación, tales como la realización de pruebas y la calificación de trabajos. La calificación de actividades no tradicionales en clase, tales como el trabajo en grupos pequeños ofrece mayores retos. Algunas veces al maestro le parece que no tiene suficiente información para evaluar la participación y el comportamiento participativo de los estudiantes en el trabajo de grupo.

25 %

40 %

25 %

10 %

Notas para cada actividad de grupo (1 semanal)

Pruebas escritas y tareas para la casa

Proyecto de trabajo (1 trimestral)
Se califica el diseño, la ejecución y el valor formativo para el estudiante.

Participación y aportes a los debates en clase

Los maestros pueden abrir un espacio para la autoevaluación y la evaluación constructiva entre los compañeros del grupo. Estos métodos ayudarán a fortalecer el proceso reflexivo de los estudiantes y los motivará a que sean capaces de autodirigir el aprendizaje. Cuando se presenten discrepancias entre los resultados de la autoevaluación, la evaluación de los compañeros y la del profesor, estas discrepancias se pueden abordar con el fin de modificar los procesos de evaluación.

A continuación se presentan algunos ejemplos de los criterios con los que se puede valorar el trabajo de grupos pequeños. Este listado de características se puede usar como lista de control, o sistema de calificación: 1=bueno; 2=aceptable; 3=malo.

mantiene presentes los propósitos o las tareas
colabora con los otros miembros del grupo
trabaja sin perturbar a los otros
es respetuoso de todos los integrantes del grupo
cumple con buena parte del trabajo
colabora para encontrar formas de mejorar el trabajo del grupo

_______________________________________________

Por medio de la revisión de otros trabajos realizados por los estudiantes tales como informes, mapas y dibujos, se puede realizar una valoración del aprendizaje y la identificación de puntos en los que la enseñanza sea más clara. La comparación de muestras tomadas al comienzo y al final de un período se puede utilizar para verificar el avance de los estudiantes. En las actividades de colaboración, los maestros pueden calificar a los estudiantes individualmente pero también a los grupos completos o a las parejas.

A los maestros en el aula de educación para los derechos humanos también les preocupa la justa valoración de las cualidades afectivas de los estudiantes. Aunque los maestros pueden tomar la decisión de no calificar las características personales y el sistema de valores de los estudiantes, una alternativa es la de tratar de aplicar los criterios que se enumeran abajo, empleando la valoración de los profesores o las autoevaluaciones como base de las calificaciones.

toma en cuenta nuevas ideas y actividades
ensaya nuevas formas de hacer las cosas
en las discusiones antepone los hechos a las opiniones
modifica las conclusiones cuando surgen nuevos hechos
elabora sus juicios sin tomar partido
considera todas las facetas de un problema
es capaz de reconocer los estereotipos y los prejuicios

¿Cómo se catalogaría en los puntos siguientes? (A para muy bueno, B para bueno, C para aceptable y D para muy pobre)

respeto por los otros
interés en los otros
atención a los otros
persistencia en el trabajo
sensibilidad a las necesidades de los otros
valoración acertada de los otros
colaboración con los otros
piensa antes de actuar
es honesto
es franco
auxilia a los otros
admite los errores

Por último, el maestro debería integrar siempre la evaluación con la enseñanza. La observación por parte del maestro de las diversas actividades de aprendizaje, combinada con las evaluaciones formales, suministra información valiosa sobre el uso que los estudiantes hacen de los conceptos y la expresión de actitudes. Esta información puede constituir la base para la adaptación de las clases con el objeto de ayudar a los estudiantes a alcanzar los variados objetivos pedagógicos de educación para los derechos humanos en el aula.

La evaluación de los programas de tiempo completo es un procedimiento muy estándar. Generalmente, las evaluaciones se realizan por medio de un formulario anónimo de evaluación que se diligencia por escrito y se reparte diariamente y/o al final de la capacitación. Además, se pueden recibir sugerencias informales en las reuniones del grupo completo.

Si se utilizan cuestionarios, por lo general los organizadores incluyen una mezcla de preguntas abiertas y cerradas en las que se pide a los participantes indicar el grado global de satisfacción con la capacitación y su utilidad para la enseñanza en el aula.

__________________________________________________________________________________________

5. Utilizando la escala de abajo, asígnele una calificación a la utilidad global del seminario en:

10. ¿Cómo piensa aplicar lo que ha aprendido en la capacitación en su aula o escuela?

___________________________________________________________________________________

Sería conveniente incluir una pregunta (como la número 10, arriba) que tenga que ver con la intención del participante de realizar actividades para inculcar la educación para los derechos humanos en el aula, y realizar una sesión de seguimiento con los participantes después de cuatro a seis meses. Este seguimiento puede servir no sólo como una "evaluación" final de la capacitación, sino como un tipo de apoyo a los maestros para quienes puede ser muy importante que les recuerden el entusiasmo con el que tomaron la capacitación.

Una prueba de campo significa que se ensayarán los materiales en un ambiente realista, para ver si funcionan como pretenden los autores o los patrocinadores. Las pruebas de campo son como un ensayo de vestidos antes de que una obra de teatro se presente ante el público, con la diferencia de que en el caso de los textos aún queda tiempo para realizar ajustes.

Es muy natural que existan diferencias entre lo que los creadores esperan de una lección y la forma en que quienes usan los textos la interpretan y aplican. Con base en las pruebas de campo, los investigadores -- con la colaboración de los maestros -- recopilan información sobre la forma en que el texto es bien aplicado (o mal aplicado) con el fin de realizar cambios en el material que permitan aclarar las confusiones; elaborar los detalles; ofrecer guías de apoyo para maestros y estudiantes; y aumentar las probabilidades de que el texto se utilizará en el aula como pretendía el autor.

Las pruebas de campo son fundamentales para los textos de educación para los derechos humanos, especialmente si no se aplican regularmente metodologías basadas en las actividades. Mas aún, si los materiales han sido traducidos o adaptados de otros países, se debe realizar una ronda de pruebas para asegurarse de que tienen pertinencia cultural. Por supuesto, las pruebas de campo se pueden realizar no solamente para los textos sino también para los materiales audiovisuales. Sin embargo, en esta parte nos concentraremos en las pruebas de campo de textos, debido a que esta es más complicada, aunque, la mayoría de los criterios, métodos y organización de recolección de información se puede aplicar también para la prueba de otro tipo de materiales de educación para los derechos humanos.

El experto en textos Tim Hunt [15] ha trabajado con las editoriales rumanas ayudándoles a desarrollar criterios para evaluar los libros de texto que se han propuesto para publicación. En la Tabla 8 se encuentran los criterios que se debe incorporar en los formularios de sugerencias que los maestros llenan después de cada clase, en los informes escritos que los maestros elaboran después de utilizar gran parte del material de texto, o las entrevistas que realizan los investigadores con los profesores escogidos para las pruebas de campo. Cada criterio puede ser calificado -- por ejemplo, una calificación entre 1 (inaceptable) hasta 5 (excelente), con 3 (aceptable). Sin embargo, es fundamental recoger las opiniones del profesor sobre el texto, de tal modo que se deben incluir preguntas abiertas.

1. Conformidad con el plan de estudios

¿En qué medida se acomoda el texto a las directrices del plan de estudios?

2. Contenido

¿Es el contenido exacto y apropiado?

3. Nivel del lenguaje

¿Está el lenguaje utilizado en el texto al nivel de los alumnos a quienes se dirige?

4. Método pedagógico

¿Es apropiada la metodología para la edad y el nivel de los niños, y son los ejercicios y las pruebas de igual modo provechosos?

5. Presentación y diseño

¿Tiene la calidad debida en términos de distribución de la página, tamaño y estilo de los tipos de letra, legibilidad en general, espaciado, márgenes y claridad de la impresión?

6. Ilustraciones

¿Son las ilustraciones relevantes y apropiadas en términos de calidad de la ejecución, estilo, relación con el texto, precisión y uso del color?

7. Originalidad

¿Qué elementos de originalidad o enfoque creativo hay allí? ¿Hay algunas características especiales que atraigan de modo particular al alumno o al maestro?

8. Calidad de los materiales

¿Por cuanto, si es así, excede el libro los requerimientos mínimos de calidad de papel, material de la carátula y encuadernación?

9. Apoyo al maestro

¿Qué tipo de apoyo contiene el material? Por ejemplo: una guía del maestro o materiales adicionales en la metodología de los pasos de la enseñanza; información de experiencias precedentes; pruebas, materiales de evaluación y ejercicios adicionales; respuestas clave.

Hay un caso de un proyecto de educación para los derechos humanos en el que se utilizaron formularios de sugerencias semanales y además, informes de final de año. Los formularios semanales incluyeron las siguientes seis preguntas que trataban sobre el uso del texto preliminar, los aciertos de las lecciones y sugerencias sobre modificaciones.

¿Se realizó la actividad tal y cómo se proponía en el texto? ¿Sufrió algún tipo de modificación?
¿Si fue así, cual?
¿Se terminó la lección?
¿Tuvo éxito la lección? Comentarios.
Sugerencias para la realización de cambios.
¿Son estas labores razonables para el aula?
Actividades especiales que se desarrollaron en el aula.

Al final de año, los maestros participantes en la prueba de campo diligenciaron un formulario de evaluación global que contenía muchos de los criterios enumerados por Tim Hunt: claridad en el lenguaje y los conceptos, pertinencia del contenido para la edad, calidad de la producción, utilización de los materiales durante todo el programa de estudios, tiempo requerido para preparar a los maestros, y otro tipo de información necesaria para apoyar a los maestros que utilizan el material.

La investigación con pruebas de campo generalmente comprende una variedad de métodos de recolección de información que incluyen informes preparados por los participantes, entrevistas individuales y con los grupos de control (maestros y estudiantes), y observaciones del material utilizado. Otras formas ingeniosas de recolección de información pueden surgir, tales como la revisión del trabajo de los estudiantes, la producción de vídeos de los textos usados y la realización de cuestionarios de actitudes. Con la excepción de los informes preparados por los participantes, la recolección y análisis de información es generalmente dirigida por investigadores entrenados, porque estos investigadores tienen las habilidades y la neutralidad requerida para la elaboración de complejos procedimientos de pruebas de campo.

Lo ideal sería que la recolección de información, el análisis y la modificación del material de derechos humanos fuera un proceso de colaboración entre tres conjuntos de actores: los participantes, el investigador y el desarrollador del texto. Los participantes tienen una "visión desde abajo" sobre la efectividad del material que se prueba, y tienen la habilidad para hacer sugerencias muy útiles para la modificación del texto. En el caso de un entorno escolar, dentro de los participantes se debe incluir a los maestros y a los estudiantes. El papel del investigador es fundamental para la capacitación de los maestros en la recolección de información, el desarrollo de instrumentos, la obtención habilidosa de sugerencias de los participantes y el análisis de los resultados. El desarrollador del texto necesita estar informado de manera continua de los resultados de las pruebas de campo, de tal modo que las alteraciones al material se puedan realizar de modo oportuno Sin embargo, lo ideal es que el desarrollador del texto y el investigador, juntos, realicen observaciones en el aula, así el autor puede ver con sus propios ojos la utilización que se está haciendo del material.

Para observar en el aula a un maestro con el que se esté realizando parte de las pruebas de campo de un borrador de un texto se deben seguir los siguientes pasos:

Pedirle al profesor que lea en su totalidad la unidad o el capítulo y entonces que se lo enseñe a su modo a los estudiantes.

Observar el método de enseñanza del profesor y tomar nota de los puntos siguientes:

claridad de la presentación y secuencia lógica
utilización de ejemplos y relevancia de estos dentro de la situación y cultura local de los estudiantes
utilización del tablero y otras ayudas visuales
vocabulario que usa
participación de los estudiantes: ¿hacen preguntas?, ¿les pregunta el maestro?, ¿de qué se tratan las preguntas?
valoración que el maestro realiza de la comprensión de los estudiantes
¿asocia el maestro la lección con los conocimientos previos del estudiante?

Tenga en cuenta al realizar estas observaciones que se está evaluando al texto y no al maestro. Si hay discrepancias entre la forma como el autor concibió una clase y la forma como se está llevando a cabo --discrepancias que a criterio del observador no favorezcan el aprendizaje-- entonces la responsabilidad del desarrollador del texto es mejorar su borrador, de tal modo que facilite la realización de las clases de la forma inicialmente concebida.

El éxito de un proyecto de prueba de campo depende tanto de las habilidades gerenciales como de la preparación técnica. La prueba de campo de un texto para un curso anual puede tomar hasta dos años, incluyendo la preparación de las pruebas de campo, la recolección de información, el análisis y las sugerencias de modificaciones. Sin embargo, de ser necesario, se podrían diseñar otros tipos adecuados de pruebas de campo.

Las siguientes actividades son comunes en un proyecto de prueba de campo que abarque un período escolar completo:

Por supuesto que la prueba de campo debe diseñarse de tal modo que refleje el tipo de cambios que el autor está dispuesto a realizar. Por ejemplo, no invierta en una gran cantidad de maestros y un elaborado programa de prueba de campo de dos años si quiere realizar pequeños cambios editoriales.

Los resultados de este tipo de investigación serán muy enriquecedores y hasta sorprendentes. Por este medio, los desarrolladores de textos se darán cuenta de qué temas atraen más a los niños y cuáles son más difíciles para los maestros. Con frecuencia, los participantes no sólo brindan comentarios editoriales, sino que realizan sugerencias para quitar partes (por ejemplo, recortar un texto muy extenso) así como adiciones (tal como un glosario de términos). Los beneficios de las pruebas de campo van más allá de la simple modificación de los materiales. La participación en este tipo de empresa puede convertirse en una extraordinaria experiencia de desarrollo profesional para los maestros, así como para los autores de textos. Los resultados también pueden utilizarse para hacer publicidad al material una vez que esté listo para su publicación.

Sin embargo, por regla general, las pruebas de campo demandan mucho tiempo. Una alternativa a las pruebas de campo, o como una revisión preliminar a éstas, es pedirle a un experto en derechos humanos que revise el borrador del texto. El revisor debería asegurarse de que el material de derechos humanos cumpla con los siguientes rubros:

Tabla 10. EJEMPLO DE CRITERIOS PARA LA REVISIÓN DE UN TEXTO SOBRE DERECHOS HUMANOS

___________________________________________________________________________________

que haga referencia a documentos y mecanismos locales, nacionales e internacionales para garantizar los derechos humanos
que utilice ejemplos culturales adecuados
que los textos y las ilustraciones tengan una representación global de la mujer, los grupos étnicos y los miembros de las mayorías y minorías culturales
que evite el estereotipo en el lenguaje y las ilustraciones
que presente de temas de interés local
que evite el uso de lenguaje técnico o polémico
que sea apropiado para las condiciones materiales del aula.

Con algunas modificaciones de poca importancia, estos principios se pueden utilizar para material que no sea textual y material que vaya a ser usado por fuera del aula.

ES UNA GRAN CANTIDAD DE INFORMACIÓN PARA ENSAYAR Y DIGERIR, ME QUEDAN TODAVÍA MUCHOS INTERROGANTES.
¿HAY LIBROS EN LOS QUE PUEDA APRENDER MÁS?

Al final de este informe hay una bibliografía que incluye algún material básico sobre evaluación. Sería interesante mirar en la biblioteca local, teniendo en cuenta que se debe ser selectivo debido a que hay una gran variedad de modelos de evaluación.

¿HAY OTROS ELEMENTOS QUE SE DEBERÍA TENER EN CUENTA CUANDO SE ORGANICEN EVALUACIONES EN EL CAMPO DE LA EDUCACIÓN PARA LOS DERECHOS HUMANOS?

Afirmativo. Si una evaluación involucra personas de diferentes nacionalidades o experiencias culturales, entonces debe plantearse de modo abierto los problemas interculturales. Obviamente, las diferencias interculturales afectan la facilidad y la claridad del intercambio de ideas. por esto, cerciórese por partida doble de que todos los involucrados entiendan las ideas principales. Además, las diferencias culturales pueden influir sobre la formalidad del lenguaje utilizado, y dar ideas sobre la frecuencia y las circunstancias en que debe tener lugar el intercambio de información entre el evaluador y las personas que participan en el programa. Es mejor aclarar las expectativas sobre las funciones, las responsabilidades y los canales de comunicación desde la misma iniciación del proyecto.

Los diferentes países también tienen diferentes prácticas en lo que se refiere a la evaluación y el seguimiento. Es así como, en muchos países, la investigación y la evaluación son dirigidas de modo exclusivo por expertos capacitados, con la colaboración de los participantes. Se exceptúa el diligenciamiento de formularios con preguntas cerradas. La evaluación puede ser percibida como una gran amenaza. En las culturas en las que la evaluación se perciba así, se necesitará emplear un investigador cualitativo para que utilice métodos alternos de recolección de información y trabaje intensamente para lograr relaciones de colaboración en el trabajo, con los participantes locales. Los maestros y los otros participantes se deben convencer de que las evaluaciones formativas pueden contribuir a su propio desarrollo profesional, para lo cual de necesitará ganar su confianza.

Las diferencias culturales también se dan dentro del campo de la educación, los derechos humanos y la administración; por esto los cambios se deben medir comparados con los estándares locales y no los extranjeros. Las preguntas que un evaluador externo extranjero debe hacerse son:

Una observación final; que tiene que ver con el carácter distintivo de la evaluación, y que con mayor razón no se puede ignorar dado que estamos metidos en el campo de educación para los derechos humanos; es que todos aquellos que se comprometan en cualquier tipo de investigación evaluativa, deben ser honestos, constructivos y sensibles en sus comunicaciones y en la medida de lo posible, el trabajo se debe realizar colectivamente. La información y el análisis se deben compartir anticipadamente y las sugerencias de los participantes deben incorporarse en la evaluación. Cuando ocurran diferencias irreconciliables de opinión entre el evaluador y los agentes educativos, estos últimos pueden incluir sus interpretaciones personales en el anexo al informe que se pondrá a disposición de terceras personas.

Bethel, George (1995). "Effective Program Management." Workshop Presentation at Education for an Open Society Conference, Budapest. September.

Calhoun, E.F. (1994). How to Use Action Research in the Self-Renewing School.. Alexandria, VA: Association for Supervision and Curriculum Development.

Campbell, P.B. (1982) Evaluating Youth Participation: A Guide for Program Operators. New York: National Commission for Youth.

Cousins, J.B. and Earl, L.M. (1992). 'The Case for Participatory Evaluation' in Educational Evaluation and Policy Analysis (Winter 1992, Vol. 14, No.4), pp. 397-418.

Davis, B.G. and Humphreys, S. (1983). Evaluation Counts: A Guide to Evaluating Math and Science Programs for Women. Report to the National Science Foundation.

Fetterman, D.M. (1989). Ethnography Step by Step. Newbury Park: Sage Publications.

Fink, A. and Kosekoff, J. (1985). How To Conduct Surveys. Newbury Park: Sage Publications.

Fowler, F.J., Jr. (1985). Survey Research Methods. Beverly Hills: Sage Publications.

Herman, J.L., Morris, L.L. and Fitz-Gibbon, C.T. (1987). Evaluator's Handbook. Newbury Park: Sage Publications.

Hunt, T. (1995). "Effective interpretation of curriculum into print materials." Presentation at Education for an Open Society Conference, Budapest, September.

Joint Committee on Standards for Educational Evaluation (1994). The Program Evaluation Standards. Thousand Oaks, CA: Sage Publications, Inc.

Light, R.J., Singer, J.D. and Willett, J.B. (1990). By Design. Cambridge, MA: Harvard University Press.

Madaus, G.F., Scriven, M.S. and Stufflebeam, D.L.(1991). Evaluation Models: Viewpoints on Educational and Human Services Evaluation. Boston and the Hague: Kluwer-Nijhoff Publishing.

Michaelis, J.U. (1988). Social Studies for Children, 9th ed. Englewood Cliffs, NJ: Prentice-Hall.

Michaelis, J.U. (1992). Social Studies for Children, 10th ed. Englewood Cliffs, NJ: Prentice-Hall.

Morris, L.L. and Fitz-Gibbon, C. T. (1978). The Evaluator's Handbook. Beverly Hills and London: Sage Publications.

Smith, N.L. (1991). 'The Context of Investigations in Cross-Cultural Evaluations' in Studies in Educational Evaluation, Vol. 17, pp. 3-21.

Torney-Purta, J. (1989). 'Issues of evaluation' in D. Hicks and M. Steiner (eds), Making global connections , Edinburgh: Oliver & Boyd, pp. 163-170.

Weisberg, H.F. and Bowen, B.D. (1974). An Introduction to Survey Research and Data Analysis. San Franscisco: W.H. Freeman and Company.

[1] Estos estándares fueron desarrollados por el Comité Conjunto para Estándares de Evaluación Educativa en los Estados Unidos para la evaluación de programas (Sanders, J (1994) The Program Evaluation Standards, Thousand Oaks, CA: Sage Publications, Inc.), sin embargo, se pueden aplicar a todo tipo de evaluación educativa.

[2] Partes de esta sección se adaptaron de P.B. Campbell (1982), Evaluating Youth Participation: A Guide for Program Operators. New York: National Commission on Resources for Youth.

Este documento puede ser reimpreso o reproducido sin el consentimiento manifiesto del autor

	Excelente	Bueno	Adecuado	Dificultoso
1. Salones de reunión
2. Alojamiento
3. Alimentación
4. Transporte