:: UniRitter » ComUni

O artigo focaliza a elaboração de propostas de avaliação de projetos de Extensão em instituições de ensino superior. A finalidade da avaliação é verificar o mérito do projeto ou o impacto, traduzido em resultados alcançados ou não esperados. Assim, o artigo apresenta um roteiro para orientar a elaboração de propostas de avaliação que inclui seus principais componentes e alguns exemplos. Finaliza indicando que a vontade de contribuir com o aperfeiçoamento de projetos de extensão justifica o investimento pessoal e profissional.
Palavras chave: projetos de Extensão, propostas de avaliação

This paper focus on the elaboration of evaluation proposal for Extension projects on higher education institutions. Evaluation aims to verify a project merit or impact, that is, its reached or not expected results. Then the paper presents an outline to orient the elaboration of evaluation proposals that includes its main components and some examples. A final remark says that the will to contribute to the improvement of Extension projects justifies the personal and professional investment.

Na pauta do governo, a avaliação da área educacional se tornou necessária como busca de qualidade e vem se consolidando desde a segunda metade da década de 1990. Forte exemplo deste crescente movimento pró-avaliação são os sistemas nacionais de avaliação implantados no país para a educação básica (SAEB) e o ensino superior (SINAES), e ainda os exames nacionais de ensino médio (ENEM) e de cursos de ensino superior (ENC e atual ENADE). Procura-se, com essas avaliações e exames, balizar os resultados obtidos tanto pelo ensino fundamental e médio, como pelas instituições de ensino superior (IES), para traçar metas de melhoria da educação.
No âmbito das IES, no qual convivem o ensino, a pesquisa e a extensão, de um modo geral a avaliação tem ocorrido por meio da atuação de comissões de avaliação institucional e ainda nos programas de pós-graduação que já eram tradicionalmente avaliados pela CAPES. No caso dos projetos extensionistas, observa-se uma preocupação válida em a eles integrar o ensino e a pesquisa com as demandas da sociedade, de modo a estabelecer um relacionamento entre a produção acadêmica e determinadas necessidades da comunidade. Busca-se, também, por intermédio das atividades extensionistas, uma participação que vise ao desenvolvimento da cidadania, o que atinge participantes internos e externos dos projetos, ou seja, alunos, professores e funcionários, assim como os grupos das comunidades envolvidas ou atendidas por esses projetos. Resta saber se essas expectativas têm sido atingidas e até que ponto o são.
Este é o foco do presente texto, a avaliação de projetos de extensão, especialmente de seu impacto em relação aos grupos focalizados e neles envolvidos. A tarefa aqui é a de elaboração de uma proposta de avaliação de projeto extensionista. Como em qualquer proposta de avaliação, as primeiras perguntas que devem ser feitas para nortear sua formulação são:

O exame de cada uma auxiliará a pensar na concepção e estrutura dessa proposta.
O quê se quer ou se pretende avaliar? Pode-se avaliar o projeto de extensão como um todo, ou algum material que foi produzido pelos participantes no desenvolvimento de suas atividades, ou o desempenho de alguns desses participantes em especial. Pode-se avaliar, também, uma disciplina incluída nas atividades de extensão voltadas para o aperfeiçoamento dos universitários, ou um treinamento que foi especificamente preparado para os participantes de um determinado projeto de geração de renda, entre outras possibilidades a serem lembradas. Este será o objeto da proposta de avaliação.

Para quê se vai avaliar um projeto de extensão? Com qual finalidade? Esta orientação vem das necessidades de quem faz ou solicita a avaliação. Um projeto é avaliado para se verificar seu mérito (valor intrínseco), ou seu impacto, ou seja, os resultados que foram alcançados e até mesmo alguns resultados não previstos ou imaginados no início da avaliação. Um projeto ou atividade extensionista é também avaliado para se tomar decisão quanto a sua manutenção ou conclusão; para aperfeiçoar seus componentes, sejam eles as atividades, os materiais empregados, ou os próprios objetivos; e ainda, para premiar, por exemplo, participantes ou usuários que se destacaram em alguma atividade, resultado ou evento.

A terceira pergunta diz respeito ao desenvolvimento da avaliação, estruturada inicialmente em uma proposta. O roteiro de planejamento apresentado, adaptado de Worthen e Sanders (1987), é uma sugestão para elaborar propostas de avaliação e inclui o “como avaliar” na metodologia. O roteiro se desdobra em alguns elementos principais, abordados a seguir:

Na abertura da proposta de avaliação são colocados os motivos que induziram à sua formulação. Por exemplo, um projeto que não consegue se desenvolver plenamente por falta de pessoal capacitado ou porque as estratégias oferecidas aos participantes não parecem funcionar como deveriam. De um modo geral, esses motivos são provenientes de uma situação problemática que precisa ser solucionada ou de uma necessidade que poderá ser atendida quando os resultados da avaliação forem entregues e divulgados.

A necessidade de avaliar um projeto de extensão pode ser também proveniente de uma pressão institucional interna. Por exemplo, a Pró-Reitoria de Extensão precisa saber se o projeto desenvolvido na comunidade mais distante da IES é eficaz no que pretende, ou se o projeto vale o que custou, tendo em vista o que foi gasto com materiais e com o deslocamento do pessoal participante da IES. Essa necessidade pode vir, ainda, de críticas externas feitas ao projeto. Por exemplo, a comunidade onde o projeto está sendo desenvolvido não parece satisfeita com os resultados obtidos; como não se possui dados para defender o projeto, a avaliação pode fornecer uma resposta consistente a essas críticas.

Outras vezes, é necessário julgar se os objetivos do projeto foram alcançados e qual a qualidade dos resultados obtidos. A avaliação pode ser necessária, ainda, para embasar a tomada de decisão quanto a manter, mudar ou mesmo eliminar um determinado projeto. A avaliação deve trazer, também, respostas a essas necessidades.

Um projeto extensionista que vise à geração de renda pode trazer novos procedimentos ou mesmo oferecer um novo método de treinamento aos participantes. Em ambos os casos, a avaliação se torna necessária em sua função formativa, de acompanhamento, para detectar os pontos positivos, as falhas da experiência e permitir o aperfeiçoamento, quando isto for possível.
Assim, a proposta de avaliação aponta, na introdução, as razões para seu desenvolvimento, tornando-as claras para o leitor interessado.

Como os objetivos ou propósitos vão nortear a avaliação, eles precisam ser apresentados com clareza na proposta, para também servir de orientação ao próprio plano avaliativo. Os objetivos indicam o “para quê avaliar?”, ou seja, para julgar o mérito ou valor, verificar os resultados, tomar decisões, premiar, aperfeiçoar, comparar grupos ou resultados de grupos ou de projetos.

Por exemplo, se os resultados da avaliação tiverem por finalidade servir a uma decisão sobre um determinado projeto, os objetivos da avaliação precisam traduzir essa intenção claramente. Em algumas avaliações, as decisões iniciais precisam ser tomadas quanto à determinação dos objetivos do próprio projeto. É então adequado investigar se os objetivos necessitam ser formulados com mais clareza ou precisão, se são razoáveis quando confrontados com os recursos existentes no projeto, ou se existem objetivos mais apropriados. Da mesma forma, as decisões podem ser relacionadas às estratégias utilizadas no desenvolvimento do projeto, à sua operacionalização, ou ainda ao alcance dos seus objetivos.

Os objetivos da avaliação devem, portanto, derivar das necessidades do processo decisório para assegurar que os dados apropriados serão coletados. Caso contrário, a avaliação deixa de atender a seus padrões essenciais, de adequação e de utilidade.

Em suma, os propósitos ou objetivos de uma avaliação norteiam o plano que a conduz, traduzem a intenção do avaliador, tem origem nas necessidades de decisão, contribuem para o aperfeiçoamento do objeto avaliado, e consideram todos os envolvidos, suas características e interesses.

Conforme sugestão de Mertens (2005, p. 66), algumas questões podem ser feitas para se determinar os propósitos da avaliação de um projeto:

Quando se tratar de uma avaliação formativa, seu objetivo deve contribuir para melhorar os elementos do projeto. No caso de avaliações somativas, preocupadas com o resultado final do projeto, o objetivo principal é determinar quanto o projeto ou algum de seus componentes foi eficaz ou não.

Os objetivos que não foram incluídos no projeto avaliado podem também ser levados em consideração pela avaliação. Além de interessar às pessoas que tomam decisões sobre o objetivo avaliado, uma avaliação deve fornecer informação a outros grupos de interesse ou grupos nela envolvidos. Por exemplo, a equipe de professores que participa do projeto, os alunos de um curso, determinadas organizações da comunidade. Assim, ao formular os objetivos do estudo avaliativo, o avaliador deve considerar as características e os interesses dessas pessoas.

A descrição do que vai ser avaliado é parte fundamental para a realização da avaliação. É importante que essa descrição possa proporcionar uma visão global e clara do que vai ser avaliado. Nesta seção da proposta de avaliação é que se focaliza “o quê avaliar?”, questão que abrange uma variedade de objetos ou fenômenos. Cabe, aqui, citar como ilustração, o projeto, materiais elaborados, o desempenho de pessoas ou funcionários, uma disciplina de um curso ou o curso completo, um treinamento oferecido, uma estratégia empregada, um concurso realizado, entre outras possibilidades.

É bom lembrar que o contexto sócio-político-econômico onde o projeto é desenvolvido também deve ser examinado e descrito, para se verificar possíveis influências. A descrição do objeto deve-se transformar em um texto informativo e abrangente, que dê, ao leitor, ou usuário da avaliação, a condição de compreender o que é o objeto, ou ter dele uma visão geral que permitirá acompanhar o desenvolvimento dos procedimentos e atividades da avaliação.

Algumas questões sugeridas por Mertens (2005, p. 63-64) podem funcionar como auxiliares efetivos na descrição do objeto a ser avaliado e sua utilização, sem ser exaustiva, vai depender das características do objeto.

Se existe, deverá ser resumida para compor a seção da proposta de avaliação.

Tais características ajudarão a adequar a própria avaliação e seus procedimentos. Por exemplo, um projeto novo ou em desenvolvimento pode não ter ainda os resultados desejados.

O fato de um projeto de extensão ser mais antigo, consolidado na comunidade, ou recente, sem dados sobre possíveis resultados, faz diferença no momento de estruturar os instrumentos da avaliação.

Aqui, o pano de fundo do objeto, no caso um projeto de extensão, conta para se verificar possíveis influências existentes que se devem ao contexto.

O funcionamento do projeto, real ou imaginado, importa para delinear a avaliação.

Da mesma forma, a expectativa do funcionamento do objeto/ projeto pode-se tornar referência para a avaliação.

Neste item, a aplicação de recursos direciona a avaliação para saber se contribuíram de modo a alcançar resultados.

Estas são as questões relativas ao impacto do projeto, que se dirigem para além dele. São úteis para se tomar decisão quanto à continuidade das atividades do projeto, para elaborar futuros projetos naquela área de atuação, ou até para decidir sobre quais as políticas mais adequadas a serem adotadas.

- “Qual a descrição do objeto que está disponível para iniciar a avaliação?”

Daqui pode se obter os elementos para começar a seção, descrevendo o objeto, que será completada com a avaliação, quando oportuno.

- “Qual a descrição necessária para se ter uma completa compreensão do objeto?”

A noção de qual a descrição global do objeto/projeto necessária para entendê-lo sem dúvida contribuirá com insights para a avaliação.

Certamente, nessa etapa da elaboração da proposta de avaliação, ajudará também a formulação de algumas questões sobre os envolvidos (Quadro 1).

Por exemplo, dentre os grupos com interesse direto na avaliação de um projeto, os chamados stakeholders, podem ser lembrados patrocinadores e fundadores, comissões do governo, representantes de agências federais ou estaduais, legisladores, administradores da IES, membros das equipes interessadas, clientes, estudantes, usuários do projeto, pais dos usuários, representantes de organizações comunitárias.

Quem está envolvido na administração e implementação do projeto?
Quem é beneficiário do projeto?
Quem foi excluído?
Quem espera ganhar ou perder com os resultados da avaliação?
Quem são as pessoas e grupos com poder?
Quem não possui poder?
Quais as oportunidades de interação com o avaliador?
As pessoas sem poder terão oportunidade para criticar o projeto e influenciá-lo?
Quem controla a avaliação e sua implementação?
Quem tem acesso aos recursos do projeto?
Quais são os valores culturais dominantes sobre o projeto?
Quais são os grupos que apoiam o projeto?

Adaptado de Mertens (2005, p.68).

Nesta parte do plano de avaliação são descritos os procedimentos metodológicos que serão utilizados. Sua apresentação permite, ao interessado, ter uma percepção nítida de como se pretende conduzir a avaliação. Assim, todos os procedimentos a serem utilizados devem constar da proposta. Deve-se ter em mente que o plano da avaliação é orientado pelos objetivos da proposta, deve ser adequado ao tempo possível de execução, deve ser viável para avaliadores e envolvidos, e ainda, útil aos interessados no projeto.

Abordagem. A abordagem escolhida deve ser a que melhor se adapta aos objetivos da avaliação. Muitas vezes será preciso formular uma abordagem eclética, com elementos de diferentes abordagens, para atender às peculiaridades do objeto a ser avaliado. Informar, por exemplo, que a avaliação é formativa, que por isso vai ocorrer durante o processo de desenvolvimento do projeto extensionista e assim fornecer dados para o seu aperfeiçoamento, esclarecerá a razão de se adotar vários momentos de avaliação e não realizar apenas uma avaliação final. Por outro lado, definir a avaliação como somativa deve levar à compreensão de que um instrumento será aplicado somente ao final do projeto.

Nesta seção, os autores chamados a colaborar na construção da abordagem avaliativa devem ser mencionados e constar das referências bibliográficas.

Questões avaliativas. Em algumas avaliações, a formulação de questões funciona como um desdobramento do objetivo. Neste caso, as questões podem aparecer na seção destinada aos objetivos da avaliação. As questões avaliativas são feitas a respeito do que vai ser avaliado, são derivadas do propósito e mantém estreita ligação com os procedimentos utilizados. Toda essa interrelação vai ser mostrada na proposta e as questões, opcionalmente, podem constar de uma seção específica.

As questões avaliativas possuem características diversas. As que são classificadas como de implementação, indicam que o foco da avaliação está voltado para o desenvolvimento do projeto. Têm relação com o processo, verificam se os componentes do projeto estão concorrendo para que os propósitos sejam alcançados, pretendem identificar entraves ao desenvolvimento, dando chance de correção ou mudança posterior. Aquelas questões classificadas como de impacto são formuladas quando o interesse se concentra nos resultados pretendidos, o que quase sempre acontece. Alguns exemplos desses dois tipos de questões avaliativas podem contribuir na elaboração da proposta de avaliação (Quadro 2).

Questões avaliativas de implementação

As atividades do projeto estão sendo realmente desenvolvidas?
As atividades estão de acordo com o propósito da lei e regulamentos pertinentes?
As atividades seguem o modelo pretendido pelo projeto?
Os recursos são eficientemente administrados e gastos?

Questões avaliativas de impacto

O projeto está atingindo os propósitos ou resultados pretendidos?
Em que medida o impacto varia?
Quais são outros efeitos (colaterais) relacionados ao projeto?
Como o projeto se compara com uma estratégia alternativa para atingir os mesmos fins?

Adaptado de Mertens (2005, p.70).

Instrumentação. São as questões formuladas no plano de avaliação que orientam a elaboração ou a seleção dos instrumentos que serão utilizados. As avaliações se valem de instrumentos também utilizados pelas pesquisas: questionários, roteiros de observação, roteiros de entrevista, listas de verificação, escalas de atitude, além de testes de desempenho ou rendimento, e até exames diversos. Uma descrição desses instrumentos, contendo sua finalidade e partes componentes, faz parte da proposta de avaliação, assim como a indicação de suas características técnicas, se houver. Se for conveniente, pode-se colocar um exemplo, total ou parcial, dos instrumentos, em anexo à proposta de avaliação.

Coleta de dados. A coleta dos dados da avaliação ocorre por meio da aplicação dos instrumentos elaborados ou selecionados para o estudo. Nesse componente do plano costuma-se identificar as fontes de informação e os métodos de coleta. Para que a adequação da informação possa ser julgada, as fontes de informação precisam ser descritas com detalhe, sejam elas documentos ou pessoas, identificando-se os critérios de sua seleção e as técnicas de amostragem, quando cabível. Aqui se incluem dados de localização no tempo e no espaço, ou seja, quando e onde a avaliação será feita.

Algumas decisões sobre coleta de dados são tomadas e devem constar do planejamento. Elas incluem as estratégias de coleta que serão usadas, quem será responsável pela coleta dos dados, quem fornecerá os dados (se toda a população focalizada ou uma amostra representativa), quando e onde a informação será coletada, e ainda como a informação retornará ao avaliador.

Tratamento dos dados. Os procedimentos a serem utilizados na análise dos dados são mencionados nesta seção da proposta de avaliação. A análise desses dados implica a seleção de procedimentos estatísticos apropriados às variáveis medidas. É aconselhável uma consulta a livros de Estatística ou a estatísticos, para empregar adequadamente procedimentos de estatística descritiva ou inferencial no tratamento dos dados coletados pela avaliação, caso o avaliador precise. Em geral, utilizam-se gráficos e tabelas para apresentar os dados quantitativos, após a análise descritiva, e quadros para reunir e apresentar a categorização de respostas abertas, proveniente da análise qualitativa.

Critérios de julgamento. Como julgar é a função essencial da avaliação, é necessário definir os critérios adotados ou selecionados para julgar o valor dos resultados da avaliação, ainda na sua proposta ou depois da coleta. Assim, pode-se lidar com categorias definidas a priori, quando do planejamento, ou a posteriori, pela análise dos dados coletados e características evidenciadas. Por exemplo, antecipa-se que os resultados serão classificados conforme sua adequação em categorias alta, parcial e baixa, cada uma correspondendo a uma classe. Ou julga-se se os resultados estão de acordo com o grau de utilidade para os participantes, conforme evidenciado após a coleta.

Limitações. Completando a descrição do plano de avaliação a ser executado, deve-se também mencionar as limitações já antecipadas e que se relacionam a deficiências de tempo, de pessoal e de custo, dentre outras. Essas limitações circunscrevem a avaliação, mas devem torná-la viável, ou seja, definem o que realmente pode ser feito.

Cronograma. Esse componente do plano de avaliação apresenta a sucessão das atividades da coleta de dados apenas, ou de toda a avaliação, conforme decisão do avaliador ou dos principais interessados. É importante que o avaliador calcule realisticamente o tempo necessário para cada etapa da avaliação, de modo a atender aos prazos que existem e determinam a conclusão e entrega de resultados e relatórios. O modelo comumente usado para cronogramas é o que apresenta, em um quadro de dupla entrada, as atividades de cada etapa da avaliação, distribuídas por unidades de tempo (dias, semanas ou meses).

Pode não parecer simples a tarefa de avaliar. De fato, ela concentra um conjunto de requisitos e habilidades que precisam ser atendidas pelo avaliador. Conhecer o objeto a ser avaliado, as razões para que a avaliação aconteça, os procedimentos técnicos necessários a seu planejamento e execução demandam empenho e ação competente. No entanto, mais que tudo, a vontade de contribuir para o aperfeiçoamento de projetos de extensão carregados de significados, justificam o investimento pessoal e profissional, impulsionando o desenvolvimento de avaliações focalizadas, viáveis e exequíveis no curto espaço de tempo que lhes é destinado. Este parece ser o retrato mais próximo da avaliação de projetos extensionistas.

MERTENS, D. M. Research and evaluation in education and psychology. Thousand Oaks, California: SAGE, 2005.
WORTHEN, B. R.; SANDERS, J. R. Educational evaluation. Alternative approaches and practical guidelines. New York: Longman, 1987.
WORTHEN, B. R.; SANDERS, J. R; FITZPATRICK, J. L. Avaliação de programas: concepções e práticas. São Paulo: Instituto Fonte, 2004.