Sistemas de Escolha Forçada: Usados ​​para Obter Avaliações de Desempenho do Trabalho

Um dos métodos mais populares para se obter avaliações de desempenho é através da técnica conhecida como “escolha forçada”. Esse método de classificação, que foi uma conseqüência dos problemas habituais encontrados no desenvolvimento de instrumentos de medição de personalidade, foi rapidamente adaptado para uso no desempenho. avaliação.

Historicamente, o método parece ter se originado com Horst durante o início dos anos 1940, e também foi usado por Wherry mais ou menos na mesma época. O método tem sido usado em uma ampla variedade de situações e para uma ampla variedade de propósitos. Em uma excelente crítica ao método da escolha forçada, Zavala (1965, p. 117) resume o seguinte:

A técnica FC tem sido usada para classificar profissionais como oficiais da Força Aérea e militares (Gough, 1958; Wherry, 1959), patrulheiros e policiais (Peres, 1959; Stander, 1960), engenheiros (Lepkowski, 1963), professores (Leftwich, 1962; Tolle e Murray, 1958) e médicos (Newman e Howell, 1961; Newman, Howell e Harris, 1957). O conceito de FC também tem sido usado para desenvolver testes para avaliar ou medir interesses (Bendig, 1958; Peel, 1961), liderança e supervisão (Izard e Rosenberg, 1958; Wollack, 1959) e atitudes de funcionários (Miller e Gekoski, 1959). .

Gordon (1951), Denton (1954) e Hatch (1962) colocaram as técnicas do FC na medição da personalidade e na obtenção de medidas de empatia. A abordagem FC também tem sido usada em problemas relacionados à detectabilidade de sinais e limiares auditivos (Lukaszewski e Elliott, 1962; Swets, 1959). Blackwell (1952) usou o método FC para a medição psicofísica das funções sensoriais. Webster (1959) desenvolveu um teste de preferência por figura usando a técnica FC.

Construção da escala de classificação de escolha forçada:

Guilford (1954, p. 275) delineou muito claramente os passos apropriados a serem seguidos no desenvolvimento de um instrumento de escolha forçada - tão claramente que vale a pena reiterar aqui.

Ele sugere os oito passos seguintes:

1. As descrições são obtidas com relação a pessoas que são reconhecidas como estando nos extremos mais altos e mais baixos do desempenho contínuo para o grupo específico a ser avaliado.

2. As descrições são analisadas em qualidades de comportamento simples, expressas em sentenças ou frases muito curtas ou por nomes de características, que podem ser chamados de elementos usados ​​para construir itens.

3. Dois valores são determinados empiricamente para cada elemento: um valor de discriminação e um valor de preferência. O valor de discriminação é um índice de validade, e o valor de preferência é um índice do grau em que a qualidade é valorizada por pessoas como os avaliadores que utilizarão o instrumento.

4. Na formação de um item, os elementos são emparelhados. Duas declarações ou termos com aproximadamente o mesmo valor de preferência alto são emparelhados, um dos quais é válido e o outro não. Ambos devem ter “validade de face” para o avaliador, ou seja, o avaliador deve pensar que ambos são favoráveis ​​para um desempenho superior no grupo avaliado. Duas declarações ou termos com valor de preferência igualmente baixo também são pareados, um sendo válido e o outro não.

5. Dois pares de declarações, um par com alto valor de preferência e um com baixo valor de preferência, são combinados em um tetrad para formar um item. A razão para esse tipo de combinação é que, embora o avaliador médio não se oponha a escolher uma das duas descrições favoráveis ​​para uma pessoa que ele conhece, às vezes ele hesita em escolher uma das duas descrições desfavoráveis. Às vezes, uma quinta descrição, neutra, é adicionada para formar um pentad, mas isso é menos comum.

Um exemplo de um tetrad segue:

Descuidado

Sério-minded

Energético

Esnobe

Os traços “sérios de espírito” e “energéticos” teriam encontrado igual valor de preferência, porque foram aplicados quase sempre como traços favoráveis ​​na descrição do tipo de pessoal para quem a escala foi desenvolvida. O traço de “seriedade mental”, no entanto, foi considerado válido, uma vez que foi aplicado ao grupo de alto critério com uma frequência significativamente maior do que ao grupo de baixo critério. As características “descuidadas” e “esnobes” foram consideradas igualmente impopulares, mas “descuidadas” discriminam o baixo do grupo de critérios elevados.

6. A instrução para o avaliador é preparada. O avaliador deve reagir a cada tetrad como um item, dizendo qual dos quatro melhor se ajusta ao avaliador e qual dos quatro é o menos apropriado.

7. Uma forma experimental do instrumento é testada em uma amostra para a qual existe um critério externo, com o propósito de validar as respostas quando as descrições são configuradas neste formulário. Respostas discriminatórias são determinadas e, se desejado, pesos diferenciais são atribuídos.

8. Concebe-se uma chave de pontuação, com base nos resultados do Passo 7. Normalmente, um traço favorável válido marcado como mais descritivo do avaliador recebe um peso positivo, também um traço válido, desfavorável, julgado como menos descritivo.

Fundamentação:

Naturalmente, a partir da descrição acima, a lógica do nome “escolha forçada” é imediatamente aparente, na medida em que o avaliador é continuamente forçado a selecionar entre alternativas igualmente favoráveis ​​(ou desfavoráveis). Isso supostamente impede que o avaliador verifique deliberadamente apenas os traços mais favoráveis ​​ao classificar os trabalhadores a quem ele deseja mostrar algum grau de favoritismo.

Se ele escolhe suas respostas estritamente com base em quão favoráveis ​​elas parecem ser, então, em teoria, ele não terá razão para selecionar uma característica sobre a outra em qualquer par, uma vez que elas foram equiparadas a essa base. Assim, sua escolha seria aleatória e, por acaso, ele acabaria selecionando o traço discriminativo metade do tempo.

Como cada tétrade tem um par favorável (com um discriminador positivo) e um par desfavorável (com um discriminador negativo), uma seleção aleatória em cada par significaria que o avaliador tenderia a escolher um discriminador favorável em torno de metade do par. tempo e um discriminador desfavorável na metade do tempo.

Assim, um escore aleatório ou aleatório seria zero (assumindo que damos +1 para cada discriminador positivo e -1 para cada discriminador negativo verificado). Na medida em que o avaliador está realmente tentando dar uma avaliação precisa do trabalhador, ele tenderá a selecionar traços que discriminam no par positivo e não selecionar traços que discriminam no par negativo (supondo que ele esteja avaliando um bom trabalhador). .

Se ele está avaliando um trabalhador pobre, seu padrão seria revertido na medida em que ele tenderia a selecionar o traço discriminativo com mais frequência do que o acaso entre o par negativo e selecionar o traço não discriminatório mais frequentemente do que o acaso no par positivo. Bons trabalhadores devem, assim, acabar com altas pontuações positivas e trabalhadores pobres com altos escores negativos.

Índices de Escolha Forçada:

A chave para uma escala de escolha forçada bem-sucedida está nos vários tipos de índices obtidos para cada característica antes de construir a versão final da escala de classificação.

Os diferentes índices são os seguintes:

A. Índices discriminativos

B. Equating indexes

1. Índice de preferência

2. Índice de favorabilidade

3. Índice de importância

4. Índice de Desirability

Índices Discriminativos:

O índice discriminativo é simplesmente uma medida do grau em que uma característica é encontrada para diferenciar entre trabalhadores bons e pobres. Todos os índices normalmente empregados na análise de itens são potencialmente apropriados para uso como medidas de não-criminalidade de característica, uma vez que se trata exclusivamente de quão válida é cada característica em prever quão bom um funcionário pode ser. Para uma discussão dos métodos de análise de itens, consulte qualquer texto básico em testes psicológicos.

Índices de Equacionamento:

A lógica do sistema de escolha forçada requer que os traços sejam pareados de tal maneira que eles sejam igualmente “atraentes” para o avaliador. Em outras palavras, uma característica não deve possuir mais de qualquer característica que levaria a ser escolhida sobre a outra característica por um avaliador ter um desejo de influenciar suas respostas. A seleção de traços em qualquer par deve basear-se unicamente em seu poder discriminatório, e não em termos de qualquer estereótipo populacional sobre os próprios traços.

Somos levados imediatamente ao problema de tentar determinar que tipos de característica de característica são capazes de influenciar a resposta de um avaliador que pretenda influenciar suas respostas.

Quatro dessas características podem ser consideradas potencialmente importantes:

1. Preferência por um traço:

Isso pode ser melhor definido como a tendência geral dos avaliadores de usar a característica com todas as pessoas, independentemente de serem trabalhadores bons ou pobres. Sisson (1948) definiu essa característica como “a medida em que as pessoas, em geral, tendem a usá-la na descrição de outras pessoas”. Em certo sentido, a preferência de traço é uma medida do caráter comum de um traço no vocabulário descritivo dos avaliadores. Igualar pares de traços em termos de sua preferência geral certamente pareceria um passo lógico se alguém estivesse tentando remover características externas de itens que provavelmente influenciariam a escolha de um avaliador.

2. Favorabilidade de uma característica:

Os traços diferem claramente em termos de aparente fidelidade quando usados ​​como descritores de pessoas. Como já foi mencionado, o formato de escolha forçada geralmente combina dois traços favoráveis ​​com dois traços desfavoráveis. Também é importante que os dois traços favoráveis ​​pareçam igualmente favoráveis ​​e os dois traços desfavoráveis ​​igualmente desfavoráveis, ou que o avaliador possa ser tentado a selecionar o mais favorável em cada par, na tentativa de fazer com que o índice seja o melhor possível.

O favoritismo do traço é provavelmente o índice mais usado para equacionar pares de escolha forçada. É um índice que é relativamente fácil de se obter, tendo um número de juízes avaliando cada característica em termos de sua favorabilidade à pessoa que será usada para descrever e usando o valor médio da escala como índice de favorabilidade.

3. índice de importância:

Este índice foi mencionado por Zavala (1965) e é uma medida da “importância da declaração como uma qualificação para o cargo em questão” (Zavala, 1965, p. 118). Esse índice reconhece que uma pessoa com tendência tendenciosa está mais apta a usar uma situação específica como um quadro de referência do que uma referência mais geral. Ou seja, um avaliador que deseja fazer uma classificação parecer bom pode estar mais apto a escolher aquela característica específica que ele considera mais importante para o trabalho em questão do que escolher aquela característica que é o descritor geral mais favorável.

A escolha do avaliador de qual característica é a melhor para usar é, portanto, provável que seja específica do trabalho. Para equacionar com sucesso as características de sua importância, é necessário que valores de escala de importância sejam obtidos (geralmente da mesma maneira que se obtêm valores de escala de favorabilidade) para cada situação de classificação diferente - uma tarefa que às vezes pode ser difícil realizar.

4. Índice de Desirability:

A noção de desejabilidade social foi discutida como uma influência na determinação das respostas dos indivíduos aos inventários de personalidade. O efeito dessa característica de característica é provavelmente igualmente importante em situações de classificação. Diferenciar entre favorabilidade e desejabilidade social nem sempre é uma coisa fácil de fazer.

Certamente, traços julgados favoráveis ​​também podem ser considerados socialmente desejáveis. A distinção pode ser ilustrada considerando-se a favorabilidade de um traço como a inteligência, que pode ser razoavelmente alta, enquanto sua desejabilidade social pode tender a ser um pouco menor devido a uma reação cultural geral contra "intelectuais", etc.

Quadros de referência:

Não só há uma variedade de índices diferentes que podem ser usados ​​para equacionar pares de características em um formato de escolha forçada, mas também há vários conjuntos de instruções ou quadros de referência que podem ser dados aos juízes ao obter valores de escala para fins de equacionamento. . Como resultado, instruções diferentes tendem a ser bastante críticas.

Por exemplo, se alguém estiver interessado em obter índices de importância, ele pode fornecer aos juízes os seguintes conjuntos de instruções:

(I) Dá a cada característica uma pontuação baseada em quão importante você acha que essa característica é para um desempenho de trabalho bem-sucedido, ou

(2) Dê a cada característica uma pontuação baseada na importância que você acha que o avaliador, eventualmente usando a escala, sentirá que o traço é para um desempenho de trabalho bem-sucedido.

Em primeiro lugar, obtém-se valores de escala baseados no quadro de referência dos juízes. No segundo caso, pede-se aos juízes que se coloquem nos “sapatos” da pessoa que eventualmente será solicitada a usar o instrumento de avaliação de desempenho e a fazer julgamentos como se ele fosse essa pessoa. Os valores da escala de importância obtidos sob esses dois conjuntos de condições podem se mostrar bem diferentes.

A estratégia do “homem ideal”:

Um problema relacionado à questão do quadro de referência é a estratégia do avaliador, denominada estratégia do “homem ideal”. Uma maneira muito típica de influenciar as respostas a uma escala de classificação de escolha forçada é que o avaliador escolha seu melhor trabalhador e substitua mentalmente suas características pelas do trabalhador que ele está realmente avaliando e a quem deseja ter uma boa pontuação.

Se ele não tiver um trabalhador bom o suficiente para ser usado como um guia na classificação, o avaliador pode desenhar uma imagem mental de um trabalhador ideal e usá-lo como seu quadro de referência para fazer suas avaliações. Esse tipo de polarização deliberada é extremamente difícil de lidar, pois, em certo sentido, o avaliador não presta atenção aos tipos de características que a escala de escolha forçada tende a proteger.

Isto é, o avaliador tende a fazer um trabalho “honesto” de classificação, exceto que o “homem” que ele avalia quando completa a escala é uma pessoa muito diferente da que ele deveria classificar. Quando um avaliador é inteligente o bastante para adotar essa estratégia de classificação como método de aumentar a pontuação de desempenho de seus amigos, etc., pouco pode ser feito para evitar o viés resultante, mesmo com a escolha forçada.

Pesquisa sobre o método de escolha forçada:

O método da escolha forçada tem sido objeto de muita pesquisa desde sua introdução na década de 1940. Tal como acontece com muitos métodos mais recentes, acabou por ser um pouco menos de cura do que muitos esperavam, mas ainda parece ser uma das formas mais eficazes de reduzir o viés do avaliador disponível para o psicólogo industrial. Uma breve visão geral de algumas das descobertas relacionadas a vários aspectos do método de escolha forçada dará uma idéia do status geral do método.

Formato de item de escolha forçada:

No que veio a ser considerado um dos estudos clássicos sobre o método da escolha forçada, Highland e Berkshire (1951) compararam seis tipos diferentes de formatos de itens em termos de (1) sua confiabilidade ímpar-par, (2) sua suscetibilidade a viés quando os avaliadores foram instruídos a assegurar uma pontuação alta, (3) sua validade contra um critério composto de ordens de classificação dos instrutores dos estudantes e (4) sua popularidade geral conforme determinado pelos avaliadores.

Os seis tipos diferentes de formatos de itens usados ​​foram:

1. Duas declarações por item, seja favorável ou desfavorável. Rater foi convidado a selecionar mais descritivo do par de declarações.

2. Três declarações por item, todas favoráveis ​​ou todas desfavoráveis. Rater foi solicitado a selecionar a declaração mais e menos descritiva.

3. Quatro declarações por item, todas favoráveis. Rater foi solicitado a selecionar as duas declarações mais descritivas.

4. Quatro declarações por item, todas favoráveis. Rater foi solicitado a selecionar o mais descritivo e o menos descritivo.

5. Quatro declarações por item, duas favoráveis ​​e duas desfavoráveis. Rater foi solicitado a selecionar as declarações mais e menos descritivas.

6. Cinco declarações por item, duas favoráveis, duas desfavoráveis ​​e uma neutra. Rater foi solicitado a selecionar as declarações mais e menos descritivas.

Os resultados do estudo levaram Highland e Berkshire às seguintes conclusões:

Confiabilidade:

Todos os formatos levaram a altos coeficientes de confiabilidade, embora os formatos 5 e 6 possam ser considerados como dando a melhor exibição neste critério.

Validade:

O formato 4 foi geralmente considerado o mais válido, com o formato 3 executando um segundo forte. Isso indica que o uso de apenas alternativas favoráveis ​​parece afetar a validade.

Preferência do avaliador:

A preferência dos avaliadores pelos seis formatos como (do mais para o menos preferido) 3, 1, 6, 5, 4 e 2.

Suscetibilidade a viés:

As formas diferiam consideravelmente em termos do grau em que eram resistentes a tentativas deliberadas de polarização. A ordem de resistência de viés (do menor para o menor) foi de 3, 2, 1, 4, 5 e 6.

Highland e Berkshire sugerem que o formato 3 é o melhor dos seis estudados quando os quatro critérios listados acima são considerados.

Validade Comparativa da Escolha Forçada:

O estudo de Highland e Berkshire examinou diferentes formatos de escolha forçada entre si. Uma questão igualmente importante diz respeito à validade e confiabilidade do método quando comparado a outros procedimentos de avaliação de desempenho.

Ao revisar os estudos que pretendem examinar a vantagem da escolha forçada em termos de validade, Zavala (1965) faz os seguintes pontos:

1. Muitos estudos sobre a validade da escolha forçada tendem a usar outras formas de classificação como critério. Isso é provavelmente mais uma medida de confiabilidade do que uma medida de validade.

2. A maioria dos estudos comparativos parece mostrar uma ligeira superioridade para a escolha forçada em relação aos métodos de classificação convencionais.

3. Quanto maior a escala de classificação, mais apto é o método de escolha forçada ser superior.

4. A validade de uma escala de escolha forçada também pode ser uma função do tipo de índice de equacionamento usado na construção dos itens.

Suscetibilidade ao viés:

Embora a questão da validade seja provavelmente a mais importante que pode ser usada para avaliar o método de escolha forçada, a questão do grau em que o método está sujeito a vieses ou distorções deliberadas também é crítica. De fato, o método foi especificamente projetado para reduzir o viés de resposta, uma vez que o viés de resposta tende a reduzir a validade.

A evidência sobre a eficácia do procedimento de escolha forçada como redutor de viés é um tanto equívoca. Parece haver pouca dúvida de que a falsificação permanece possível sob um formato de escolha de força, como indicado por Sisson (1948), Howe (1960) e Howe e Silverstein (1960).

No entanto, parece haver evidências substanciais de que o grau de falsidade é reduzido por itens de escolha forçada. Karr (1959), Taylor e Wherry (1951), e Izard e Rosenberg (1958) oferecem três exemplos de pesquisas que indicam uma resistência à falsificação por escolha forçada que excede a de outros tipos de escalas.

Waters (1965) sugeriu recentemente que uma das maiores dificuldades com a pesquisa sobre a falsidade da escolha forçada é que o “set” para falsificar o teste que foi estabelecido tem normalmente diferido do “set” sob o qual os índices de equacionamento foram originalmente obtido. Assim, os índices nunca são realmente completamente apropriados para a situação real de avaliação. Ele sugere que há três conjuntos de respostas diferentes sob os quais os índices de equacionamento podem ser obtidos (independentemente de qual índice está sendo usado).

1. Avaliação honesta:

Respondendo como o respondente realmente acredita que a afirmação se aplica à pessoa que está sendo avaliada

2. Aceitabilidade social:

Respondendo para parecer aceitável para si e para os outros em geral

3. aparência de sucesso:

Respondendo para fazer com que a pessoa pareça possuir as qualidades necessárias ou desejáveis ​​em relação a um trabalho ou atividade em particular

É sugerido por Waters que os estudos de fakability podem ser classificados em três classes gerais, dependendo de como a resposta definida e a composição do grupo são variadas.

Para citar Waters (1965, p. 189), temos:

1. Estudos de Falibilidade:

Conjuntos e grupos pelo menos semelhantes nas situações em que os índices de atratividade são obtidos e a escala é administrada.

2. Estudos de generalização:

Ou conjuntos ou grupos, mas não ambos, mudados da situação em que os índices de atratividade são obtidos para a situação na qual a escala é administrada.

3. Estudos de extensão:

Ambos os conjuntos e grupos mudaram da situação em que os índices de atratividade são obtidos para a situação em que a escala é administrada.

Os estudos de falibilidade não devem ser confundidos com os últimos tipos de estudos. Eles são o único tipo que fornece diretamente um teste de quão adequados os índices de equacionamento estão fazendo seu trabalho. Os dois últimos simplesmente avaliam a generalidade do índice para outras situações. Infelizmente, de acordo com Waters, a maioria dos estudos de capacidade de validade até o momento tem sido estudos de generalização ou extensão; Há uma forte necessidade de alguma pesquisa que ataca diretamente a questão da falsidade.

Estudo normando:

Um dos estudos mais interessantes sobre o problema da falsificação e detecção de escolha forçada é o estudo de Norman (1963). Ele estava preocupado com a dinâmica da popularidade de itens e índices de discriminação de itens sob condições normais e sob condições falsas. Além disso, ele estava interessado em determinar em que medida a falsificação, se ocorresse, poderia ser controlada e / ou detectada.

As principais conclusões da pesquisa em relação ao comportamento dos índices de popularidade e discriminação são dadas abaixo:

1. Índices de discriminação em condições normais e falsas foram correlacionados aproximadamente

2. Índices de popularidade sob condições normais e falsas foram correlacionados baixos (0, 24 e 0, 23).

3. A confiabilidade dos índices de discriminação sob condições falsas era zero.

4. A confiabilidade dos índices de discriminação em condições normais foi moderadamente alta.

5. A confiabilidade dos índices de popularidade foi quase perfeita sob condições normais e falsas (0, 97 e 0, 98).

O último destes resultados (encontrar o número 5) implica que a diferença na popularidade entre condições normais e falsas também deve ser muito confiável (que encontrar o número 2, que diz haver diferenças substanciais, pode ser modificado para implicar que tais diferenças são confiáveis ​​e confiáveis). consistente). No entanto, isso não foi avaliado diretamente no estudo.

Norman sugere então um procedimento para desenvolver um instrumento de escolha forçada que terá a mesma média sob condições falsas do que em condições normais, terá uma variação menor sob condições falsas e terá uma escala de detecção altamente sensível para identificar os falsos.

Para isso, ele descreve os seguintes passos:

1. Selecione itens com altos índices de discriminação sob condições normais (selecione mais do que eventualmente será necessário).

2. Classifique os itens selecionados em termos do tamanho de suas diferenças em popularidade sob as condições normais e falsas (veja o número 2 na lista acima).

3. Selecione itens de ambos os lados do zero (quantos forem necessários), certificando-se de que a soma algébrica de diferenças de popularidade seja igual a zero quando concluída.

A etapa 3 garantirá (desde que saibamos que as diferenças de popularidade são confiáveis) que a pontuação média do teste de pessoas sob as condições normais será igual à das condições falsas. Isso ocorre porque a média da distribuição dos resultados do teste é igual à soma das especialidades do item. Assim, os escores médios sob condições normais e falsas são equacionados. Testes construídos com este procedimento também tendem a variações de suas distribuições de pontuação de teste quando tomadas sob um conjunto para falso. Este é um resultado que tende a reduzir a possibilidade de que pessoas que são capazes de fingir obtenham pontuações altas o suficiente para serem aceitas.

Para ilustrar, considere o diagrama mostrado abaixo (Figura 7.4), no qual temos a distribuição dos resultados dos testes feitos em condições normais. (7.4a), a distribuição dos resultados dos testes realizados sob um conjunto para falso (7.4b), e uma distribuição composta composta de falsos e não-falsos (7.4c).

O exame da Figura 7.4c fornece uma indicação do efeito de controle que esse método exerce sobre os falsos deliberados. Na configuração usual de avaliação de desempenho, estamos interessados ​​em recompensar as pessoas que têm pontuação alta no formulário de escolha forçada. Como a variância da distribuição falsa é reduzida, pode-se selecionar as pessoas com melhor pontuação (aquelas à direita da linha de corte em 7.4c) sem o risco de incluir muitos fakers entre o grupo selecionado ou recompensado.

A Figura 7.5 mostra cinco diferentes demonstrações empíricas dessa restrição na variância obtida no estudo de Norman.

Uma característica final do método normando é que é muito fácil construir uma escala de “detecção” para determinar quem está fingindo e quem não está.

Um simplesmente inclui na escala um número de itens que atendem aos seguintes requisitos:

1. Eles devem ter validades próximas de zero para as variáveis ​​de critério.

2. Eles devem ter exibido uma grande mudança na popularidade do normal para a condição falsa.

3. Sua popularidade sob condições normais deve ser muito alta ou muito baixa.

Em seguida, constrói-se uma chave que classifica a resposta não frequente sob a condição normal para cada item (isto é, a resposta frequente sob a condição falsa), uma vez que uma resposta tende a indicar falsificação e a outra resposta indica resposta normal.

Outra maneira de descrever esses itens de detecção é que sua popularidade se correlaciona com a tendência a falsificar. A Figura 7.6 mostra as distribuições de pontuações na escala de detectores obtidas por Norman em condições normais e sob condições falsas. Observe a grande mudança de pontuação quando as pessoas foram convidadas a fingir. Um ponto de corte de cerca de 20 tenderia a identificar a maioria dos falsificadores sem acusar falsamente muitas das normais.