ISO 13528: AUXÍLIO OU OBSTÁCULO?

Paulo Afonso Lopes da Silva

Instituto Militar de Engenharia, Rio de Janeiro, Brasil, pauloafonsolopes@uol.com.br.

Resumo

Palavras-chave: ISO 13528, ensaios de proficiência, métodos estatísticos.

Este artigo tem como objetivos: 1) evidenciar itens em que a norma ISO 13528:2015,
Statistical methods for use in proficiency testing by interlaboratory comparison, apresenta-se
mais como obstáculo do que como auxílio para um provedor de ensaios de proficiência, e 2)
desenvolver um exemplo de como deveria ser escrita. A norma afirma que provê apoio para a
implementação da ABNT NBR ISO/IEC 17043 - Versão Corrigida 2017, Avaliação da
conformidade - Requisitos gerais para ensaios de proficiência, embora não enfatize o que se
deseja saber (valor atribuído e a sua incerteza) e manter (homogeneidade e estabilidade), nem
entrega um prometido guia detalhado do que falta na ABNT NBR ISO/IEC17043.
Diversos métodos estatísticos sugeridos pela norma são complexos para o provedor,
requerendo estatísticos com uma formação avançada, contrariando o afirmado de que,
“usualmente, as necessidades ... podem ser atendidas por pessoas com conhecimento técnico
em outras áreas .... que são familiares com os conceitos estatísticos básicos...”. A norma usa a
estatística robusta e conceitos não comuns nos livros de Estatística como, por exemplo, a função
de densidade Kernel e o modelo Circle Technique.
A norma não esclarece dúvidas, como o que vem a ser um apropriado valor de referência,
porque a palavra apropriado é juízo de valor; remete o provedor para consultar a bibliografia,
algumas incompletas, como não se ter o título de um artigo, e não resolve um dos problemas
críticos nos programas de ensaios de proficiência, o pequeno número de participantes; apresenta
soluções para 2 e 3 e, se maior ou igual a 4, recomenda uma específica M-estimativa do desvio
padrão, baseada em uma função ponderada logarítmica. cuja referência estuda somente até o
tamanho 8, ficando sem orientação os tamanhos 9, 10 e 11. Nos exemplos, a norma nem sempre
apresenta um passo a passo, somente os resultados. Ademais, confunde o provedor com
notações estatísticas que induzem ao erro, como, por exemplo, a letra F, usual da distribuição
F (de Snedecor), para representar tanto essa quanto a qui-quadrado; mesmo na errata, nem
sempre conhecida pelos provedores, essa notação não é corrigida.
Por essas razões, na maioria das vezes, os provedores utilizam, nos seus relatórios, os escores
z ou z´ como estatísticas de desempenho, somente por serem de fácil utilização, ignorando todas
as demais.
Este artigo apresenta, passo a passo, o conceito de bootstrap e o seu desenvolvimento com
o Excel do Microsoft 3651, exemplo de como a norma deveria ser escrita para os provedores,
de modo claro e de fácil implementação.
Conclui-se que a norma é de pouco auxílio e de muitos obstáculos para o provedor.

1
Novo nome do Office 365.
1. INTRODUÇÃO
Uma norma para laboratórios, a ser usada por analistas que trabalham na bancada, deve
redigida de tal maneira que se torne minimamente compreensível por eles, que devem dedicar
o seu tempo para as análises das suas áreas do conhecimento e não para o estudo adicional de
avançados conceitos estatísticos. Diversos métodos sugeridos pela norma ISO 13528 [1] são
complexos para o provedor, requerendo profissionais com uma formação avançada em
Estatística, contrariando o afirmado, logo no seu início, item 0.4, que “usualmente as
necessidades por conhecimento podem ser atendidas por pessoas .... que são familiares com os
conceitos estatísticos básicos...”, o que não é verdade, conforme a ser demonstrado no decorrer
deste artigo. Por essa razão sugere-se que o provedor tenha uma pessoa capacitada e dedicada
às análises estatísticas para entender, por exemplo, a notação apresentada na nota 1 do item
4.2.1, ~ (0, ), bem como o texto “distribuição normal contaminada por outliers,
consistindo de uma mistura de uma distribuição normal com uma distribuição mais larga
representando a população de resultados errôneos.”
O proposto neste artigo terá como consequências o entendimento pelos usuários de alguns
conceitos e a facilidade de implementá-los nas suas aplicações.

2. OBJETIVOS
Este artigo tem como objetivos evidenciar itens em que a norma ISO 13528:2015, Statistical
methods for use in proficiency testing by interlaboratory comparison, atualmente (setembro de
2020) sob revisão, apresenta-se mais como obstáculo do que como auxílio para um provedor
de ensaios de proficiência, e desenvolver um exemplos de como deveria ser escrita.

3. MÉTODOS: OBSTÁCULO COM A NORMA E AUXÍLIO SEM ELA

3.1 Desalinhamento no modo de apresentação
Pode-se iniciar a análise pela estrutura dos itens ao longo da norma para transmitir
informações, que não facilita o estudo, porque é necessário consultar vários itens dispersos no
texto ao se procurar resolver um determinado problema. Como exemplo desse desalinhamento,
que pode confundir o leitor, tem-se o item 7.7.3, p. 18, que remete ao anexo C3 (além de C.2 e
C.5), p. 53, e apresenta um exemplo somente na p. 70, Tabela E4.

3.2 Estimador de Kernel (KDE - Kernel Density Estimator)

A norma utiliza conceitos não comuns nos livros de Estatística como, por exemplo, a função
de densidade Kernel, citada no item 10.3 e ilustrada na Figure E.6, p. 75, semelhante a um
histograma, no caso discreto e, no caso contínuo, a uma função.
Em um histograma, escolhe-se o número de classes, calcula-se a amplitude de cada classe,
inicia-se com um limite inferior da primeira classe, soma-se a amplitude de classe,
determinando-se sucessivamente os demais limites, e contam-se as observações em cada uma
dessas classes, a partir da primeira
Para o Kernel, cada observação é colocada como o centro de uma coluna, de altura uma
unidade, cuja largura é chamada largura de banda (em inglês, bandwidth). Como essas colunas
se sobrepõem, contam-se essas sobreposições, que serão a altura de cada coluna, equivalente à
frequência absoluta em um histograma.
Como exemplo, considere-se uma largura de banda igual a 10, base da coluna do retângulo,
para um determinado ponto x0 = 22, conforme a Figura 1.
 Figura 1. Base da coluna do retângulo centrado em x0 = 22
A proximidade dos demais pontos em relação a X0 é determinada pela pessoa que está
modelando a situação, proximidade definida por essa largura de banda.
Pode-se ilustrar a construção gráfica da função Kernel para doze valores: 22 – 22 – 24 – 24
– 24,5 – 26,5 – 26,5 – 26,6 – 34 – 34 – 36 – 38 e uma largura de banda igual a 10. Para esses
dados, a partir do primeiro intervalo, centrado em 22 e sendo a metade da largura de banda igual
5, geram-se os limites 17 e 27 (22 5).
Nesse intervalo, estão os valores 22, 22, 24, 24, 24,5, 26,5, 26,5 e 26,6. Com o mesmo
raciocínio para os demais pontos, tem-se que os limites de cada retângulo centrado em cada
ponto são os seguintes: 17 – 19 – 19,5 – 21,5 – 21,6 – 27 – 29 – 29,5 – 31 – 31,5 – 31,6 – 33 –
39 – 41 e 43, que geram os seguintes intervalos: 17 – 19 / 19 – 19,5 / 19,5 – 21,5 / 21,5 – 21,6
/ 21,6 – 27 / 27 – 29 / 29 – 29,5 / 29,5 – 31 / 31 – 31,5 / 31,5 – 31,6 / 31,6 – 33 / 33 – 39 / 39
– 41 e 41-43.
Entre 17 e 19, há a intersecção de dois retângulos, aqueles centrados nos pontos 22 e 22 (as
repetições são contadas individualmente).
Nenhum outro ponto tem sua banda com os valores 17 e 19. Desse modo, a altura da coluna
entre 17 e 19 é igual a 2, repetindo-se o mesmo raciocínio para os demais intervalos. Para fazer
o gráfico Kernel, para cada ponto coloca-se um bloco com a largura do intervalo considerado e
com a altura 1, relativa à presença do valor naquela banda (ou seja, naquele intervalo). A altura
final da coluna é a soma das frequências de todos os blocos que se superpõem. O aspecto
intermediário é o da Figura 2.

Figura 2. Aspecto intermediário da construção da função Kernel.

A linha vermelha é a envoltória das colunas, e o gráfico resultante sugere que o conjunto de
dados é bimodal. A envoltória desse gráfico é conhecida como estimativa de densidade Kernel,
Figura 3.

Figura 3. Estimativa da densidade Kernel, relativa aos dados do Exemplo.

 Esse gráfico não é suavizado, porque os blocos não o são. Se usarmos componentes
contínuas para esses blocos, a soma de suas ocorrências, no final, apresentará uma estimativa
contínua de densidade. Como exemplo dessa continuidade, considere-se que a distância de cada
ponto não seja mais uniforme, porém com uma dispersão que pode ser modelada pela
distribuição de deMoivre-Laplace-Gauss. Com esse conceito, pode-se construir uma função
densidade de probabilidade Kernel a partir dos pontos 3, 5 e 14, para os quais os demais valores
têm uma proximidade deles com desvios padrão 2, 3 e 4, respectivamente, e, com esses dados,
pode-se fazer o gráfico da função densidade Kernel com o Excel da seguinte maneira:
a) na coluna A, digitam-se, por exemplo, os valores entre -3 (na linha 1) e 26,3 (na linha
294), décimo a décimo para garantir um gráfico de aspecto contínuo.
b) na coluna B, linha 1, digitar: =DIST.NORM.N(A1;3;2;FALSO) e expandir até a linha
294.
c) na coluna C, linha 1, digitar: =DIST.NORM.N(A1;5;3;FALSO) e expandir até a linha
294.
d) na coluna D, linha 1, digitar: =DIST.NORM.N(A1;14;4;FALSO) e expandir até a linha
294.
e) na coluna E, linha 1, digitar: =B1+C1+D1 e expandir até a linha 294.
f) selecionar as linhas e colunas entre A1 e E294.
g) clicar em Inserir/Gráfico, escolher Linhas e clicar OK. Mudar o título para Kernel e
excluir o rótulo inferior. Clicar na curva superior, que é o Kernel e, com o botão direito,
selecionar as opções e escolher a cor preta.
O gráfico resultante é a Figura 4, cuja linha superior é a função densidade Kernel.
Kernel
0,35

0,3

0,25

0,2

0,15

0,1

0,05

0
-3
-1,9
-0,8
0,3
1,4
2,5
3,6
4,7
5,8
6,9
8
9,1

19
10,2
11,3
12,4
13,5
14,6
15,7
16,8
17,9

20,1
21,2
22,3
23,4
24,5
25,6

Figura 4. Kernel relativo a três distribuições de deMoivre-Laplace-Gauss.

A norma ISO 13528:2015 apresenta as Figuras E.3, E.6 e E.7, funções densidade Kernel, p.
72, 75 e 77, respectivamente, sem informar como foram obtidas nem as suas interpretações.

3.3 Circle Technique

Outro conceito difícil de ser encontrado, mesmo nos livros avançados de Estatística, é o
modelo Circle Technique, p. 35, nota do item 10.6.2, introduzido por van Nuland [2], que pode
ser confundido pelo inside-outside circle techinique, comum na área da educação [3]. Um
trecho da explicação que a norma oferece é o seguinte: “O método descrito usou uma
aproximação normal simples para a distribuição do desvio padrão que poderia resultar em uma
região crítica com desvios padrão negativos. O método fornecido aqui usa uma aproximação
para a distribuição do desvio padrão que evita esse problema, mas a região crítica não é mais
um círculo como no original. Além disso, valores robustos são usados para o ponto central no
lugar de médias simples como no método original.”, ilustrada pela Figura 5 (Figura E.12 do
Anexo E.13), sem nenhuma interpretação do apresentado.
 Figura 5. Gráfico do Circle technique das médias e desvios padrão de 25 participantes.
A interpretação da Figura 5 é a seguinte: o gráfico avalia o pressuposto de variância constante
entre os subconjuntos de dados: quanto maior a variabilidade no eixo vertical menos válido o
pressuposto de variância constante.

3.4 Juízos de valor, notação confusa e referências incompletas

A norma não esclarece dúvidas, como o que vem a ser um apropriado valor de referência,
porque a palavra “apropriado” é um juízo de valor.
Ademais, confunde o leitor com notações estatísticas que induzem ao erro, como, por
exemplo, na nota da letra b) de B.2.3, p. 45, a letra F, utilizada na distribuição de probabilidades
Fischer-Snedecor, para representar tanto essa quanto a distribuição qui-quadrado; mesmo na
errata de outubro de 2016, nem sempre conhecida pelos provedores, essa notação é corrigida.
A bibliografia tem referências incompletas, como não se ter o título de um artigo. Como
exemplos, a 27 [4], tendo-se que pesquisar e descobrir ser o título Robust estimation in very
small samples, bem como a 31 [5], https://doi.org/10.1039/B000282H, Recent trends in inter-
laboratory precision at ppb and sub-ppb concentrations in relation to fitness for purpose
criteria in proficiency testing; para a segunda, caso se deseje adquirir essas 2 (duas!) páginas,
de há 20 anos, deve-se desembolsar £42,50 mais os impostos, o equivalente, no câmbio de
setembro de 2020, a R$ 330,00.
Há métodos citados que não constam das referências, como o de Hampel [6], que apresenta
somente um portal para preenchimento de dados, mas não a referência original.
Nos exemplos, a norma nem sempre apresenta um passo a passo, somente os resultados. Por
essas razões, na maioria das vezes, os provedores utilizam, nos seus relatórios, somente os
escores z ou z´ como estatísticas de desempenho por serem de fácil utilização, ignorando todas
as demais.

3.5 Pequeno número de participantes

Um dos problemas críticos nos programas de ensaios de proficiência, a norma somente
apresenta soluções para 2 e 3 participantes e, se maior ou igual a 4, recomenda uma específica
M-estimativa do desvio padrão, baseada em uma função ponderada logarítmica. cuja referência
sugerida estuda somente até a quantidade 8, ficando sem orientação para 9, 10 e 11
participantes, porque, segundo a nota 2 de D.1.2, p. 63, a maioria dos estimadores univariados
para localização e dispersão têm desempenho aceitável para o número de laboratórios igual ou
maior que 12.

3.6 Winsorização: para melhor entender o Algoritmo A

A winsorização é uma maneira de minimizar a influência de dados discrepantes (outliers)
nos dados, ou atribuindo um peso menor a um discrepante, ou alterando o valor desse para que
fique próximo de outros valores no conjunto. Observe-se que os dados são modificados, e não
eliminados. A técnica foi introduzida pela primeira vez pelo matemático e estatístico Wilfrid
Joseph Dixon (1915 – 2008) [6], que a atribuiu a Charles P. Winsor (1895–1951), engenheiro
e bioestatístico, após comunicação pessoal entre eles.
Estatísticas como a média e a variância são muito suscetíveis a valores discrepantes e a
winsorização pode ser um meio eficaz de lidar com esse problema. A desvantagem é que uma
tendenciosidade é introduzida em seus resultados, embora seja muito menor do que se tivesse
simplesmente excluído alguns dos dados.
Um método básico para winsorizar à mão é o seguinte:
1. Analise seus dados para garantir que o valor discrepante não seja resultado de um erro de
medição ou de algum outro erro corrigível.
2. Decida quanto de winsorização se deseja. Isso é especificado como uma porcentagem total
de dados que não serão alterados. Por exemplo, se você deseja winsorizaros 5% dos dados
superiores e inferiores, isso equivale a 100% - 5% - 5% = 90% de winsorização.
3. Substitua os valores extremos pelos valores máximo e/ou mínimo no limiar.
Exemplo: o conjunto de dados a seguir tem vários extremos (em negrito):
{0,1;1;12;14;16,18,19;21;24;26;29;32;33;35;39;40;41;44;99;125}, e sua média é 33,405.
Após modificar as partes superior e inferior em 10%, e fazer-se a substituição pelos extremos
mais próximos, tem-se: {12,12,12,14,16,18,19,21,24,26,29,32,33,35,39,40,41,44,44,44}, ou
seja, 80% de winsorização, com média final igual a 24,95.
Pode-se, ainda, optar por adicionar um pouco mais aos valores maiores/menores para
contabilizar seus pesos. Por exemplo, os valores 99 e 125 foram modificados, porém 125 é
aproximadamente 25% maior que 99. Portanto, em vez de substituir esses valores por 44 e 44,
poder-se-ia substituí-los por 44 e 55 (porque 44 + 25% de 44 = 55).
3.7 Algoritmo A no Excel, passo a passo
Após conhecer-se o conceito de winsorização, consegue-se entender o Algoritmo A e, então,
facilita-se a compreensão da implementação, no Excel, desse algoritmo para determinar os
valores da média e do desvio padrão robustos.
Deve-se esclarecer que robustez é uma propriedade do algoritmo de estimação de
parâmetros, não da estimativa que ele produz, tanto que não é correto chamar de média robusta
e desvio padrão robusto os valores calculados. Entretanto, como são usados no dia a dia, os
termos média robusta e desvio padrão robusto devem ser compreendidos como sendo as
estimativas da média e do desvio-padrão da população, calculadas usando um algoritmo
robusto.
O procedimento a seguir reproduz a Tabela E.4, p. 17 da norma, que pode ser adaptada para
mais resultados:
passo 1: colocar os valores em uma coluna, em ordem crescente, como na Tabela E.4.
Determine a média e o desvio padrão amostral (0,2512 e 0,0672, respectivamente).
passo 2: calcular os valores iniciais para a média robusta e desvio padrão robusto (0,2620 e
0,0386) usando as expressões
a) x* = mediana dos xi
b) s* = 1,483 x mediana de | xi – x* |
Para o cálculo de x*, usar a função MED.
Para o cálculo de s*, criar uma nova coluna para auxiliar a determinação de | xi – x* |; digitar
a célula de x* como $coluna$linha.
passo 3: calcular φ = 1,5 s* e colocar na 1ª. linha da iteração 1.
passo 4: calcular os valores de corte x* - φ e x* + φ, colocando na 2ª. e 3ª. linhas da iteração
(0,204163 e 0,319837).
passo 5: substituir os dados fora dos valores de corte pelos valores de corte (0,0400 é substituído
por 0,2042 etc., e 0,3310 é substituído por 0,3198); copiar os demais dados na coluna,
como mostrado na Tabela E.4 para a Iteração 1.
passo 6: calcular a nova média e o novo desvio padrão dos dados modificados (0,2579 e 0,0342
na Tabela E.4). A média robusta é a mesma que a média (0,2579) e o desvio-padrão
robusto (0,0387) é obtido multiplicando-se o desvio padrão por 1,134.
passo 7: com o Excel, não há necessidade de criar novas colunas de dados. Ao invés disso,
substituir o cálculo dos valores de corte no topo da segunda coluna de dados tal que
se use a média robusta e o desvio padrão robusto a partir da parte inferior da mesma
coluna. Isso resultará nos valores de corte (0,199732 e 0,315969), mostrados na
Iteração 2 da Tabela E.4. O cálculo pode ser completado, continuando-se a substituir
os dados fora dos valores de corte pelos próprios valores de corte até que as iterações
convirjam. Quando os dados são substituídos, a planilha pode, automaticamente
atualizar as médias, desvios-padrão e valores de corte, mas as mudanças nesses
valores tornar-se-ão progressivamente menores até que não sejam mais significantes.

3.7 BOOTSTRAP
No item E.3, p. 69, cita-se o método bootstrap e apresenta um exemplo em E.6, p. 77, com
o código do seu cálculo na linguagem R em R.3.1.1, p. 78. Como sempre, a norma não explica
esse método nem facilita o seu uso para o analista, que agora deverá aprender a linguagem de
programação R. A seguir serão esclarecidos tanto o método quanto a implementação no Excel.
3.7.1 Reamostragem
É uma abordagem não paramétrica (o nome mais adequado é estatística de distribuição livre, porque
não se conhece a distribuição dos dados na população) que atua como uma alternativa aos métodos
clássicos de inferência paramétrica, quando essa distribuição é conhecida. Se a amostra é muito pequena,
não se pode sequer tentar verificar se há alguma distribuição teórica, e então a maioria das pessoas
simplesmente assume que a população é modelada pela distribuição de Gauss, o que nem sempre pode
ser adequado.
Pode-se estimar a distribuição de uma amostra a partir de uma distribuição populacional
desconhecida? A resposta é sim. Existem vários testes de distribuição livre e, com isso, não se tem que
assumir que os dados podem ser modelados pela de Gauss ou qualquer outra. Com a chamada
reamostragem, não se precisa confiar na distribuição assumida nem ser cuidadoso quanto à violação de
uma das suposições inerentes, porque a reamostragem descarta essas e calcula uma distribuição empírica
após observar centenas ou milhares de amostras. Entretanto, retirar essas amostras aumentaria os custos
de coleta de dados e, ao longo dos anos, foram desenvolvidos diversos procedimentos para criar essas
múltiplas amostras a partir da inicial, que podem gerar um grande número de outras que resultam em
uma distribuição amostral empírica de uma determinada estatística de interesse.
Em resumo, reamostragem é o nome de um conjunto de técnicas ou métodos que se baseiam em
calcular estimativas a partir de repetidas amostragens a partir de uma única amostra, e os seus tipos são
os seguintes: testes de aleatorização, validação cruzada, jackknife e bootstrap:
1. testes de aleatorização (também chamados testes de permutação ou testes exatos): a distribuição
da estatística é obtida calculando-se todos os seus possíveis valores e rearranjando-se os valores
da amostra; seu uso mais comum é na estatística espacial.
 2. validação cruzada, na qual a amostra é dividida aleatoriamente em dois subconjuntos: um de
treinamento e outro de teste (validação). Em um estudo de regressão, por exemplo, um conjunto
pode ser usado para calcular os coeficientes da equação e o outro para comparar com os valores
estimados por essa regressão.
3. jackknife. Também chamado “leave-one-out” (deixe um fora), baseia-se na remoção de 1 (uma)
observação (podendo ser mais) do conjunto total observado, recalculando-se o estimador a partir
dos valores restantes. É de fácil implementação e tem número fixo de iterações (n, caso se retire
apenas 1 amostra por vez). Foi o antecessor do bootstrap, também um método
computacionalmente intensivo de distribuição livre. Embora criado algumas dezenas de anos
antes do bootstrap, o jackknife não recebeu tanta atenção. A primeira abordagem feita do
método jackknife foi apresentada em 1949 por Maurice Quenouille [8]; em 1956, Quenouille
[9] completou o trabalho com uma generalização dele.

3.7.2 Bootstrap
Bootstrap é uma amostragem com reposição. Como fazer isso? Suponha que sua amostra
contenha apenas 5 observações, representadas por bolas, rotuladas por A, B, C, D e E, colocadas
em uma cesta. Então, dessas 5 bolas, você tira 1 bola aleatoriamente e anota a letra; depois,
coloca a bola de volta na cesta; essa é a amostragem com reposição. Repita milhares de vezes
o trabalho de sortear outra bola aleatoriamente, anotar a letra e colocar de volta para a cesta. As
letras anotadas são chamadas de amostragem de bootstrap. A ideia é muito simples, e um dos
resultados pode ser o seguinte: D, E, E, A, B, C, B, A, E etc.
Por que é preciso uma amostragem bootstrap? Com somente de uma amostra, obtém-se
somente um valor para, por exemplo, média. Como essa ideia tão simples do bootstrap, cada
nova amostra tem uma nova média, fornece mais detalhes sobre a distribuição da média dessa
população.
Seja um exemplo no EXCEL para melhor entender o bootstrap: suponha que se tenha 30
dados da amostra original, obtidos de observações de um fenômeno. Colocamos esses dados
em várias linhas, conforme a Figura 6, por exemplo.

Figurs 6. Tela com a amostra inicial.

passo 1. Selecione as células onde estão os dados da amostra inicial (B5:K7) e vá no menu em
Fórmulas > Gerenciador de nomes. Na tela que se abre, clique em “Novo...” e, na nova tela,
em “Nome”, digite “Amostra” e clique no botão OK.
passo 2. Em qualquer outra célula abaixo dessa amostra inicial, digamos, célula B10, digite:
=ÍNDICE(Amostra;LINS(Amostra)*ALEATÓRIO()+1;COLS(Amostra)*ALEATÓRIO()+1).
A palavra “Amostra” na fórmula acima refere-se ao nome especificado no passo 1, que é para
retirar uma amostra aleatória com reposição da amostra inicial (reamostragem). Usa-se a função
ÍNDICE para localizar uma linha aleatória e uma coluna aleatória como a nova amostra dentro
do intervalo de localização da amostra inicial. Fez-se a primeira amostragem bootstrap.
passo 3. Copie a célula B10 nas células B10: K210, por exemplo. Isso é para criar tantas
amostras de bootstrap quanto se queira. Clique em B10, coloque o mouse sobre o canto inferior
direito e arraste por todas as colunas dessa linha 10. Após, selecione as células da linha 10 da
coluna B até a coluna K, coloque o mouse sobre o canto inferior direito e arraste para baixo até
a linha 210. Vamos considerar cada linha como amostra única (por causa da simplicidade,
apenas se fez uma amostra com apenas 10 dados) e geraram-se, então, 201 amostras.
De um modo geral, artigos publicados nos últimos anos tendem a fazer 1000 replicações de
bootstrap; no entanto, 100 ou até 50 podem ser aceitáveis. Cada aplicação é diferente, e as
amostras geradas muitas vezes merecem um olhar mais atento, assim como nos dados reais.
passo 4. Calcular as estatísticas de bootstrap, que podem ser quaisquer; por exemplo, a seguir
se calculam a média, a mediana, o intervalo interquartílico e o desvio padrão amostral:
= MÉDIA (B10: K10)
= MED (B10: K10)
= QUARTIL (B10: K10,3) - QUARTIL (B10: K10,1)
= DESVPAD (B10: K10)
passo 5. Copie as estatísticas acima para todas as linhas de amostras bootstrap (ou seja, M10:
P210).
Para fazer nova amostragem aleatória na pasta de trabalho ativa, usar a tecla F9 para recalcular
a iteração com todas as fórmulas.

4. RESULTADOS E DISCUSSÕES
Conclui-se que a norma ISO 13528 é de pouco auxílio e de muitos obstáculos para um
provedor de ensaios de proficiência e mesmo para os laboratórios participantes. Evidenciou-se
que a ordem de apresentação dos assuntos técnicos não é adequada para o uso no dia a dia dos
laboratórios, bem como alguns dos métodos estatísticos são de entendimento difícil para aqueles que
realmente os irão aplicar.
Este artigo apresentou descrições detalhadas não apenas na parte conceitual, mas também no
emprego de alguns métodos com o auxílio do Excel, e ainda sugere que a solução para o
desalinhamento no modo de apresentação das informações é agrupar conceitos, exemplos e
aplicações reais em um único item, referente ao mesmo assunto.

5. CONCLUSÕES
A norma ISO 13528 afirma que provê apoio para a implementação da ABNT NBR ISO/IEC
17043 [10], todavia não entregou um prometido guia detalhado do que falta nela e,
principalmente, não enfatiza o que sempre se deseja saber, o valor atribuído e a sua incerteza, e o
que sempre se deseja manter, a homogeneidade e a estabilidade.

REFERÊNCIAS
[1] ISO 13528:2015, “Statistical methods for use in proficiency testing by interlaboratory
comparison”.
[2] Y. van Nuland. “ISO 9002 and the circle technique”. Qual. Eng. 1992, 5, pp. 269–291.
[3] Robert Marzano, Katie Rogers e Julia A. Simms. “Vocabulary for the New Science
Standards (Essentials for Principals)”, 2012, ISBN 978-0-9903458-0-0.
[4] [27] Rousseeuw P.J., & Verboven S. Comput. Stat. Data Anal. 2002, 40, pp. 741–758.
[5] [31] Thompson M. Analyst (Lond.). 2000, 125, pp. 385–386.
[6] W. J. Dixon, W. J. (1960). "Simplified Estimation from Censored Normal Samples". Annals
of Mathematical Statistics. 31 (2): 385–391. DOI:10.1214/aoms/1177705900.
[7] F. R. Hampel, “The breakdown points of the mean combined with some rejection rules,”
Technometrics, vol. 27, no. 2, pp. 95–107, 1985.
[8] M. H. Quenouille (1949).” Approximate tests of correlation in time-series”. J.R. Statist. Soc.
B 11, 68-84.
[9] M. H. Quenouille (1956).” Notes on bias in estimation”. Biometrika 43, 353-60.
[10] ABNT NBR ISO/IEC 17043 - Versão Corrigida 2017, Avaliação da conformidade -
Requisitos gerais para ensaios de proficiência.