PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS PEDro

Transcription

UNIVERSIDADE CIDADE DE SÃO PAULO
PROGRAMA DE MESTRADO EM FISIOTERAPIA
SÍLVIA REGINA SHIWA
PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS
PEDro, REPRODUTIBILIDADE DA ESCALA DE
QUALIDADE PEDro EM PORTUGUÊS E A INFLUÊNCIA DO
IDIOMA DE PUBLICAÇÃO NA QUALIDADE DOS ESTUDOS
CONTROLADOS ALEATORIZADOS
SÃO PAULO
2012
SÍLVIA REGINA SHIWA
PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS
PEDro, REPRODUTIBILIDADE DA ESCALA DE
QUALIDADE PEDro EM PORTUGUÊS E A INFLUÊNCIA DO
IDIOMA DE PUBLICAÇÃO NA QUALIDADE DOS ESTUDOS
CONTROLADOS ALEATORIZADOS
Dissertação apresentada ao Programa de
Mestrado
em
Fisioterapia
da
Universidade Cidade de São Paulo,
como requisito para obtenção do título
de Mestre, sob orientação do Prof. Dr.
Leonardo Oliveira Pena Costa.
SÃO PAULO
2012
SILVIA REGINA SHIWA
PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS PEDro,
REPRODUTIBILIDADE DA ESCALA DE QUALIDADE PEDro EM
PORTUGUÊS E A INFLUÊNCIA DO IDIOMA DE PUBLICAÇÃO NA
QUALIDADE DOS ESTUDOS CONTROLADOS ALEATORIZADOS
Dissertação apresentada ao Programa de
Mestrado
em
Fisioterapia
da
Universidade Cidade de São Paulo,
como requisito para obtenção do título
de Mestre.
Área de concentração: Avaliação, Intervenção e Prevenção em Fisioterapia
Data da defesa: 03/02/2012
Resultado:_________________________
BANCA EXAMINADORA
Prof. Dr. Leonardo de Oliveira Pena Costa
___________________________________
Universidade Cidade de São Paulo
Prof. Dr. Cristina Maria Nunes Cabral
__________________________________
Universidade Cidade de São Paulo
Prof. Dr. Silvia Maria Amado João
Universidade de São Paulo
____________________________________
DEDICATÓRIA
Aos meus pais Paulo e Lídia, meus maiores exemplos de vida, de amor incondicional e
de sabedoria. Papai, mesmo você não estando aqui fisicamente, eu sei que você estará sempre
ao meu lado, me apoiando, me guiando, me dando forças para superar as derrotas e
comemorando junto comigo todas as vitórias.
Dedico ao meu querido Edson, por todo amor, atenção, apoio e compreensão em todos
os momentos.
AGRADECIMENTOS
Sempre tive o mestrado como plano, mas nunca achava que era a hora certa. Retornei
à UNICID com outros projetos e acabei no mestrado em fisioterapia. Por sorte, destino ou
escolha certa, posso afirmar que foi um divisor de águas. Grande parte disso devo ao meu
orientador, que me orientou de forma magnífica e além dos trabalhos científicos. Tive uma
sorte imensa de ser orientada por um profissional tão bem qualificado, competente, humano,
honesto, amigo e companheiro. Obrigada Leo por todos os ensinamentos, paciência,
compreensão, amizade e por ter tornado o meu mestrado uma experiência incrível, de novas
descobertas e muito prazerosa.
Agradeço à Lucíola Costa, a menina mais bonitinha do mundo, pela sua ajuda
imediata em tudo, sua disposição e carinho. Muito obrigada ao super casal que além de ótimos
profissionais, também são ótimos amigos. Obrigada pelo apoio nos momentos difíceis, pelas
risadas e pelos puxões de orelha.
Agradeço à Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) pelo
financiamento dos meus estudos.
Agradeço a todos os professores do mestrado em fisioterapia da UNICID pelo
acolhimento e ensinamentos. Vocês tornam este programa ainda melhor!
Agradeço a todos os meus amigos de mestrado, ao grupo estudos em dor lombar, ao
grupo de estudos em corrida, pela amizade, companheirismo e a oportunidade de crescermos
juntos, superando nossas frustrações, papers rejeitados, papers aceitos e muitas vitórias.
E por fim, agradeço a minha família, meus pais Paulo e Lídia pela oportunidade de
realizar o mestrado e apoio constante em minha vida; aos meus irmãos Mark e Marcelo,
minha cunhada Kayoko, minhas lindas sobrinhas Isabela e Lia e ao meu amor, companheiro
de todas as horas, meu querido Edson, por todos vocês fazerem parte da minha vida, pelo
apoio e pela compreensão. Amo muito vocês.
SUMÁRIO
Páginas
Prefácio ....................................................................................................................... vi
Resumo .....................................................................................................................viii
Abstract ...................................................................................................................... xi
Capítulo 1 - Contextualização ................................................................................... 1
1.1. O que é prática baseada em evidências? ............................................................... 2
1.2. Qual a importância da prática baseada em evidências? ......................................... 4
1.3. Como utilizar a prática baseada em evidências? ................................................... 5
1.4. A Base de dados PEDro e a Escala de Qualidade PEDro ..................................... 6
1.5. Tradução, adaptação transcultural e propriedades clinimétricas da Escala de Qualidade
PEDro ........................................................................................................................... 7
1.6. Influência do idioma de publicação na qualidade dos estudos controlados
aleatorizados ................................................................................................................. 8
1.7. Objetivos da dissertação ...................................................................................... 10
1.8. Referências .......................................................................................................... 11
Capítulo 2 – PEDro: a base de dados de evidências em fisioterapia (Artigo
publicado na Revista Fisioterapia em Movimento) ............................................... 15
Resumo ....................................................................................................................... 16
Abstract ....................................................................................................................... 17
Introdução ................................................................................................................... 18
Resultados................................................................................................................... 20
Conclusão ................................................................................................................... 30
Referências ................................................................................................................. 31
Capítulo 3 – Reproducibility of the Portuguese version of the PEDro Scale ...... 27
Resumo ....................................................................................................................... 29
Abstract ....................................................................................................................... 31
Introduction ................................................................................................................ 33
Methods ...................................................................................................................... 37
Results ........................................................................................................................ 41
Discussion................................................................................................................... 45
References .................................................................................................................. 48
Appendix 1: Instructions of management of PEDro scale.................. ................ ...... 50
Capítulo 4 – Language of publication slightly influences the quality of reports of
randomised controlled trials of physiotherapy interventions............................... 53
Abstract ....................................................................................................................... 55
Introduction ................................................................................................................ 57
Methods ...................................................................................................................... 59
Results ........................................................................................................................ 60
Discussion................................................................................................................... 67
References .................................................................................................................. 70
Capítulo 5 – Conclusão ............................................................................................ 73
5.1. Resultados principais ........................................................................................... 74
5.2. Implicações dos resultados para a prática clínica e de pesquisa e sugestão de
estudos futuros ............................................................................................................ 74
5.3. Referências .......................................................................................................... 77
Apêndice 1 – Artigo publicado na revista Cadernos de Saúde Pública: Reproducibility of
the Portuguese version of the PEDro Scale ............................................................ 79
Anexo 1 – Normas de publicação: Journal of Clinical Epidemiology ................. 85
Ficha Elaborada pela Biblioteca Prof. Lúcio de Souza. UNICID
S558p
Shiwa, Sílvia Regina.
Práticas baseadas em evidências: a base de dados
PEDro, reprodutibilidade da escala de qualidade Pedro
em português e a influência do idioma de publicação na
qualidade dos estudos controlados aleatorizados. /
Sílvia Regina Shiwa. --- São Paulo, 2012.
95 p.; anexos.
Bibliografia
Dissertação (Mestrado) – Universidade Cidade de
São Paulo - Orientador: Prof. Dr. Leonardo Oliveira
Pena Costa.
1. Base de dados - PEDro. 2. Prática clínica
baseada em evidências. 3. Pesquisa. I. Costa,
Leonardo Oliveira Pena. II. Título.
CDD 615.82
PREFÁCIO
Essa dissertação de mestrado aborda tópicos relacionados à prática baseada em
evidências em fisioterapia e qualidade metodológica de estudos controlados
aleatorizados; em especial temas relacionados à base de dados PEDro (Physiotherapy
Evidence Database), a Escala de Qualidade PEDro, a reprodutibilidade da Escala de
Qualidade PEDro em português e sobre a influência do idioma de publicação na
qualidade metodológica de estudos controlados aleatorizados relevantes para a
fisioterapia. É composta por cinco capítulos que podem ser lidos independentemente e
cada capítulo possui sua própria lista de referências bibliográficas. O Programa de
Mestrado em Fisioterapia da Universidade Cidade de São Paulo permite a inclusão de
artigos publicados, aceitos ou submetidos para publicação a serem incluídos em seu
formato de publicação ou submissão no corpo do exemplar da dissertação.
O capítulo 1 apresenta uma contextualização dos tópicos que serão abordados
nessa dissertação. O capítulo 2 tem como objetivo fazer uma descrição detalhada da
base de dados e da Escala de Qualidade PEDro. Este capítulo está apresentado em
formato de artigo publicado na revista Fisioterapia em Movimento. O capítulo 3 tem
como objetivo apresentar um estudo sobre a reprodutibilidade da Escala de Qualidade
PEDro em português, esse capítulo foi publicado na revista Cadernos de Saúde Pública
no formato “nota de pesquisa”. A versão detalhada do manuscrito está apresentada no
capítulo 3 e a nota de pesquisa está disponível no apêndice 1. O capítulo 4 tem como
objetivo apresentar um estudo que investigou a influência do idioma de publicação na
qualidade de estudos controlados aleatorizados que analisam o efeito de intervenções
fisioterapêuticas. Este capítulo está formatado segundo as normas do Journal of Clinical
Epidemiology, revista ao qual foi submetida para publicação. O Capítulo 5 é um
vi
capítulo de conclusão da dissertação que apresenta uma visão geral dos principais
achados dos capítulos 2, 3 e 4, as implicações desses resultados, assim como sugestões
para estudos futuros. Uma cópia das “instruções para os autores” do Journal of Clinical
Epidemiology está apresentada como anexo.
vii
RESUMO
Esta dissertação de mestrado teve como objetivo geral contribuir com a prática
baseada em evidências através de uma série de estudos relacionados à qualidade dos
estudos controlados aleatorizados que avaliam a eficácia das
intervenções
fisioterapêuticas. Os objetivos específicos foram: 1) apresentar detalhadamente a base
de dados PEDro, 2) testar a reprodutibilidade da Escala de Qualidade PEDro em
português e 3) avaliar a influência do idioma de publicação na qualidade dos estudos
controlados aleatorizados em fisioterapia.
A PEDro é a base de dados mais abrangente em estudos que testam a eficácia
das intervenções fisioterapêuticas, em que são indexados estudos controlados
aleatorizados, revisões sistemáticas e diretrizes de prática clínica, sendo que os estudos
controlados aleatorizados possuem sua qualidade metodológica e descrição estatística
avaliadas através da Escala de Qualidade PEDro. A PEDro tem acesso livre e gratuito,
facilitando o uso por profissionais, alunos da área e pesquisadores. Apesar de um
enorme número de acessos da base de dados PEDro se originar do Brasil, é comum
fisioterapeutas brasileiros desconhecerem a existência ou como utilizar essa importante
base de dados. O Capítulo 2 dessa dissertação apresenta, em detalhes, a PEDro, assim
como apresenta um tutorial de uso para a mesma.
A Escala de Qualidade PEDro é uma ferramenta eficaz na avaliação da
qualidade metodológica e estatística dos estudos controlados aleatorizados. E para
disponibilizá-la em português foi necessário testar sua reprodutibilidade a fim de
garantir que o uso da escala seja feito de forma confiável (capítulo 3). Dois grupos de
fisioterapeutas brasileiros avaliaram 50 estudos controlados aleatorizados em português
utilizando a Escala de Qualidade PEDro em português, esses mesmos estudos já haviam
viii
sido avaliados por avaliadores internacionais que utilizaram a versão original da escala
em inglês. Foi calculada a reprodutibilidade inter examinadores, assim como foram
comparados os resultados das avaliações utilizando a escala em português com os
resultados das avaliações que utilizaram a escala em inglês. Como resultado, foi
observado uma confiabilidade variando entre moderada a quase perfeita para itens
individuais da Escala de Qualidade PEDro (coeficiente Kappa variando entre 0,53 a
1,00) e confiabilidade excelente para a pontuação total (coeficiente de correlação
intraclasse de 0,82 [IC 95% de 0,70 a 0,89]). A concordância entre examinadores foi
considerada boa (erro padrão de medida de 0,58 pontos) e uma excelente confiabilidade
na comparação da versão em português com a versão original em inglês com um
coeficiente de correlação intraclasse de 0,78 (IC 95% de 0,67 a 0,86).
O viés de linguagem está presente de diversas formas nos estudos, desde a não
interpretação da evidência devido à falta de conhecimento do idioma, até a exclusão de
estudos publicados em idiomas diferentes do inglês por assumir que os mesmos
possuem baixa qualidade metodológica ou mesmo por questões logísticas. Porém não
há conhecimento se esta premissa de que estudos publicados em inglês possuem
qualidade superior é verdadeira. Para isso, seria necessário avaliar a qualidade dos
estudos controlados aleatorizados em diferentes idiomas, com um número
representativo de estudos relevantes para a fisioterapia. No capítulo 4 estão
apresentados os resultados de um estudo que avaliou a qualidade dos estudos a partir do
idioma de publicação de 12.532 estudos controlados aleatorizados em fisioterapia
publicados em inglês e 860 publicados em outros idiomas. Foi observado uma melhora
da qualidade dos estudos com o passar do tempo, não foi observada diferença
significativa entre as publicações em inglês ou em outro idioma na análise univariada
(diferença média de -0,1 pontos, IC 95% de -0,02 a 0,0, p=0.24, t=1.18). Porém na
ix
análise ajustada para os confundidores, observou-se que o idioma inglês influencia
sutilmente a qualidade dos estudos (coeficiente beta = 0.15, IC 95% de 0,04 a 0,25). O
idioma de publicação é associada com a qualidade metodológica e descrição estatística
de estudos controlados aleatorizados de intervenções fisioterapêuticas, porém estudos
publicados em inglês possuem melhor qualidade do que os estudos publicados em
outras línguas, mas a magnitude desta influência é pequena e é inconsistente em alguns
itens.
Todos os estudos apresentados nesta disssertação contribuem para a prática
baseada em evidências. Na base de dados PEDro encontra-se uma excelente fonte de
evidências, tanto para pesquisadores, fisioterapeutas clínicos e usuários dos serviços de
fisioterapia. Os fisioterapeutas brasileiros podem utilizar a Escala de Qualidade PEDro
para avaliar criticamente a qualidade metodológica e estatística dos estudos controlados
aleatorizados e identificar a melhor evidência disponível devido a sua alta
reprodutibilidade inter avaliadores. E por fim, estudos controlados aleatorizados em
fisioterapia publicados em inglês possuem uma melhor qualidade que estudos
publicados em outros idiomas, porém essa diferença é pequena e talvez não relevante.
Sendo assim, estudos publicados em outros idiomas não deveriam ser excluídos para a
tomada de decisões clínicas e composição de revisões sistemáticas.
x
ABSTRACT
This dissertation aims to contribute to evidence-based practice through a series
of studies related to the quality of randomized controlled trials that evaluated the
efficacy of physical therapy interventions. The specific objectives were: 1) to present in
detail the PEDro database; 2) to test the reproducibility of the PEDro Scale into
Portuguese and 3) to evaluate the influence of language of publication in the quality of
reports of randomized controlled trials in physical therapy.
PEDro is the most comprehensive database indexing randomized controlled
trials of physical therapy interventions. This database also indexes systematic reviews
and clinical practice guidelines relevant to the field of physical therapy. Randomized
controlled trials indexed in PEDro are rated for methodological quality and statistical
reporting using the 11-item PEDro Scale. PEDro is freely available, allowing its use by
clinicians, students and researchers in physical therapy. Despite a large number of
accesses to PEDro from Brazil, Brazilian physical therapists do not fully understand this
important database. Chapter 2 presents the PEDro database in detail and provides a
tutorial on how to use it.
The PEDro Scale is an effective tool to evaluate the methodological quality and
statistical reporting of reports of randomized controlled trials. In order to use the
Portuguese version of this scale it was necessary to test its reproducibility to ensure that
the use of the scale was reliable (Chapter 3). Two groups of Brazilian physical
therapists evaluated 50 reports of randomized controlled trials in Portuguese using the
Portuguese version of the PEDro Scale. These trials have already been assessed by
international raters who used the original English scale. We calculated the interexaminer reproducibility, as well as compared the results of the evaluations using the
xi
scale in Portuguese with the results of evaluations that have used the scale in English.
We observed reliability estimates ranging from moderate to almost perfect for the
individual items of the PEDro Scale (Kappa Coefficient ranging from 0.53 to 1.00) and
excellent reliability for the total score (Intraclass Correlation Coefficient of 0.82 [95%
CI 0.70 to 0.89]). The agreement between examiners was considered good (Standard
Error of Measurement of 0.58 points) and excellent reliability of the Portuguese version
compared with the original version in English with an Intraclass Correlation Coefficient
of 0.78 (95% CI 0.67 to 0.86).
Language bias is present in various ways in clinical trials, this ranges from
difficulties in interpreting the evidence due to the lack of knowledge of a certain
language, to the exclusion of trials published in languages different than English by
assuming that they have low methodological quality or even due to methodological
and/or logistical issues. But there is no evidence that trials published in English have
higher quality then non-English trials. To answer this question it is necessary to
evaluate the quality of randomized controlled trials in different languages, with a
representative number of trials relevant to physical therapy. Chapter 4 present the
results of a study that assessed the quality of 12,532 randomized controlled trials
published in English and 860 trials published in languages other than English. We
observed an improvement in quality of the trials over time. There was no significant
difference among English and non-English trials in the univariate analysis (mean
difference of -0.1 points, (95% CI: 0.02 to 0.0, p = 0.24, t = 1.18). But after adjusting
for confounders, we found that the English language slightly influences the quality of
clinical trials (beta coefficient = 0.15, 95% CI 0.04 to 0.25). Language of publication is
associated with the methodological quality and statistical report of randomized
controlled trials of physical therapy interventions. Trials published in English have
xii
better quality than trials published in other languages, but the magnitude of this
influence is small and is inconsistent in some items.
All studies presented in this thesis contribute to evidence-based practice. PEDro
database in an excellent source of evidence both for researches, clinicians and users of
physical therapy services. Physical therapists may use the Brazilian PEDro Scale in
order to critically assess the methodological quality and statistical reporting of reports
of randomized controlled trials; being this scale having high inter-rater reliability.
Finally, randomized controlled trials published in English have a better quality than
trials published in other languages, but this difference is small and probably irrelevant.
Thus, trials published in other languages should not be excluded for clinical decisionmaking as well as for systematic reviews.
xiii
CAPÍTULO 1
CONTEXTUALIZAÇÃO
1
1.1. O que é a prática baseada em evidências?
A prática baseada em evidências pode ser definida como o uso de evidências
científicas atualizadas para orientar a tomada de decisão clínica1. Surgiu na década de
70 quando um grupo de epidemiologistas da McMaster University (Toronto – Canadá),
liderados pelos pesquisadores David Sackett, Brian Haynes, Peter Tugwell e Victor
Neufeld planejaram a publicação de uma série de artigos descrevendo regras básicas
necessárias para a análise crítica de uma evidência2. Tais séries foram publicadas no
início de 1981 no Canadian Medical Association Journal e tinham por objetivo
investigar a análise crítica, em ambiente hospitalar, de processos assistenciais sugeridos
pela literatura médica2. No início da década de 90, Gordon Guyatt deu continuidade ao
trabalho do Dr. Sackett e adotou como missão o treinamento de profissionais de saúde
na prática clínica baseada em evidências2. Tal treinamento abrangia as diversas áreas de
assistência à saúde tais como medicina, enfermagem, fisioterapia, nutrição, odontologia
e posteriormente, áreas da economia e gestão de serviços de saúde1.
A prática baseada em evidências engloba três aspectos fundamentais: a pesquisa
clínica de alta qualidade, o conhecimento do profissional e as preferências do paciente.
Pesquisa clínica de alta qualidade refere-se às pesquisas realizadas com pacientes,
conduzidas em ambientes clínicos, utilizando-se de perguntas clínicas e que apresenta
resultados mais próximos da realidade clínica, com o menor viés possível3. O
conhecimento do profissional surge da prática e experiência clínica, nas quais os
profissionais avaliam a sua prática e aprendem com as suas experiências anteriores3. As
preferências do paciente, seus valores pessoais e suas experiências anteriores devem ser
respeitadas e consideradas na tomada de decisão; e sempre que possível o paciente deve
participar dessa decisão a fim de se obter a melhor conduta para o tratamento 3. Na
ausência de estudos de alta qualidade, devem-se buscar os estudos clínicos com
2
qualidade inferior respeitando os níveis de evidência4 (Figura 1), seguido de opiniões de
experts e dos bons profissionais3.
Revisão
sistemática
de ECA
ECA de alta qualidade
ECA de baixa qualidade
Estudos controlados não aleatorizados
Série de casos
Estudos de caso único
Opinião de experts sem avaliação crítica explícita, ou baseado na fisiologia e/ou
estudos laboratoriais
Figura 1. Diagrama ilustrativo dos níveis de evidência em estudos de intervenção
(adaptado de Bob Phillips et al4) (ECA = estudo controlado aleatorizado)
Além disso, há outros fatores que podem influenciar a prática baseada em
evidências, como o idioma de publicação, aspectos culturais, políticos, econômicos,
equipamentos, habilidades do fisioterapeuta e as condições de trabalho5. Por exemplo,
uma intervenção muito eficaz para determinada condição de saúde pode exigir o uso de
um equipamento caro e talvez inacessível para o profissional, neste caso o profissional
teria que utilizar uma intervenção menos eficaz3. Outro exemplo de limitação ao uso da
prática baseada em evidências seria quanto ao idioma de publicação dos estudos, a
maior parte desses são publicados em inglês, porém se o leitor não tiver conhecimento
deste idioma, o acesso à evidência torna-se limitado. O problema do idioma de
publicação também pode afetar pessoas que só dominam o idioma inglês uma vez que
existem estudos de alta qualidade publicados em idiomas diferentes do inglês e que o
acesso destes estará restrito a um número reduzido de profissionais. Além disso, o
3
idioma de publicação irá dificultar a realização de revisões sistemáticas sem “viés de
linguagem”6-8.
1.2. Qual a importância da prática baseada em evidências?
A utilização de intervenções baseadas em evidência é importante tanto para os
pacientes, como para fisioterapeutas, convênios, seguradoras de saúde e governo3. Do
ponto de vista dos pacientes, estes receberão intervenções seguras e eficazes em busca
da melhor resposta clínica possível3. Hoje, com a prática baseada em evidências, o
fisioterapeuta ganhou autonomia, e ao mesmo tempo responsabilidade para assegurar o
diagnóstico e o prognóstico correto do paciente, assim como ser bem informado quanto
aos benefícios, danos ou riscos da intervenção3. Para os convênios, seguradoras e para o
governo que financiam os tratamentos há o interesse em assegurar que o dinheiro será
investido em tratamentos comprovadamente eficazes, assim como em decidir sobre
investimentos nos serviços de saúde baseados em evidências5.
A prática baseada em evidências em fisioterapia tornou-se factível devido ao
número crescente e maior facilidade no acesso de estudos de alta qualidade nos últimos
anos9,
10
. Uma amostra disto é o número de indexações na base de dados PEDro
(Physiotherapy Evidence Database). Em janeiro de 2012 haviam 16.734 estudos
controlados aleatorizados, 3.118 revisões sistemáticas e 1167 diretrizes de prática
clínica relacionados a intervenções fisioterapêuticas indexados nesta base de dados11.
Porém a prática clínica não acompanhou a velocidade de crescimento da evidência,
visto que o volume de informação é extenso, e consequentemente, aumenta a
dificuldade dos fisioterapeutas a se manterem atualizados, assim como utilizar toda a
evidência disponível12-15.
4
1.3. Como utilizar a prática baseada em evidências?
O processo de prática baseada em evidências requer o desenvolvimento de cinco
componentes: 1) formulação da pergunta clínica; 2) condução de uma busca eficiente na
literatura para os tipos de estudos apropriados para responder a pergunta clínica; 3)
avaliação crítica da validade interna e externa dos estudos através da compreensão dos
métodos da pesquisa; 4) implementação dos resultados de estudos relevantes na prática
clínica, considerando as preferências dos pacientes, seus valores e circunstâncias; e 5)
avaliação dos efeitos da implementação da evidência encontrada16.
O primeiro passo para encontrar a resposta adequada, de forma rápida e efetiva
seria através de uma boa formulação da pergunta clínica17. As principais perguntas
clínicas3 são relativas a: 1) efeitos de intervenção, 2) experiências dos pacientes, 3)
prognóstico, 4) diagnóstico e 5) etiologia. Para cada pergunta clínica há um tipo de
estudo ou delineamento de pesquisa mais adequado. Por exemplo, para estudos que tem
como objetivo avaliar a eficácia de uma determinada intervenção, o delineamento ideal
seria um estudo controlado aleatorizado ou através de revisões sistemáticas que
sumarizam os resultados de vários estudos controlados aleatorizados9. Quando uma
revisão sistemática não se encontra disponível para uma determinada pergunta clínica,
devem-se buscar os estudos controlados aleatorizados isolados, preferencialmente os de
boa qualidade metodológica3.
Um dos possíveis problemas para profissionais de saúde é que podem ser
encontrados vários estudos de um mesmo assunto com diversos níveis de qualidade
metodológica e nem sempre fisioterapeutas que não estão envolvidos com a vida
acadêmica conseguem distinguir estudos de alta qualidade dos de baixa qualidade. Para
facilitar esta distinção de qualidade metodológica dos estudos controlados aleatorizados,
foi criada a base de dados PEDro (www.pedro.org.au) que disponibiliza aos seus
5
usuários de forma gratuita, o resultado da busca dos estudos em ordem de evidência e
qualidade, sendo os estudos controlados aleatorizados avaliados através da Escala de
Qualidade PEDro18, 19.
1.4. A base de dados PEDro e a Escala de Qualidade PEDro
A PEDro é a base de dados mais abrangente na indexação de estudos que
investigam a eficácia das intervenções fisioterapêuticas20, 21. Foi criada em 1999 por um
grupo de fisioterapeutas australianos da Universidade de Sydney, com a missão de
maximizar a eficácia dos serviços de fisioterapia e facilitar a aplicação prática da
melhor evidência existente22. É utilizada em mais de 125 países, com destaque para o
Brasil, pois cerca de 10% de todos os acessos na PEDro são realizados por
fisioterapeutas brasileiros11. Apesar do Brasil ser o terceiro maior usuário da base de
dados PEDro11, muitos fisioterapeutas brasileiros desconhecem a existência dessa
importante ferramenta de auxílio para a prática baseada em evidências. Todos os
estudos controlados aleatorizados indexados na base de dados PEDro têm sua qualidade
metodológica e estatística avaliada através da Escala de Qualidade PEDro18,
19, 23, 24
.
Essa escala é composta por 11 critérios e a pontuação final é gerada através da
somatória de dez dos onze critérios. Esta avaliação é realizada por dois avaliadores
independentes, e em caso de discordância em algum dos critérios, um terceiro avaliador
arbitra a pontuação final, que varia entre 0 e 10 pontos18,
19, 24, 25
. Até o presente
momento, não havia uma publicação em português apresentando em detalhes a base de
dados PEDro, assim como a Escala de Qualidade PEDro. O capítulo 2 dessa dissertação
apresenta em detalhes esses tópicos que podem ajudar fisioterapeutas a compreender e
utilizar melhor essa importante base de dados.
6
1.5. Tradução, adaptação transcultural e propriedades clinimétricas da Escala de
Qualidade PEDro
No Brasil, há aproximadamente 140 mil fisioterapeutas26 e somente uma
pequena proporção da população brasileira possui boa compreensão da língua inglesa. O
website da base de dados PEDro já foi traduzido para o português, porém a Escala de
Qualidade PEDro não estava disponível em português até a conclusão dessa dissertação.
Além da tradução é necessário realizar a adaptação transcultural e testar as propriedades
clinimétricas do instrumento adaptado27. O objetivo do processo de adaptação
transcultural é produzir equivalência semântica e idiomática entre a versão original23 e a
versão adaptada28. Quando uma adaptação transcultural de um instrumento de medida é
realizada, assume-se que as propriedades clinimétricas originais foram mantidas, porém
em alguns casos isto não é possível devido às diferenças culturais entre as duas
populações. Sendo assim, é essencial testar as propriedades clinimétricas do
instrumento adaptado para a população-alvo após os procedimentos de adaptação
transcultural27. As propriedades clinimétricas são: consistência interna, validade,
reprodutibilidade (engloba a concordância e a confiabilidade), responsividade e efeitos
teto e piso29. Neste presente estudo foi abordado somente a reprodutibilidade porque as
demais propriedades clinimétricas não se aplicam a escalas de qualidade metodológica.
A definição de reprodutibilidade utilizada nesta dissertação foi “o nível em que medidas
repetidas em condições estáveis promovem respostas similares (p.36)”29.
A Escala de Qualidade PEDro em inglês possui reprodutibilidade satisfatória,
apresentando uma moderada confiabilidade entre examinadores23. Porém a versão em
português nunca foi testada quanto a sua reprodutibilidade, desta forma, não se sabe se
os resultados das análises de estudos controlados aleatorizados utilizando a escala em
português são semelhantes àqueles utilizando a mesma escala original em inglês. O
7
Capítulo 3 apresenta um estudo de reprodutibilidade da versão em português da Escala
de Qualidade PEDro.
1.6. A influência da língua de publicação na qualidade dos estudos controlados
aleatorizados
Na base de dados PEDro encontram-se estudos controlados aleatorizados de
intervenções fisioterapêuticas publicados em 33 idiomas diferentes11, sendo que esses
estudos possuem uma grande heterogeneidade do ponto de vista de qualidade
metodológica. É improvável que algum fisioterapeuta tenha o conhecimento de todas
essas línguas e tempo hábil de ler o extenso número de publicações para manter-se
atualizado. Desta forma, a melhor solução para fisioterapeutas se manterem atualizados
seria através da leitura de revisões sistemáticas de estudos controlados aleatorizados.
Infelizmente a maioria dessas revisões sistemáticas (mesmo as de alta qualidade)
também sofrem com um problema comum denominado viés de línguagem7. O viés de
linguagem refere-se à limitação devido ao idioma de publicação do estudo, por
exemplo, estudos publicados em idioma diferente do inglês exigirão que o leitor tenha
conhecimento deste idioma7. O viés de linguagem também se refere aos estudos que
ignoram a existência de estudos anteriores publicados em outros idiomas, como ocorre
na exclusão de estudos em uma revisão sistemática devido ao idioma de publicação 30.
Há evidência que 78% das meta-análises de estudos controlados aleatorizados sofrem
restrições quanto ao idioma de publicação e 93% excluem estudos publicados em
idiomas diferentes do inglês31, 32. Esse viés de linguagem é comumentemente aceito em
revisões sistemáticas por dois motivos: 1) por razões logísticas (como por exemplo,
devido à necessidade de pessoas fluentes em diferentes idiomas para auxiliar na
extração e interpretação dos dados) ou 2) simplesmente porque pesquisadores assumem
8
que somente artigos publicados em inglês teriam qualidade (e quantidade) suficiente
para chegar a uma conclusão final. Em outras palavras assume-se que artigos publicados
em outros idiomas teriam uma qualidade metodológica inferior e que, portanto,
poderiam ser descartados6. Porém, essa premissa que os estudos controlados
aleatorizados em idiomas diferentes do inglês teriam uma qualidade metodológica
inferior aos estudos publicados em inglês foi mensurada em apenas dois estudos6, 7. Em
um deles6, foram comparados a qualidade metodológica através da Escala Jadad33 de
133 estudos controlados aleatorizados publicados em inglês e 96 estudos controlados
aleatorizados publicados em francês, italiano ou espanhol sobre medicina interna e
geral. Não foi encontrada diferença entre os estudos publicados em inglês e em outros
idiomas. Outro estudo7 comparou a qualidade de 40 pares de estudos publicados em
inglês e alemão de medicina geral. A qualidade metodológica foi avaliada através de
duas escalas de qualidade33, 34. Não foram encontradas diferenças na qualidade desses
estudos. Estes estudos avaliaram idiomas isoladamente, com uma amostra pequena de
artigos e somente da área da medicina. Seria interessante a comparação de estudos
controlados aleatorizados referentes à fisioterapia, com uma amostra representativa e
com um número maior de idiomas. O capítulo 4 apresenta um estudo que avalia a
qualidade dos estudos controlados aleatorizados de fisioterapia publicados em diferentes
idiomas e que comparou a qualidade dos estudos publicados em inglês (n=12.532) com
os publicados em línguas diferentes do inglês (n=860).
9
1.7. Objetivos da dissertação
Esta dissertação de mestrado tem como objetivos abordar tópicos relacionados à
prática baseada em evidências, em especial:
1. Apresentar detalhadamente a base de dados e a Escala de Qualidade PEDro
(capítulo 2);
2. Analisar a reprodutibilidade da Escala de Qualidade PEDro em português
(capítulo 3);
3. Apresentar a influência do idioma de publicação na qualidade dos estudos
controlados aleatorizados na área da fisioterapia (capítulo 4).
10
1.8. Referências
1.
Group E-BMW. Evidence-based medicine. A new approach to teaching the practice of
medicine. JAMA. 1992;268(17):2420-5.
2.
Claridge JA, Fabian TC. History and development of evidence-based medicine. World
J Surg. 2005;29(5):547-53.
3.
Herbert R, Jamtvedt G, Mead J, Hagen KB. Practical Evidence-Based Physiotherapy.
2nd ed. London: Churchill Livingstone; 2011.
4.
Philips B, Ball C, Sackett DL, Badenoch D, Strauss SE, Haynes B, et al. Levels of
Evidence. 2009 [updated 2009; cited 21/07/2011]; Available from:
http://www.cebm.net/index.aspx?o=1025.
5.
Herbert R, Jamtvedt G, Mead J, Hagen KB. Practical Evidence-Based Physiotherapy.
Butterworth-Heinemann; 2005.
6.
Moher D, Fortin P, Jadad AR, Juni P, Klassen T, Le Lorier J, et al. Completeness of
reporting of trials published in languages other than English: implications for conduct and
reporting of systematic reviews. Lancet. 1996;347(8998):363-6.
7.
Egger M, Zellweger-Zahner T, Schneider M, Junker C, Lengeler C, Antes G.
Language bias in randomised controlled trials published in English and German. Lancet.
1997;350(9074):326-9.
8.
Moher D, Pham B, Lawson ML, Klassen TP. The inclusion of reports of randomised
trials published in languages other than English in systematic reviews. Health Technol Assess.
2003;7(41):1-90.
9.
Marques AP, Peccin MS. Pesquisa em fisioterapia: a prática baseada em evidências e
modelos de estudos. Fisioter Pesq. 2005;2(1):43-8.
11
10.
Maher CG, Sherrington C, Elkins M, Herbert RD, Moseley AM. Challenges for
evidence-based physical therapy: accessing and interpreting high-quality evidence on therapy.
Phys Ther. 2004;84(7):644-54.
11.
PEDro. PEDro acess statistics. 2011 [updated 2011; cited 29/08/2011]; Available
from: www.pedro.org.au.
12.
Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS. Evidence based
medicine: what it is and what it isn't. BMJ. 1996;312(7023):71-2.
13.
Nilsson LM, Nordholm LA. Physical therapy on stroke rehabilitation: bases for
swedish physiotherapists´ choice of treatment. Physiother Theory Pract. 1992;8(1):49-55.
14.
Rudd AG, Lowe D, Irwin P, Rutledge Z, Pearson M. National stroke audit: a tool for
change? Qual Health Care. 2001;10(3):141-51.
15.
Turner PA, Harby-Owren H, Shackleford F, So A, Fosse T, T.W.A W. Audits of
physiotherapy practice. Physiother Theory Pract. 1999;15(4):261-74.
16.
Sackett DL, Strauss SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-Based
Medicine: How to Practice and Teach EBM. 2nd ed. New York: Churchill Livingstone; 2000.
17.
Sutherland SE, Matthews DC, Fendrich P. Clinical practice guidelines in dentistry:
Part I. Navigating new waters. J Can Dent Assoc. 2001;67(7):379-83.
18.
Maher CG, Moseley AM, Sherrington C, Elkins MR, Herbert RD. A description of the
trials, reviews, and practice guidelines indexed in the PEDro database. Phys Ther.
2008;88(9):1068-77.
19.
Sherrington C, Herbert RD, Maher CG, Moseley AM. PEDro. A database of
randomized trials and systematic reviews in physiotherapy. Man Ther. 2000;5(4):223-6.
20.
Michaleff ZA, Costa LOP, Moseley AM, Maher CG, Elkins MR, Herbert RD, et al.
CENTRAL, PEDro, PubMed, and EMBASE are the most comprehensive databases indexing
randomized controlled trials of physical therapy interventions. Phys Ther. 2011;91(2):190-7.
12
21.
Moseley AM, Sherrington C, Elkins MR, Herbert RD, Maher CG. Indexing of
randomised controlled trials of physiotherapy interventions: a comparison of AMED,
CENTRAL, CINAHL, EMBASE, Hooked on Evidence, PEDro, PsycINFO and PubMed.
Physiother. 2009;95(3):151-6.
22.
Centro de Fisioterapia Baseada em Evidências (CEBP). [cited 2011 30/01/2011];
Available from: http://www.pedro.org.au/portuguese/about-us/cebp/.
23.
Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the
PEDro scale for rating quality of randomized controlled trials. Phys Ther. 2003;83(8):713-21.
24.
Sherrington C, Moseley AM, Herbert RD, Elkins MR, Maher CG. Ten years of
evidence to guide physiotherapy interventions: Physiotherapy Evidence Database (PEDro). Br
J Sports Med. 2009;44(12):836-7.
25.
de Morton NA. The PEDro scale is a valid measure of the methodological quality of
clinical trials: a demographic study. Aust J Physiother. 2009;55(2):129-33.
26.
COFFITO. Perguntas mais frequentes: Quantitativo de profissionais. 01/02/2011
[updated 01/02/2011; cited 14/07/2011]; Available from: www.coffito.org.br/faqs/faq.asp.
27.
Maher CG, Latimer J, Costa LO. The relevance of cross-cultural adaptation and
clinimetrics for physical therapy instruments. Rev Bras Fisioter. 2007;11(4):245-52.
28.
Costa C. Portuguese adaptation of the PEDro scale. Lisbon: Technical University of
Lisbon; 2011.
29.
Terwee CB, Bot SDM, Boer MR, van der Windta DAWM, Knola DL, Dekkera J, et
al. Quality criteria were proposed for measurement properties of health status questionnaires.
J Clin Epidemiol. 2007;60(1):34-42.
30.
Gregoire G, Derderian F, Le Lorier J. Selecting the language of the publications
included in a meta-analysis: is there a Tower of Babel bias? J Clin Epidemiol.
1995;48(1):159-63.
13
31.
Pham B, Klassen TP, Lawson ML, Moher D. Language of publication restrictions in
systematic reviews gave different results depending on whether the intervention was
conventional or complementary. J Clin Epidemiol. 2005;58(8):769-76.
32.
Moher D, Pham B, Klassen TP, Schulz KF, Berlin JA, Jadad AR, et al. What
contributions do languages other than English make on the results of meta-analyses? J Clin
Epidemiol. 2000;53(9):964-72.
33.
Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJ, Gavaghan DJ, et al.
Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control
Clin Trials. 1996;17(1):1-12.
34.
Chalmers I, Adams M, Dickersin K, Hetherington J, Tarnow-Mordi W, Meinert C, et
al. A cohort study of summary reports of controlled trials. JAMA. 1990;263(10):1401-5.
14
CAPÍTULO 2
PEDro: A BASE DE DADOS DE EVIDÊNCIA EM
FISIOTERAPIA
15
ISSN 0103-5150
Fisioter. Mov., Curitiba, v. 24, n. 3, p. 523-533, jul./set. 2011
Licenciado sob uma Licença Creative Commons
[T]
PEDro: a base de dados de evidências em fisioterapia
[I]
PEDro: the physiotherapy evidence database
[A]
Sílvia Regina Shiwa[a], Leonardo Oliveira Pena Costa[b], Auristela Duarte de Lima Moser[c],
Isabella de Carvalho Aguiar[d], Luis Vicente Franco de Oliveira[e]
[a]
[b]
[c]
[d]
[e]
Mestranda em Fisioterapia, Universidade Cidade de São Paulo (UNICID), São Paulo, SP - Brasil, e-mail: [email protected]
Coordenador do Programa de Mestrado em Fisioterapia, Centro Brasileiro de Fisioterapia Baseada em Evidências/PEDro
Brasil, Universidade Cidade de São Paulo (UNICID), São Paulo, SP - Brasil.
Professora do Programa de Pós Graduação em Tecnologia em Saúde (PUCPR), Curitiba, PR - Brasil.
Mestranda em Ciências da Reabilitação, Universidade Nove de Julho (UNINOVE), São Paulo, SP - Brasil.
Professor do Programa de Mestrado e Doutorado em Ciências da Reabilitação (UNINOVE), São Paulo, SP, Brasil.
[R]
Resumo
Introdução: A prática baseada em evidências é necessária para que os pacientes recebam tratamentos eficazes, assim como para reduzir os custos de saúde em geral. Com o crescimento da produção científica
com qualidade metodológica heterogênea, torna-se difícil para o fisioterapeuta selecionar quais as melhores evidências para embasar a sua conduta terapêutica. Objetivos: Apresentar a base de dados PEDro
(Physiotherapy Evidence Database). Materiais e métodos: Foram descritos a abrangência da base de dados, tipos de estudos indexados, grau de acessibilidade aos usuários e critérios de qualificação metodológica, entre outras características. Resultados: PEDro é a base de dados mais abrangente em estudos que
testam a eficácia das intervenções fisioterapêuticas, em que são indexados estudos controlados aleatorizados, revisões sistemáticas e diretrizes de prática clínica, e os estudos controlados aleatorizados possuem
sua qualidade metodológica e descrição estatística avaliadas por meio da escala de qualidade PEDro.
A PEDro tem acesso livre e gratuito, facilitando o uso por profissionais, alunos da área e pesquisadores. Os
resultados das buscas são ranqueados de acordo com a qualidade metodológica dos artigos encontrados.
A PEDro está disponível em cinco idiomas: inglês, mandarim, francês, alemão e português e disponibiliza uma
versão simples, sem termos técnicos, para consumidores de serviços de fisioterapia, que são as “escolhas
16
Fisioter Mov. 2011 jul/set;24(3):523-33
524
Shiwa SR, Costa LOP, Moser ADL, Aguiar IC, de Oliveira LVF.
fisioterapêuticas”, ou physiotherapy choices. Conclusão: A PEDro cumpre o seu papel auxiliando tanto profissionais como pacientes, informando sobre as evidências de eficácia de tratamentos fisioterapêuticos de
uma forma rápida e simples e contribuindo com o recolhimento de informações para subsidiar decisões ou
escolhas terapêuticas. [#]
[P]
Palavras-chave: Prática clínica baseada em evidências. Base de dados. Fisioterapia. [#]
[B]
Abstract
Introduction: Evidence-based practice is needed in order to provide effective and low cost treatments for patients. Due to the growth of the number scientific articles with heterogeneous methodological quality, it becomes difficult for physiotherapists to select which information to be used in order to keep updated as well as
to make clinical decisions. Objective: The aim of this article is to present the Physiotherapy Evidence Database
(PEDro). Method: We described the comprehensiveness, types of studies indexed, the accessibility and how the
methodological quality of randomised controlled trials is rated on the PEDro database. Results: PEDro is the
most comprehensive database that indexes studies aimed to test the efficacy of physiotherapy interventions.
PEDro indexes randomized controlled trials, systematic reviews and clinical practice guidelines, being the randomized controlled trials having their methodological quality and statistical reporting evaluated by the PEDro
scale. PEDro is an open access database, which facilitates the use for physiotherapists, students and researchers. The search results are ranked according to the methodological quality. The PEDro website is available in
English, Mandarin, French, German and Portuguese and the website also have an easy-friendly using link to
the consumer version of PEDro, named “physiotherapy choices”. Conclusion: PEDro database helps both health
care professionals as well as patients by informing them with regards to the efficacy of physiotherapy interventions in an easy and quick way. PEDro contributes significantly in the decision-making process by providing all
information available regarding the efficacy of physiotherapy interventions. [#]
[K]
Keywords: Evidence-based practice. Database. Physiotherapy. [#]
Introdução
A fisioterapia baseada em evidências é o elemento
central da fisioterapia contemporânea. A aplicação
de intervenções baseadas em evidências científicas
é necessária para que os pacientes recebam tratamentos eficazes, assim como para reduzir os custos de saúde em geral. As revisões sistemáticas, as
diretrizes de prática clínica e os estudos controlados aleatorizados (ECAs) (Quadro 1) são considerados as melhores fontes de evidência para avaliar
o efeito de uma determinada intervenção (1), isto
é, se os tratamentos são eficazes ou não. Sugere-se
que esses estudos devem sempre ser escolhidos para
auxiliar fisioterapeutas em suas tomadas de decisão
clínica (2).
O primeiro ECA em fisioterapia foi publicado em
1929, por Colebrook e colaboradores, no periódico
Medical Research Council Special Report Series. Esse
estudo investigou o efeito da irradiação ultravioleta
na prevenção de resfriados, doenças infecciosas, derFisioter Mov. 2011 jul/set;24(3):523-33
17
matofitoses e promoção do progresso escolar (3).
Desde então, o número de ECAs com o objetivo de
testar intervenções fisioterapêuticas cresceu rapidamente. Em 1960, havia 15 ECAs e, nas quatro décadas seguintes, esse número teve um crescimento
exponencial, com 86 ECAs em 1970, 441 em 1980,
1.925 em 1990 e 5.301 em 2000. As revisões sistemáticas de ECAs relevantes para a fisioterapia também acompanharam esse crescimento. A primeira
revisão sistemática foi publicada em 1975 (4), e em
1991 havia 39 revisões. A primeira diretriz de prática clínica foi publicada em 1987 (5). Em 1995 e
2009 totalizavam 19 e 603 diretrizes de prática clínica, respectivamente (6). Em maio de 2011 havia
2.801 revisões sistemáticas, 808 diretrizes de prática clínica e 15.293 ECAs relacionados a intervenções fisioterapêuticas.
Com base nesses dados é possível observar um
aumento considerável no número de informações sobre a eficácia de intervenções em fisioterapia e não
há previsão para redução desse crescimento em um
da base de dados PEDro, descrever os tipos de estudos indexados, grau de acessibilidade aos usuários
e critérios de qualificação metodológica com vistas
à sua apresentação aos leitores deste periódico.
Os autores realizaram o acesso à base tendo em
mente simular uma busca para apresentar o funcionamento da base de dados, assim como apresentar
os tipos de estudos indexados, grau de acessibilidade aos usuários e critérios de qualificação metodológica. Os resultados são apresentados a seguir.
Número de ECAs, RS e Diretrizes
futuro próximo (Gráfico 1), uma vez que o número
de estudos relacionados à eficácia de intervenções
dobra a cada três anos e meio. Diante dessa situação tão dinâmica, é improvável que fisioterapeutas
consigam lidar com esse expressivo volume de informações. Além do grande número de estudos relacionados à eficácia de intervenções, outro problema
encontrado por fisioterapeutas que desejam se atualizar adequadamente é o fato de que a qualidade
metodológica dos estudos tende a ser muito heterogênea, sendo a maioria dos estudos de baixa qualidade metodológica. Esses estudos de baixa qualidade metodológica proporcionam conclusões com
pouca validade científica, que infelizmente mais confundem do que orientam tomadas de decisão clínica
de fisioterapeutas. É importante salientar que esses
problemas são também observados em outras profissões da área da saúde.
Uma solução que pode amenizar esses problemas seria o ranqueamento quanto à qualidade metodológica dos estudos relacionados à eficácia de intervenções em fisioterapia, e que esses resultados
estejam disponíveis em tempo real e sem custo para
toda a comunidade de fisioterapeutas. Felizmente,
essa solução já é disponível através da base de dados PEDro (Physiotherapy Evidence Database).
Cientes dessa necessidade, os autores deste estudo definiram como objetivo: uma exploração prática
14000
12000
10000
8000
6000
4000
2000
0
1930 1940 1950 1960 1970 1980 1990 2000 2010
Gráfico 1 - Frequência acumulada do número de estudos
controlados aleatorizados (ECAs), revisões sistemáticas (RS) e diretrizes de prática clínica em
fisioterapia por década
Quadro 1 - Definição dos tipos de estudos relevantes para avaliar a eficácia de intervenções
Tipo de estudo
Definição
Estudo controlado
aleatorizado (ECA)
São estudos longitudinais, de intervenção, controlados, em que os pacientes são distribuídos em dois ou
mais grupos de forma aleatória (os grupos controle podem ser um grupo que não recebe tratamento, que
recebe um tratamento placebo ou que recebe outro tipo de tratamento). Os ECAs são considerados como
padrão ouro dos estudos que têm como objetivo avaliar efeitos de intervenções terapêuticas.
Revisão sistemática
É um modo de executar revisões abrangentes da literatura de forma não tendenciosa. Reúne de forma organizada uma grande quantidade de resultados de ECAs. Uma revisão sistemática responde a uma pergunta
claramente formulada, utilizando métodos sistemáticos e explícitos para identificar, selecionar e avaliar
criticamente pesquisas relevantes, assim como coletar e analisar dados de estudos incluídos na revisão.
Os métodos estatísticos (meta-análise) podem ou não ser usados para analisar e sumarizar os resultados
dos estudos incluídos.
Diretriz de prática clínica
(Guidelines)
É um conjunto de recomendações para a prática clínica (prevenção, diagnóstico e tratamento). Cada uma
das recomendações deve estar embasada pela melhor evidência científica disponível, representando orientações para a prática baseada em evidências. As diretrizes devem tornar mais fáceis as decisões na prática
diária, devem ser concretas, precisas, aplicáveis em todo o território nacional, devem alertar para os riscos,
limitações, possíveis prejuízos e benefícios de sua aplicação. Podem ser consideradas como um caminho
que auxilia o profissional a separar as práticas desnecessárias das necessárias.
Fonte: Ministério da Educação (19).
18
525
526
Resultados
O que é a PEDro?
A PEDro é uma base de dados específica para estudos que investigam a eficácia de intervenções em
fisioterapia, podendo ser acessada gratuitamente por
meio do site <http://www.pedro.org.au>. Essa base
de dados foi criada em 1999, por um grupo de fisioterapeutas australianos do Centro de Fisioterapia
Baseada em Evidências da Universidade de Sydney,
com a missão de maximizar a eficácia dos serviços
de fisioterapia e facilitar a aplicação prática da melhor evidência existente, com o lema principal “a
fisioterapia eficaz deve ser centrada no paciente,
focado na prevenção, baseada na melhor evidência
existente e gerenciada de forma eficiente” (7).
Dois estudos apontam a PEDro como a base de
dados mais abrangente de estudos que testam a eficácia das intervenções fisioterapêuticas (8, 9). Esses
estudos compararam a abrangência de diversas bases de dados, entre elas, AMED, CENTRAL, CINAHL,
PubMed, Hooked on Evidence, Embase, PsycINFO
e a PEDro. Moseley e colaboradores (9) concluíram
que a PEDro e a CENTRAL (a base de dados de ECAs
da colaboração Cochrane) são as bases de dados
mais completas quanto à indexação de ECAs de fisioterapia. Em outro estudo, Michaleff e colaboradores (8) concluíram que as bases CENTRAL, PEDro,
PubMed e Embase são as mais abrangentes para
realizar as buscas de ECAs de intervenções fisioterapêuticas, destacando que, dessas quatro bases, a
PEDro é a única específica de estudos relacionados
à fisioterapia.
A PEDro é utilizada por fisioterapeutas em mais
de 80 países, com mais de 4.300 buscas realizadas
por dia pelo website, tendo fornecido no último ano
respostas para mais de 800.000 perguntas clínicas
(10). Dentre esses países, destacam-se a Austrália,
os Estados Unidos e o Brasil como os três que mais
acessam a base, respectivamente, sendo aproximadamente 10% de todos os acessos da base de dados
PEDro realizados por fisioterapeutas brasileiros.
Na PEDro estão indexados cerca de 19.000 estudos controlados aleatorizados, revisões sistemáticas e diretrizes da prática clínica em fisioterapia.
Quando possível, são colocados a disposição dos usuários o resumo e o link para o texto completo de cada
artigo. A razão disso é que nem sempre a PEDro recebe autorização dos editores dos periódicos cientíFisioter Mov. 2011 jul/set;24(3):523-33
19
ficos para publicar o resumo ou mesmo o link para
o texto completo. Todos os estudos controlados aleatorizados possuem sua qualidade metodológica e
descrição estatística avaliados por meio da escala de
qualidade PEDro (Quadro 2). Ao realizar uma busca,
esses estudos são ranqueados em ordem de importância metodológica para facilitar o acesso rápido à
evidência mais válida possível.
Para um ECA ser inserido na base de dados PEDro,
ele deve obedecer a cinco critérios:
1) o estudo deve comparar no mínimo duas intervenções terapêuticas;
2) pelo menos uma das intervenções que estão
sendo testadas pelo estudo deve fazer parte
do arsenal terapêutico dos fisioterapeutas;
3) as intervenções dos estudos devem ser aplicadas em seres humanos que representem a
população de pacientes que frequentemente
utilizam serviços de fisioterapia;
Quadro 2 - Escala de qualidade PEDro (versão em português)
Escala de qualidade PEDro – português (Brasil)
1. Os critérios de elegibilidade foram especificados.
2. Os sujeitos foram aleatoriamente distribuídos por grupos (em
um estudo cruzado, os sujeitos foram colocados em grupos,
de forma aleatória, de acordo com o tratamento recebido).
3. A alocação dos sujeitos foi secreta.
4. Inicialmente, os grupos eram semelhantes no que diz respeito aos indicadores de prognóstico mais importantes.
5. Todos os sujeitos participaram de forma cega no estudo.
6. Todos os terapeutas que administraram a terapia fizeram-no
de forma cega.
7. Todos os avaliadores que mediram pelo menos um resultado-chave fizeram-no de forma cega.
8. Mensurações de pelo menos um resultado-chave foram obtidas em mais de 85% dos sujeitos inicialmente distribuídos
pelos grupos.
9. Todos os sujeitos a partir dos quais se apresentaram mensurações de resultados receberam o tratamento ou a condição de controle conforme a alocação ou, quando não foi
esse o caso, fez-se a análise dos dados para pelo menos um
dos resultados-chave por “intenção de tratamento”.
10. Os resultados das comparações estatísticas intergrupos foram descritos para pelo menos um resultado-chave.
11. O estudo apresenta tanto medidas de precisão como medidas
de variabilidade para pelo menos um resultado-chave.
2) estar disponível publicamente;
3) a busca sistemática da literatura deve ser baseada em artigos publicados em revistas revisadas por pares ou ser baseada em uma revisão sistemática publicada nos quatro anos
anteriores à publicação da diretriz;
4) pelo menos um ECA relacionado com a fisioterapia deve estar incluído na diretriz;
5) a diretriz deve conter afirmações sistematicamente desenvolvidas, que incluem recomendações, estratégias e informações que auxiliem os
fisioterapeutas ou pacientes a tomar decisões;
6) pelo menos uma recomendação deve ser feita
para uma intervenção que faz parte do arsenal da fisioterapia ou que poderia se tornar
parte da prática fisioterapêutica.
4) a distribuição dos sujeitos nos grupos de tratamento e controle deve ser realizada de forma
aleatória ou com “intenção de ser aleatória”;
5) o estudo deve estar publicado em formato integral em revista revisada por pares.1 Após a
inclusão do estudo na base de dados PEDro,
este é avaliado quanto à sua qualidade metodológica e descrição estatística por meio da
escala de qualidade PEDro.
Para inserção de revisões sistemáticas, deve-se
obedecer a dois critérios:
1) ser uma revisão sistemática de ECAs; e
2) ter uma sessão de métodos e que pelo menos
um artigo da revisão satisfaça aos cinco critérios de inclusão de estudos controlados aleatorizados da base de dados PEDro (6).
Escala de qualidade PEDro
Para a inserção das diretrizes de prática clínica,
deve-se obedecer a seis critérios:
1) ter sido produzido sob o controle de uma associação especializada da área, sociedade profissional, organização pública ou privada, órgãos de governo, ou instituições de saúde em
geral. Se a diretriz de prática clínica foi desenvolvida por um indivíduo ou grupo de indivíduos não oficialmente apoiados por um dos
tipos de organizações citadas anteriormente,
essa não será incluída na PEDro;
A grande parte dos critérios da escala de qualidade PEDro baseia-se na escala Delphi, desenvolvida por Verhagen e colaboradores (11), do Departamento de Epidemiologia da Universidade de
Maastricht, Holanda, com exceção de dois critérios.
A escala baseia-se em um “consenso de especialistas” e não em dados empíricos (Quadro 3).
A escala de qualidade PEDro inclui dois critérios
adicionais que não constavam da escala Delphi: um
critério relativo ao número de pacientes avaliados
em cada período de acompanhamento (critério 8)
Quadro 3 - Indicações para a administração da escala PEDro
(Continua)
Todos os critérios
A pontuação só será atribuída quando um critério for claramente satisfeito. Se em uma leitura literal do relatório do
ensaio existir a possibilidade de um critério não ter sido satisfeito, ele não deve receber pontuação.
Critério 1
Esse critério pode considerar-se satisfeito quando o relatório descreve a origem dos sujeitos e a lista de requisitos
utilizados para determinar quais sujeitos eram elegíveis para participar do estudo.
Critério 2
Considera-se que em um determinado estudo houve alocação aleatória se o relatório referir que a alocação dos
sujeitos foi aleatória. O método de aleatoriedade não precisa ser explícito. Procedimentos tais como lançamento
de dados ou moeda ao ar podem ser considerados como alocação aleatória. Procedimentos de alocação quasealeatória, tais como os que se efetuam a partir do número de registro hospitalar, da data de nascimento, ou de
alternância, não satisfazem esse critério.
Critério 3
Alocação secreta significa que a pessoa que determinou a elegibilidade do sujeito para participar no ensaio desconhecia, quando a decisão foi tomada, o grupo a que o sujeito iria pertencer. Deve atribuir-se um ponto a esse
critério, mesmo que não se diga que a alocação foi secreta, quando o relatório refere que a alocação foi feita a partir
de envelopes opacos fechados ou que implicou o contato com o responsável pela alocação dos sujeitos por grupos
e esse último não participou do ensaio.
20
527
528
Quadro 3 - Indicações para a administração da escala PEDro
(Conclusão)
Critério 4
No mínimo, nos estudos de intervenções terapêuticas, o relatório deve descrever pelo menos uma medida da gravidade da condição a ser tratada e pelo menos uma (diferente) medida de resultado-chave que caracterize a linha de
base. O examinador deve assegurar-se de que, com base nas condições de prognóstico de início, não seja possível
prever diferenças clinicamente significativas dos resultados para os diversos grupos. Esse critério é atingido mesmo que somente sejam apresentados os dados iniciais do estudo.
Critérios 4, 7-11
Resultados-chave são resultados que fornecem o indicador primário da eficácia (ou falta de eficácia) da terapia. Na
maioria dos estudos, utilizam mais do que uma variável como medida de resultados.
Critérios 5-7
Ser cego para o estudo significa que a pessoa em questão (sujeito, terapeuta ou avaliador) não sabe qual o grupo
a que o sujeito pertence. Mais ainda, sujeitos e terapeutas só são considerados “cegos” se for possível esperar
que sejam incapazes de distinguir entre os tratamentos aplicados aos diferentes grupos. Nos ensaios em que os
resultados-chave são relatados pelo próprio (por exemplo, escala visual análoga, registro diário da dor), o avaliador
é considerado “cego” se o sujeito foi “cego”.
Critério 8
Esse critério só se considera satisfeito se o relatório referir explicitamente tanto o número de sujeitos inicialmente
alocados nos grupos como o número de sujeitos a partir dos quais se obtiveram medidas de resultados-chave. Nos
ensaios em que os resultados são medidos em diferentes momentos no tempo, um resultado-chave tem de ter sido
medido em mais de 85% dos sujeitos em algum desses momentos.
Critério 9
Uma análise de intenção de tratamento significa que, quando os sujeitos não receberam tratamento (ou a condição de
controle) conforme o grupo atribuído e quando se encontram disponíveis medidas de resultados, a análise foi efetuada
como se os sujeitos tivessem recebido o tratamento (ou a condição de controle) que lhes foi atribuído inicialmente.
Esse critério é satisfeito, mesmo que não seja referida a análise por intenção de tratamento, se o relatório referir explicitamente que todos os sujeitos receberam o tratamento ou condição de controle, conforme a alocação por grupos.
Critério 10
Uma comparação estatística intergrupos implica uma comparação estatística de um grupo com outro. Conforme
o desenho do estudo, isso pode implicar uma comparação de dois ou mais tratamentos ou a comparação do tratamento com a condição de controle. A análise pode ser uma simples comparação dos resultados medidos após
a administração do tratamento ou a comparação das alterações em um grupo em relação às alterações no outro
(quando se usa uma análise de variância para analisar os dados, essa última é frequentemente descrita como interação grupo versus tempo). A comparação pode apresentar-se sob a forma de hipóteses (por meio de um valor de
p, descrevendo a probabilidade dos grupos diferirem apenas por acaso) ou assumir a forma de uma estimativa (por
exemplo, a diferença média ou a diferença mediana, ou uma diferença nas proporções, ou um número necessário
para tratar, ou um risco relativo ou uma razão de risco) e respectivo intervalo de confiança.
Critério 11
Uma medida de precisão é uma medida da dimensão do efeito do tratamento. Já este pode ser descrito como uma
diferença nos resultados do grupo ou como o resultado em todos os (ou em cada um dos) grupos. Medidas de variabilidade incluem desvios-padrão (DPs), erros-padrão (EPs), intervalos de confiança, amplitudes interquartis (ou
outras amplitudes de quantis) e amplitudes de variação. As medidas de precisão e/ou as medidas de variabilidade
podem ser apresentadas graficamente (por exemplo, os DPs podem ser apresentados como barras de erro em uma
figura) desde que aquilo que é representado seja inequivocamente identificável (por exemplo, desde que fique claro
se as barras de erro representam DPs ou EPs). Quando os resultados são relativos a variáveis categóricas, considera-se que esse critério foi cumprido se o número de sujeitos em cada categoria é apresentado para cada grupo.
e um outro critério que avalia se houve comparação estatística entre grupos (critério 10). Apesar de
essa escala não avaliar a validade externa do estudo,
o critério relativo à elegibilidade dos participantes
(critério 1) foi mantido para que todos os critérios
da escala Delphi estejam representados na escala de
qualidade PEDro.
O objetivo da escala de qualidade PEDro é auxiliar
os usuários da base de dados PEDro quanto à qualiFisioter Mov. 2011 jul/set;24(3):523-33
21
dade metodológica dos ECAs (validade interna, critérios 2 a 9 da escala), bem como avaliar a descrição
estatística, isto é, se o estudo contém informações
estatísticas mínimas para que os resultados possam
ser interpretáveis (critérios 10 e 11 da escala). Não
são avaliadas a validade externa do estudo, generalização dos resultados, nem a magnitude do efeito
de tratamento (isto é, se os resultados são clinicamente relevantes ou não).
Os avaliadores da PEDro analisam somente o que
está reportado no manuscrito, quando há dúvida por
parte do avaliador na hora de pontuar o critério, ele
o classifica como “não”, obedecendo a recomendação
de escala de qualidade metodológica denominada:
“culpado até que se prove a inocência”. Por exemplo,
se um estudo reportar que é “duplo cego”, mas não
explicar quem foi cego, receberá a classificação de
“não” para todos os critérios relacionados ao cegamento de pacientes, terapeutas e avaliadores. A pontuação final da escala de qualidade PEDro é dada
por meio da soma do número de critérios que foram
classificados como satisfatórios entre os critérios 2
ao 11. O critério 1 não é considerado para a pontuação final por tratar-se de um item que avalia a validade externa do estudo. Cada ECA é avaliado por
dois avaliadores independentes e, no caso de discordância de avaliação de qualquer item em questão, um terceiro avaliador faz uma arbitragem final.
A pontuação final pode variar entre 0 e 10 pontos.
A escala de qualidade PEDro em inglês possui
propriedades de medida satisfatórias, apresentando
uma moderada confiabilidade entre examinadores.
A validade da escala já foi testada e confirmada em
dois estudos (12, 13). Esses dados confirmam que
ela é capaz de distinguir entre ECAs de boa qualidade e de má qualidade. As propriedades clinimétricas da escala de qualidade PEDro em português
estão sendo testadas pelo nosso grupo de pesquisa
e os resultados serão divulgados em breve (14).
Essa mesma escala não deverá ser usada para a
interpretação dos resultados de ECAs. Advertimos
aos usuários dessa escala que estudos que revelem
efeitos estatisticamente significativos do tratamento
e que obtenham pontuação elevada na escala PEDro
não fornecem necessariamente evidência de que o
tratamento seja clinicamente útil. Adicionalmente,
importa saber se o efeito do tratamento foi suficientemente eficaz para poder ser considerado clinicamente
relevante, se os efeitos positivos superam os negativos,
e aferir a relação de custo-benefício do tratamento.
Dois critérios da PEDro – o cegamento do terapeuta e do paciente – nem sempre são possíveis de
serem cumpridos durante a realização dos estudos.
Por exemplo, um estudo comparando duas intervenções para dor lombar, tendo um grupo de pacientes
recebido exercícios e o outro grupo recebido uma
cartilha de orientações. Nesse exemplo foi possível
que pacientes e terapeutas conseguissem distinguir
os dois tipos de tratamento oferecido. Portanto, a
pontuação máxima na escala PEDro que esse estudo
poderia receber seria de 8 pontos, pois os pontos relacionados ao cegamento de pacientes e terapeutas
sequer podem ser cumpridos e automaticamente recebem “não”. Outro exemplo seria um estudo comparando a eficácia de um equipamento de eletroterapia
com placebo, comparação do uso TENS convencional versus TENS em dose mínima. Nesse caso é possível cegar o paciente e o terapeuta, uma vez que estes
seriam incapazes de distinguir as duas intervenções,
pois não reconheceriam qual equipamento é o convencional e qual é o placebo. Dessa forma, esse artigo
pode receber a pontuação máxima na escala PEDro
de 10 pontos. Sendo assim, a escala não deve ser utilizada para comparar a “qualidade” de ECAs realizados em diferentes áreas de terapia, principalmente
porque em algumas áreas da prática da fisioterapia
não é possível satisfazer todos os itens da escala.
Indexações PEDro
A base de dados PEDro indexa estudos em diversas línguas e os 19.026 estudos que estão na base
atualmente foram publicados em 34 idiomas diferentes. Os idiomas mais comumente encontrados nos
artigos da base são: inglês (90%), mandarim (3%),
alemão (2%), holandês (1%), francês (1%) e português (0,6%). É importante ressaltar que a PEDro
é uma base de dados que somente indexa ECAs, revisões sistemáticas e diretrizes de prática clínica.
Qualquer outro tipo de delineamento, tais como estudos de caso-controle, estudos observacionais relacionados à fisiologia ou biomecânica, estudos de
caso único, estudos de coorte, estudos com indivíduos normais, experimentos com animais, revisões
narrativas, não são indexados na PEDro.
Apesar desses tipos de estudos serem extremamente relevantes para a fisioterapia, eles não são
os melhores para estabelecer se uma determinada
intervenção é eficaz ou não e, portanto, não fazem
parte dos estudos que são indexados na base de dados PEDro (2, 15).
Qualidade dos estudos controlados aleatorizados
Apesar do grande volume de ECAs na área da fisioterapia, a maior parte desses trabalhos são de
baixa qualidade, problema esse que se agrava quando
22
529
530
analisadas as publicações nacionais. Um estudo do
nosso grupo de pesquisa analisou 50 ECAs de fisioterapia publicadas em português por meio da escala
de qualidade PEDro, a pontuação média dos estudos
foi de 3,4 pontos (DP 1,4), de um total de 10 pontos
possíveis. Também observamos que 84% desses estudos apresentaram nota 4 ou inferior (14). Os valores encontrados nessas publicações nacionais apresentam-se inferiores à média mundial, que é de 5,2
pontos (DP 1,6) (1). Pode-se concluir que ainda há
uma necessidade de se melhorar a qualidade metodológica e as apresentações estatísticas dos ECAs
nacionais e internacionais.
Como fazer uma busca na PEDro?
Na base de dados PEDro é possível realizar a
busca de duas formas: busca simples ou busca avançada, estando atualmente as páginas do sistema de
busca em inglês. Ao acessar o website da PEDro e
clicar em “simple search” (busca simples – Figura 1),
aparecerá uma página com uma caixa de texto para
que sejam escritos os termos de busca sobre o tópico
Figura 1 - Página do site PEDro: busca simples
23
a ser pesquisado na PEDro, devendo ser digitados
os termos de busca em inglês. Quando forem colocados um ou mais termos, a PEDro realizará uma
busca dos artigos que contenham essas palavras,
lembrando que, se for colocado mais de um termo,
será buscado por artigos que contenham todas as
palavras inseridas.
Depois, ao clicar em “start search” (iniciar a pesquisa), aparecerá uma lista com todos os artigos
encontrados, ranqueados pela qualidade metodológica (primeiro as diretrizes, seguidas das revisões
sistemáticas e depois os ECAs ordenados pela escala
PEDro – Figura 2). Ao clicar sobre o título do artigo,
aparecerão os dados bibliométricos do artigo, assim
como os critérios da escala de qualidade PEDro que
foram satisfatórios (Figura 3). Um exemplo pode ser
visto nas Figuras 1 a 3, que apresentam o resultado
de uma busca por evidências do uso do ultrassom
no tratamento das epicondilites.
Para busca avançada é necessário clicar em “advanced search” (Figura 4). Aparecerá uma página
com 12 campos de busca, podendo qualquer um ser
utilizado para realizar a busca, não sendo necessário o preenchimento de todos os campos. Os campos
Figura 2 - Apresentação do resultado da busca
Figura 3 - Detalhes do resultado da busca
24
531
532
Figura 4 - Apresentação do resultado da busca
disponíveis para busca são: “abstract & title” (resumo
e título), “therapy” (terapia), “problem” (problema),
“body part” (parte do corpo), “subdiscipline” (área da
fisioterapia: ortopedia, neurologia, ginecologia, ergonomia e saúde ocupacional, entre outras), “method”
(tipo de estudo), “author/association” (autor ou associação), “title only” (somente no título), “source”
(fonte), “published since” (publicado desde), “new
recorded added since” (novos registros adicionados
desde), “score of at least” (pontuação mínima), “return” (número de artigos encontrados por página)
e “when searching – match all search terms” (AND)
(procurar utilizando todos os termos) “or match any
search terms (OR)” (procurar por qualquer termo).
As páginas de resultados são dispostas da mesma
forma apresentada no exemplo anterior (Figura 3).
Escolhas em fisioterapia
A base de dados Physiotherapy Choices (Escolhas
em Fisioterapia <http://www.physiotherapychoices.
org.au>) é uma versão da PEDro criada para o uso
25
dos consumidores dos serviços de fisioterapia, entre eles: pacientes, administradores de serviços de
saúde e seguradoras. Com linguagem simples e sem
termos técnicos, são fornecidas as melhores evidências científicas para a eficácia das intervenções fisioterapêuticas. O Brasil é líder no número de acessos
dessa versão para consumidores da PEDro, apesar
de o website estar disponível somente em inglês.
Website disponível em diversos idiomas
Com o objetivo de facilitar o acesso à base e minimizar a barreira do idioma, algumas partes do
website da base de dados PEDro estão disponíveis
em outros idiomas: mandarim (http://www.pedro.
org.au/chinese/), francês (http://www.pedro.org.
au/french/), português (http://www.pedro.org.au/
portuguese/) e em alemão (http://www.pedro.org.
au/german/), porém, para realizar a busca independente do idioma deve-se utilizar os termos de busca
em inglês, sendo os resultados também apresentados em inglês.
Conclusão
A prática da fisioterapia baseada em evidências é
fundamental para a valorização e o crescimento da
profissão, melhorando a qualidade dos atendimentos e a satisfação do paciente, reduzindo os custos
com o tratamento. Ser um profissional diferenciado
no mercado significa realizar condutas eficazes para
seus pacientes e, para isso, ter acesso à melhor evidência científica é extremamente necessário.
Com o número crescente de estudos na área da fisioterapia, a dificuldade em encontrar a melhor evidência é uma barreira a ser minimizada com o uso
da base de dados PEDro, que é a mais completa em
fisioterapia. A forma como os resultados das buscas
são mostrados pelo website proporciona um rápido
acesso às respostas das perguntas clínicas feitas
pelos fisioterapeutas usuários do sistema. A PEDro
também facilita o acesso à informação sobre a qualidade dos estudos aos pacientes e outros consumidores dos serviços de fisioterapia por meio de um
website especializado (Physiotherapy Choices), que
apresenta uma linguagem de fácil entendimento.
Referências
1.
Costa LO, Moseley AM, Sherrington C, Maher CG,
Herbert RD, Elkins MR. Core journals that publish
clinical trials of physical therapy interventions. Phys
Ther. 2010;90(11):1631-40.
2.
Herbert R, Jamtvedt G, Mead J, Hagen KB. Practical
evidence-based physiotherapyed. Edinburgh: Elsevier
Butterworth Heinemann; 2005.
3.
Colebrook D. Irradiation and health: an ultra-violet
irradiation of school children. Medical Research
Council Special Report Series. 1929;131:1-47.
4.
Kolind-Sorensen V. Lesions of the lateral ligament of
the ankle joint. Ugeskr Laeger. 1975;137(29):1637-8.
5.
Spitzer W. Scientific approach to the assessment and
management of activity-related spinal disorders.
Spine. 1987;12(7 Suppl):S1-59.
6.
Maher CG, Moseley AM, Sherrington C, Elkins MR,
Herbert RD. A description of the trials, reviews, and
practice guidelines indexed in the PEDro database.
Phys Ther. 2008;88(9):1068-77.
7.
Centro de Fisioterapia Baseada em Evidências (CEBP).
[acesso em 30 jan. 2011]. Disponível em: http://www.
pedro.org.au/portuguese/about-us/cebp/
8.
Michaleff ZA, Costa LOP, Moseley AM, Maher CG, Elkins
MR, Herbert RD, et al. CENTRAL, PEDro, PubMed, and
EMBASE are the most comprehensive databases indexing randomized controlled trials of physical therapy interventions. Phys Ther. 2011;91(2):190-7.
9.
Moseley AM, Sherrington C, Elkins MR, Herbert RD,
Maher CG. Indexing of randomised controlled trials of
physiotherapy interventions: a comparison of AMED,
CENTRAL, CINAHL, EMBASE, Hooked on Evidence,
PEDro, PsycINFO and PubMed. Physiotherapy. 2009;
95(3):151-6.
10. Sherrington C, Moseley AM, Herbert RD, Elkins MR,
Maher CG. Ten years of evidence to guide physiotherapy interventions: Physiotherapy Evidence Database
(PEDro). Br J Sports Med. 2010;44(12):836-7.
11. Verhagen AP, de Vet HC, de Bie RA, Kessels AG, Boers
M, Bouter LM, et al. The Delphi list: a criteria list for
quality assessment of randomized clinical trials for
conducting systematic reviews developed by Delphi
consensus. J Clin Epidemiol. 1998;51(12):1235-41.
12. de Morton NA. The PEDro scale is a valid measure of
the methodological quality of clinical trials: a demographic study. Aust J Physiother. 2009;55(2):129-33.
13. Macedo LG, Elkins MR, Maher CG, Moseley AM,
Herbert RD, Sherrington C. There was evidence of
convergent and construct validity of Physiotherapy
Evidence Database quality scale for physiotherapy
trials. J Clin Epidemiol. 2010;63(8):920-5.
14. Shiwa SR, Costa LO. Reprodutibilidade da Escala de
Qualidade PEDro. Dissertação [dissertação]. São Paulo:
Universidade Cidade de Sao Paulo; 2011.
15. Sherrington C, Herbert RD, Maher CG, Moseley AM.
PEDro. A database of randomized trials and systematic
reviews in physiotherapy. Man Ther. 2000;5(4):223-6.
Recebido: 03/01/2011
Received: 01/03/2011
Aprovado: 10/05/2011
Approved: 05/10/2011
26
533
CAPÍTULO 3
REPRODUCIBILITY OF THE PORTUGUESE
VERSION OF THE PEDro SCALE
27
REPRODUCIBILITY OF THE PORTUGUESE VERSION OF THE PEDro SCALE
Reprodutibilidade da Escala de Qualidade PEDro em português
Silvia Regina Shiwa1*, Luciola da Cunha Menezes Costa2, Anne Moseley2, Alexandre Dias
Lopes1, Cintia Regina Ruggero1, Tatiana de Oliveira Sato3, Roberta Ceila Venâncio1, Luiz
Carlos Hespanhol Junior1, Leonardo Oliveira Pena Costa1,2
1
Programa de Mestrado em Fisioterapia, Universidade Cidade de São Paulo, São Paulo,
Brasil
2
3
Centre for Evidence-Based Physiotherapy, The George Institute for Global Health, Australia
Programa de Pós Graduação em Fisioterapia (PPG-Ft), Universidade Federal de São Carlos
– UFSCar, Brasil
*Corresponding author
Rua Cesário Galeno, 448/475 – São Paulo, SP – CEP: 03071-000, [email protected]
Running title: Reproducibility of the Portuguese PEDro scale / Reprodutibilidade da Escala de
Qualidade PEDro em português
28
RESUMO
Contextualização: O uso da base de dados PEDro por fisioterapeutas brasileiros pode ser
limitado devido às restrições do idioma, além disso os resultados das buscas no site da PEDro
estão disponíveis somente em inglês. A versão na língua portuguesa da Escala de Qualidade
PEDro foi desenvolvida para amenizar esta barreira de idioma, mas as suas propriedades
clinimétricas ainda não foram investigadas.
Objetivos: Testar a reprodutibilidade (confiabilidade com a versão em inglês da Escala de
Qualidade PEDro e confiabilidade/concordância) da versão em língua portuguesa da Escala
de Qualidade PEDro.
Métodos: Sete fisioterapeutas brasileiros avaliaram a qualidade metodológica de 50 Estudos
Controlados Aleatorizados em português que estavam previamente indexados na base de
dados PEDro. Cada artigo foi avaliado por duas equipes de avaliadores (dois avaliadores
independentes mais um terceiro quando não houve consenso entre os dois avaliadores) para
gerar duas pontuações de consenso. Cada artigo já possuía sua respectiva avaliação na base de
dados PEDro que geralmente é feita por um avaliador PEDro bilíngüe utilizando a versão em
inglês da Escala de Qualidade PEDro. A confiabilidade e concordância (tanto para os itens
individuais quanto para pontuação total da Escala de Qualidade PEDro) foram calculados para
comparar as duas pontuações de consenso. Foi também calculada a confiabilidade da primeira
pontuação total de consenso com a pontuação total da avaliação utilizando a escala em inglês.
Resultados: A confiabilidade da versão da escala em português foi classificada como boa,
com coeficientes Kappa variando entre 0,53 a 1,00 para itens individuais e um coeficiente de
correlação intraclasse de 0,82 (IC 95% 0,70 a 0,89) para a pontuação total. O Erro Padrão de
Medida da escala PEDro em português foi de 0,58 ponto. A versão em português da escala foi
29
comparada com a versão em inglês e foi observado um coeficiente de correlação intraclasse
de 0,78 (IC 95% 0,67 a 0,86).
Conclusões: A reprodutibilidade da versão em língua portuguesa da Escala de Qualidade
PEDro foi adequada e similar à versão em inglês. Avaliações de ECAs utilizando a escala
PEDro em português foram semelhantes àquelas que utilizaram a escala original em inglês.
Palavras-chave: prática clínica baseada em evidências, estudos clínicos, reprodutibilidade
30
ABSTRACT
Background: The use of the Physiotherapy Evidence Database (PEDro) by Brazilian physical
therapists might be limited due to language restrictions as search results are only available in
English. A Portuguese version of the PEDro scale has been developed to start addressing this
language barrier, but the measurement properties of the Portuguese PEDro scale have not
been investigated.
Objectives: To test the inter-rater reproducibility of the Portuguese version of the PEDro
scale and evaluate parallel forms reproducibility by comparing ratings made with the
Portuguese version of the PEDro scale to those made with the English version of the PEDro
scale on the same set of trials.
Methods: Seven Brazilian physical therapists rated the methodological quality of 50
Portuguese-language reports of randomized controlled trials indexed on the PEDro database
with the Portuguese version of the PEDro scale. Each report was rated by two teams of raters
(two independent raters plus arbitration by a third rater, if necessary) to generate two sets of
consensus ratings. Each report also had existing ratings on the PEDro database generated by
bilingual PEDro raters using the English version of the PEDro scale. Reproducibility
(individual PEDro scale items and total PEDro score) was evaluated by comparing the two
sets of Portuguese consensus ratings. Parallel forms reproducibility was also evaluated by
comparing the total PEDro score from the first set of Portuguese consensus ratings with
ratings generated using the English version of the PEDro scale.
Results: The inter-rater reproducibility of the Portuguese version of the PEDro scale was
good, with Kappa coefficients ranging from 0.53 to 1.00 for individual scale items and an
Intraclass Correlation Coefficient of 0.82 (95% CI 0.70 to 0.89) for the total PEDro score. The
standard error of the measurement of the Portuguese PEDro scale was 0.58 points. The
31
Portuguese version of the PEDro scale was comparable with the English version, with an
Intraclass Correlation Coefficient of 0.78 (95% CI 0.67 to 0.86) supporting the parallel forms
reproducibility of the PEDro scale.
Conclusions: The inter-rater reproducibility of the Portuguese PEDro scale is adequate and
similar to the original English version. There is evidence for parallel forms reproducibility
with ratings generated with the Portuguese version of the PEDro scale being comparable to
ratings with the English version; suggesting that the scales can be used interchangeably.
Key words: evidence-based practice, clinical trials, reproducibility
32
INTRODUCTION
The Physiotherapy Evidence Database (PEDro; http://www.pedro.org.au) is a free
database that indexes randomized controlled trials, systematic reviews and clinical practice
guidelines in physical therapy1. PEDro is considered one of the most comprehensive
databases indexing reports of randomized controlled trials investigating the effects of physical
therapy interventions2, 3. To be eligible for PEDro a trial must satisfy five criteria: 1) the study
must compare at least two interventions, 2) at least one of the interventions evaluated must be
used in physical therapy practice, 3) the interventions evaluated must be applied to
participants who are representative of physical therapy practice, 4) the allocation of
participants to the interventions must be random or “intended to be random” and 5) the study
should be published in full text format in a peer reviewed journal4.
All trials indexed on PEDro are evaluated for methodological quality and statistical
reporting using the 11-item PEDro scale1, 5. The items are: 1) eligibility criteria and source
specified; 2) random allocation; 3) concealed allocation; 4) baseline comparability; blinding
of 5) subjects; 6) therapists and 7) assessors; 8) more than 85% follow-up; 9) intention-totreat analysis; 10) reporting of between-group statistical comparisons; and 11) reporting of
point measures and measures of variability. The last 10 items are used to calculate the total
PEDro score (the first item is not used as it is related to external validity, rather than
methodological quality and statistical reporting), which is calculated by summing the number
of items met. The total PEDro score ranges from 0 to 10, with a higher score indicating a
higher quality study. Each trial indexed on PEDro is evaluated by two independent raters and,
if necessary, arbitration is performed by a third rater. Reports of trials written in languages
other than English are evaluated by bilingual raters using the English version of the PEDro
scale. The English PEDro scale has moderate reliability, with Kappa values for individual
PEDro scale items ranging between 0.50 and 0.79 and an Intraclass Correlation Coefficient
33
for the total PEDro score of 0.68 for consensus ratings generated by groups of two or three
raters5. Two recent studies have confirmed the validity of the scale6, 7.
More than 4,300 searches of the PEDro database are performed every day by physical
therapists worldwide, and Brazil is currently the third biggest user of PEDro with 10% of all
searches (the first and second most frequent users are Australia and the USA, respectively)8.
Portuguese-speaking countries (Brazil, Portugal, Angola and others) account for about 15% of
PEDro searches. Due to the increasing use by non-English speaking countries, the PEDro
website is being translated into languages other than English (to date the website has been
translated into French, German, Chinese and Portuguese). However, the PEDro search and
results pages, including the PEDro scale scores, are only available in English. As only a low
proportion of the Brazilian population is able to fully understand English text, this language
restriction of the PEDro search function is likely to limit the use of PEDro by Brazilian (and
other Portuguese-speaking) people.
As a first step to make the PEDro search function more accessible to Portuguesespeaking physical therapists, the PEDro scale has been translated and cross-culturally adapted
into Portuguese by a research group from the Technical University of Lisbon (Portugal)9. This
translation and cross-cultural adaptation was performed to international standards10, involving
the following steps.
1) forward translation: one bilingual Portuguese native-speaker translated the PEDro scale
from English to Portuguese.
2) synthesis and forward translation using a web-based Delphi consensus process. The Delphi
process involved a panel of six experts who evaluated and criticized the first translation. The
evaluation was performed using a likert scale ranging from 1 “do not agree with the
translation” to 5 “totally agree with the translation”. This process had to be consensual (5 or
34
more experts’ ratings of 5 points). Four rounds were needed until all experts reached
consensus about semantic equivalency. The Delphi process produced the second version of
the forward translation.
3) Back translation of the synthesized forward translation. A new independent translator (a
bilingual English native speaker), who was blind to the original version, translated the scale
back to English.
4) Back translation review and report: the back translated version was compared with the
original English version of the PEDro scale and all discrepancies were discussed with the
authors of the PEDro scale.
5) Pre-test cognitive debriefing: the investigators tested the second Portuguese version of the
PEDro scale on a group of 30 physical therapists in order to test alternative wording and to
check the understanding, interpretation, and cultural relevance of the translation. The
physiotherapists were asked firstly to rate three randomized controlled trials and then rate the
comprehension of the Portuguese PEDro scale using a likert scale ranging from 1 “unclear” to
5 “clear”.
6) Review of cognitive debriefing results: a comparison of the participants’ interpretations of
the second version was performed to highlight and amend possible discrepancies, and to
compose the third and final version of the Portuguese PEDro scale.
7) Proof reading: the investigators performed a final review of the translation to highlight and
correct any typographic, grammatical or other possible mistakes. This round developed the
final adapted version of the Portuguese version of the PEDro scale.
A few adjustments in the Portuguese (Portugal) version of the PEDro scale were
performed in order to adapt the Portuguese version into Brazilian Portuguese; all adjustments
35
were related to the orthographical differences between the Portuguese versions, no semantic
or grammatical modifications were necessary. The Brazilian Portuguese adjustments have
been incorporated into the Portuguese (Brazil) version of the PEDro scale (Table 1) as well as
into the instructions of management of PEDro scale (Appendix 1). The measurement
properties of the Portuguese translation of the PEDro scale have not been evaluated.
Table 1: PEDro scale (Portuguese version)
Reproduced from http://www.pedro.org.au/portuguese/downloads/pedro-scale/, with
permission
Escala de Qualidade PEDro – Português (Brasil)
___________________________________________________________________________
___
1. Os critérios de elegibilidade foram especificados
2. Os sujeitos foram aleatoriamente distribuídos por grupos (num estudo cruzado, os sujeitos
foram colocados em grupos de forma aleatória de acordo com o tratamento recebido)
3. A alocação dos sujeitos foi secreta
4. Inicialmente, os grupos eram semelhantes no que diz respeito aos indicadores de
prognóstico mais importantes
5. Todos os sujeitos participaram de forma cega no estudo
6. Todos os terapeutas que administraram a terapia fizeram-no de forma cega
7. Todos os avaliadores que mediram pelo menos um resultado-chave, fizeram-no de forma
cega
8. Mensurações de pelo menos um resultado-chave foram obtidas em mais de 85% dos
sujeitos inicialmente distribuídos pelos grupos
9. Todos os sujeitos a partir dos quais se apresentaram mensurações de resultados receberam
o tratamento ou a condição de controle conforme a alocação ou, quando não foi esse o
caso, fez-se a análise dos dados para pelo menos um dos resultados-chave por “intenção
de tratamento”
36
10. Os resultados das comparações estatísticas inter-grupos foram descritos para pelo menos
um resultado-chave
11. O estudo apresenta tanto medidas de precisão como medidas de variabilidade para pelo
menos um resultado-chave
The objective of this study is to test the inter-rater reproducibility, and parallel forms
reproducibility, of the Portuguese (Brazil) version of the PEDro scale. Therefore the aims of
this study were:
1.
To test the inter-rater reproducibility of the Portuguese (Brazil) version of the
PEDro scale.
2.
To test the parallel forms reproducibility (compared to the original English
language version) of the Portuguese (Brazil) PEDro scale.
METHODS
Participants
Seven independent raters participated in this study. All raters were Brazilian physical
therapists with 2 to 13 years of clinical, teaching or research practice after their entry level
physical therapy qualification. Two had completed doctoral degrees in physical therapy, and
all were working in Brazilian universities. The raters were trained to evaluate the
methodology quality and statistical reporting of reports of randomized controlled trials using
the Portuguese (Brazil) version of the PEDro scale through the online PEDro scale training
program – Portuguese version. After this training, each therapist passed an accuracy test to
confirm that they were applying the scale in a similar way to other raters. The accuracy test
involved rating five Portuguese-language reports of randomized controlled trials, the “pass”
37
cut-off for the test was making five or less errors (from a total of 55 items being evaluated)
compared to criterion ratings.
Procedures
Fifty Portuguese-language reports of randomized controlled trials were used in this
evaluation. The citation details (author, title, journal, year) and PEDro ratings (11 individual
PEDro scale items and the total PEDro score) for all Portuguese-language trials indexed on
the PEDro database were downloaded on 2 August 2010. Reports were excluded from this list
if 1) they were used in the PEDro scale training program – Portuguese version and the
Portuguese version of the PEDro scale accuracy test, or 2) did not have complete consensus
ratings (i.e., two independent assessors, with arbitration by a third assessor if required)
generated using the English version of the PEDro scale. Fifty Portuguese-language trials met
these criteria. One of the selected trials was published in the 1980s, seven in the 1990s, 40
were published between 2000 and 2009, and two were published in 2010. Thirteen trials were
coded as relevant to the musculoskeletal subdiscipline, thirteen to cardiothoracics, eight as
continence and women’s health, five as neurology, three as gerontology, two as sports, two as
paediatrics, one as orthopaedics, one as ergonomics and occupational health, and the “no
appropriate category” was assigned to two trials.
Two sets of consensus ratings (individual items and total PEDro score) were generated
using the Portuguese (Brazil) version of the PEDro scale by the Brazilian raters (see Figure
1). Each trial was independently assessed by two raters, with arbitration by a third rater if
necessary, to produce the first set of Portuguese (Brazil) PEDro scale consensus ratings. This
process was then repeated using three different raters to produce the second set of Portuguese
(Brazil) PEDro scale consensus ratings.
38
7 physical therapists
PEDro scale training program – Portuguese version
Passed the Portuguese accuracy test
Data collection
N=50 Portuguese-language trials
with English PEDro scale consensus ratings
Parallel forms
Reproducibility
Portuguese PEDro scale
consensus ratings #1
Portuguese (Brazil) PEDro
scale consensus ratings #2
(two independent raters,
with arbitration by a third
rater if necessary)
(two independent raters,
with arbitration by a third
rater if necessary)
Inter-rater
reproducibility
Figure 1: Flow chart of the study procedures
39
Based on recommendations for establishing the measurement properties of health
status questionnaires11, 12, reproducibility (that is, the degree which repeated measurements in
stable conditions provide similar answers) of the Portuguese (Brazil) PEDro scale was
evaluated. Both reliability (“the degree which evaluations could be distinguished from each
other, despite measurement error” 11 page 36) and agreement (“how close repeated measures
are, expressed in the unit of the scale being tested”11 page 36) were investigated. The two sets
of Portuguese (Brazil) PEDro scale consensus ratings were compared to evaluate test-retest
reproducibility. The first set of Portuguese (Brazil) PEDro scale consensus ratings was
compared to the English PEDro scale consensus ratings to evaluate parallel forms
reproducibility; we also performed a sensitivity analysis using the second set of the
Portuguese (Brazil) PEDro scale comparing with the English PEDro scale.
Statistical analysis
The mean, standard deviation and frequency distribution of the total PEDro scores
were calculated to describe the overall quality of the 50 Portuguese-language reports of
randomized controlled trials. These were calculated separately for the total PEDro score
generated using the English version of the scale and for the two sets of total PEDro scores
generated using the Portuguese (Brazil) PEDro scale. In addition, the proportion of reports
scoring a “yes” (i.e., base rate) for each item on the PEDro scale was calculated for ratings
from the English version of the scale and for the two sets of ratings generated using the
Portuguese (Brazil) PEDro scale.
Test-retest reproducibility of the Portuguese (Brazil) version of the PEDro scale was
evaluated using three methods. First, Kappa coefficients (K) and 95% confidence intervals
were calculated for of each individual item of the PEDro scale. Second, an Intraclass
Correlation Coefficient type 1,1 (ICC
1,1)
and 95% confidence intervals of the Intraclass
Correlation Coefficient were calculated for the total PEDro score. Third, the standard error of
40
the measurement (SEM) was calculated by dividing the standard deviation of the difference in
the total PEDro scores by the square root of two11. The parallel forms reproducibility of the
Portuguese (compared to the English) version of the PEDro scale was determined by
calculating the Intraclass Correlation Coefficient type 1,1 for the total PEDro score.
The benchmarks for the interpretation of Kappa coefficients used in this study were
suggested by Landis and Koch13, 0.81 or more were considered as almost perfect reliability,
0.61 to 0.80 as substantial, 0.41 to 0.60 as moderate, 0.21 to 0.40 as poor, and 0.00 to 0.20 as
very poor. We have adopted the benchmarks suggested by Fleiss14 for the interpretation of the
Intraclass Correlation Coefficients, in which 0.75 or larger were classified as excellent
reliability, 0.40 to 0.75 as good, and lower than 0.40 as poor. To interpret the standard error of
the measurement we converted the standard error of the measurement into a percentage of the
total score of the scale (i.e., 10) as suggested by Ostelo et al15. These percentage values were
interpreted as: ≤ 5% or less very good; more than 5% but 10% or less as good; more than 10%
but 20% or less as doubtful, and more than 20% as negative15.
RESULTS
The mean total PEDro score for the 50 Portuguese-language reports of trials evaluated
was 3.3 (English PEDro scale) to 3.5 (Portuguese (Brazil) PEDro scale set 2) out of 10
(standard deviation ~1.4), with a range of 1 to 7 points (see Table 2). The mean, standard
deviation and frequency distributions were similar for each of the sets of total PEDro scores
generated in this study. Interestingly, over three-quarters of the reports scored 4 out of 10 or
less, indicating that the majority of the reports were of low methodological quality. The
proportion of reports scoring “yes” was 10% or less for five PEDro scale items (see Table 3):
blinding of therapists (0%), intention-to-treat analysis (0-4%), blinding of subjects (4%),
41
concealed allocation (8-12%), and blinding of assessors (10-14%). No PEDro scale items had
very high (i.e., 90% or more) proportions of reports scoring “yes”.
Table 2. Frequency distribution of the total PEDro score for the 50 Portuguese-language
reports of randomized controlled trials evaluated in this study using the Portuguese (Brazil)
and English versions of the PEDro scale.
Total PEDro
English PEDro
Portuguese PEDro
Portuguese PEDro
score (/10)
scale [number
scale set 1
scale set 2
(%)]
[number (%)]
[number (%)]
0
1 (2%)
0 (0%)
0 (0%)
1
5 (10%)
5 (10%)
4 (8%)
2
6 (12%)
9 (18%)
9 (18%)
3
16 (32%)
10 (20%)
8 (16%)
4
13 (26%)
18 (36%)
18 (36%)
5
6 (12%)
5 (10%)
8 (16%)
6
2 (4%)
2 (4%)
1 (2%)
7
1 (2%)
1 (2%)
1 (2%)
8
0 (0%)
0 (0%)
0 (0%)
9
0 (0%)
0 (0%)
0 (0%)
42
10
0 (0%)
0 (0%)
0 (0%)
Mean (SD)
3.3 (1.4)
3.4 (1.4)
3.5 (1.3)
There was “moderate” to “almost perfect” test-retest reproducibility for the individual
PEDro scale items assessed using the Portuguese (Brazil) version of the PEDro scale (see
Table 3). Based on the classification suggested by Landis and Koch13, three items (random
allocation, blinding of subjects, and blinding of therapists) had Kappa values of more than
0.80 and were classified as having “almost perfect” reliability. Five items had Kappa values
ranging between 0.61 and 0.80 (concealed allocation, blinding of assessors, intention-to-treat
analysis, reporting of between-group statistical comparisons, and reporting of point measures
and measures of variability) and were classified as having “substantial” reliability. Three
items (eligibility criteria and source specified, baseline comparisons, and more than 85%
follow-up) were classified as “moderate” reliability (i.e., Kappa between 0.41 and 0.60). In
contrast, the test-retest reliability established for the English version of the PEDro scale had
three items in the “moderate” range (baseline comparability, intention-to-treat analysis, and
reporting of point measures and measures of variability) and eight items in the “substantial”
range5.
43
Table 3. Kappa coefficients and proportion of reports with a yes response (base rate) for each of the individual PEDro scale items for ratings
generated using the Portuguese (Brazil) and English versions of the PEDro scale.
PEDro scale items
Kappa (95% CI) (k)
Kappa (k)
Base-rate
Portuguese
English5#
Portuguese 1
Portuguese 2
English
1. Eligibility criteria and source specified
0.57 (0.32 to 0.82)
0.63
80%
72%
72%
2. Random allocation
0.91 (0.73 to 1.00)*
0.79
86%
88%
84%
3. Concealed allocation
0.73 (0.38 to 1.00)*
0.70
8%
8%
12%
4. Baseline comparability
0.60 (0.38 to 0.82)
0.50
50%
66%
42%
5. Blinding of subjects
1.00 (1.00 to 1.00)
0.70
4%
4%
4%
6. Blinding of therapists
1.00 (1.00 to 1.00)
0.79
0%
0%
0%
7. Blinding of assessors
0.78 (0.49 to 1.00)*
0.79
10%
10%
14%
8. More than 85% follow-up
0.53 (0.29 to 0.77)
0.67
36%
38%
36%
9. Intention-to-treat analysis
0.66 (0.03 to 1.00)*
0.57
2%
4%
0%
10. Reporting of between-groups statistical comparisons
0.66 (0.44 to 0.88)
0.68
64%
60%
68%
11. Reporting of point measures and measures of variability
0.74 (0.52 to 0.96)
0.54
78%
72%
72%
# the original study did not provide 95% confidence intervals
* 95% confidence intervals are asymmetric because the upper bounds of these estimates were outside the range of the scale, in these cases we
changed them to 1.00.
44
The test-retest reproducibility of the total PEDro score generated using the Portuguese
(Brazil) version of the PEDro scale was classified as “excellent”, with an Intraclass Correlation
Coefficient of 0.82 (95% CI 0.70 to 0.89). This exceeds the value of 0.68 (95% CI 0.57 to 0.76)
established for the English version of the PEDro scale5.
The standard error of the measurement was 0.58 points (or 5.8%) for the total PEDro
score generated with the Portuguese (Brazil) version of the PEDro scale. This is classified as
“good” agreement15.
There was “excellent” parallel forms reproducibility between the Portuguese and English
versions of the PEDro scale. The Intraclass Correlation Coefficient for the English version
compared to Portuguese set one was 0.78 (95% CI 0.67 to 0.86). The sensitivity analysis using
the second set of Portuguese ratings yielded very similar results with an Intraclass Correlation
Coefficient of 0.75 (95% CI 0.59 to 0.85).
DISCUSSION
The PEDro scale evaluates the methodological quality and statistical reporting of reports
of randomized controlled trials of physical therapy interventions1. The aim of this study was to
establish the reproducibility of the new Portuguese (Brazil) version of the PEDro scale. We
observed that the Portuguese (Brazil) PEDro scale had good reproducibility, with Kappa
coefficients ranging from 0.53 and 1.00 for individual scale items and an Intraclass Correlation
Coefficient of 0.82 and a standard error of measurement of 0.58 points for the total PEDro score.
There was excellent parallel forms reproducibility between the Portuguese and English versions
of the PEDro scale, with an Intraclass Correlation Coefficient of 0.78. As only orthographical
differences between the Portuguese (Portugal) version of the PEDro scale to create the Brazilian
Portuguese version, these reproducibility estimates can be generalised to both the Portuguese
(Portugal) and Portuguese (Brazil) versions of the PEDro scale.
45
The reliability estimates of individual items of the Portuguese version of the PEDro scale
were found to be very similar to the estimates obtained by a previous study that tested the
reliability of the English version of the PEDro scale5. While Kappa coefficients from the original
English version ranged from “moderate” to “substantial” (0.50 to 0.79), the Kappa coefficients
obtained in our study ranged from “moderate” to “almost perfect” (0.53 to 1.00) (Table 3).
Although the Kappa estimates were slightly higher in favour of the Portuguese scale, caution
must be taken when interpreting this comparison. The reliability study of the English version of
the PEDro scale5 recruited six raters who evaluated 120 English-language reports of randomized
controlled trials while our study recruited 7 raters who evaluated 50 Portuguese-language reports
of randomized controlled trials. Therefore although a comparison is interesting, a direct
comparison of the results of these studies is not completely straightforward.
Five items on the PEDro scale had a very low base rate (i.e., proportion of trials scoring a
“yes” for the item) in our evaluation of the Portuguese PEDro scale (blinding of therapists,
intention-to-treat analysis, blinding of subjects, concealed allocation, and blinding of assessors).
The reason for the low prevalence of blinding was that all reports selected for our study compared
two active complex interventions. This makes blinding of both subjects and therapists difficult to
achieve, so only two reports appear to have blinded the subjects and no reports have blinded the
therapists. This difficulty of blinding may have accounted for the extremely high Kappa
coefficients for these items.
The reliability estimates for the total PEDro score were similar for the English PEDro
scale (Intraclass Correlation Coefficient 0.68)5 and the Portuguese version (0.82), and can be
classified as “good” and “excellent”, respectively. The standard error of the measurement for the
Portuguese PEDro scale was 0.58 points (or 5.8%), which reflects low absolute measurement
error. The “excellent” parallel form of reproducibility between the Portuguese and English
46
versions of the PEDro scale (Intraclass Correlation Coefficient = 0.78) would suggest that either
version of the scale can be used to generate PEDro ratings.
We have only tested the measurement property of reproducibility (reliability and
agreement) for this study as other types of clinimetric properties would not be applicable for a
methodological scale such as the PEDro scale. For example, the measurement property of
responsiveness is not relevant to the evaluation of the PEDro scale as the PEDro scale is not
intended to measure change over time like scales which measure patient symptoms or physical
performance. It would be valuable to evaluate the validity of the Portuguese version of the PEDro
scale. In order to test the construct validity, however, comparison with another scale which
measures the same construct would be necessary. At the time of publication, the authors are
unaware of the existence of a methodological scale (e.g., the Jadad16 or van Tulder17 scales)
which have been translated into Portuguese and could therefore be used to evaluate the validity of
the Portuguese version of the PEDro scale. The validity of the English version of the PEDro scale
has been established6,7, and can be assumed to be similar for the Portuguese version of the PEDro
scale.
An important incidental finding of this study was the low methodological quality and the
poor statistical reporting of the evaluated reports. The mean total PEDro score of the Portugueselanguage reports evaluated in our study was ~3.4 points, which was lower than the mean total
PEDro score of 5.2 points in a recent study describing the quality of 3120 predominantly Englishlanguage reports of randomized controlled trials published in the core physical therapy journals18.
Perhaps a review of journal editorial policies along with training for authors and reviewers are
required to bridge this gap in the reporting of randomized controlled trials in Portuguese.
In conclusion, the scores obtained using the Portuguese version of the PEDro scale are
similar to the ones obtained using the original English version. The Portuguese version of the
PEDro scale has good reproducibility for both individual items and for the total PEDro score. It is
47
now possible for Portuguese speakers to use the Portuguese version of the PEDro scale to
critically appraise the methodological quality and statistical reporting of reports of randomized
controlled trials.
REFERENCES
1.
Sherrington C, Herbert RD, Maher CG, Moseley AM. PEDro. A database of randomized
trials and systematic reviews in physiotherapy. Man Ther. 2000;5(4):223-6.
2.
3.
randomised controlled trials of physiotherapy interventions: a comparison of AMED, CENTRAL,
CINAHL, EMBASE, Hooked on Evidence, PEDro, PsycINFO and PubMed. Physiother
2009;95(3):151-6.
4.
2008;88(9):1068-77.
5.
Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the PEDro
scale for rating quality of randomized controlled trials. Phys Ther. 2003;83(8):713-21.
6.
de Morton NA. The PEDro scale is a valid measure of the methodological quality of
clinical trials: a demographic study. Aust J Physiother. 2009;55(2):129-33.
7.
Macedo LG, Elkins MR, Maher CG, Moseley AM, Herbert RD, Sherrington C. There was
evidence of convergent and construct validity of Physiotherapy Evidence Database quality scale
for physiotherapy trials. J Clin Epidemiol. 2010;63(8):920-5.
48
8.
Moseley AM. PEDro statistics (personal communication). In: Shiwa S, Costa LO, editors.
São Paulo; 2010. p. 1-2.
9.
Lisbon; 2011.
10.
Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-
cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91.
11.
Terwee CB, Bot SDM, Boer MR, van der Windta DAWM, Knola DL, Dekkera J, et al.
Quality criteria were proposed for measurement properties of health status questionnaires. J Clin
Epidemiol. 2007;60(1):34-42.
12.
de Vet HCW, Terwee CB, Knol DL, Bouter LM. When to use agreement versus reliability
measures. J Clin Epidemiol. 2006;59(10):1033-9.
13.
Landis JR, Koch GG. The measurement of observer agreement for categorical data.
Biometrics. 1977;33(1):159-74.
14.
Fleiss JL. The design and analysis of clinical experiments. New York, NY: John Wiley &
Sons; 1986.
15.
Ostelo RW, de Vet HC, Knol DL, van den Brandt PA. 24-item Roland-Morris Disability
Questionnaire was preferred out of six functional status questionnaires for post-lumbar disc
surgery. J Clin Epidemiol. 2004;57(3):268-76.
16.
Moher D, Jadad AR, Tugwell P. Assessing the quality of randomized controlled trials.
Current issues and future directions. Int J Technol Assess Health Care. 1996;12(2):195-208.
17.
van Tulder MW, Assendelft WJ, Koes BW, Bouter LM. Method guidelines for systematic
reviews in the Cochrane Collaboration Back Review Group for Spinal Disorders. Spine
1997;22(20):2323-30.
18.
Costa LO, Moseley AM, Sherrington C, Maher CG, Herbert RD, Elkins MR. Core
journals that publish clinical trials of physical therapy interventions. Phys Ther.
2010;90(11):1631-40.
49
Appendix 1: Instructions of management of PEDro scale / Instruções para a administração
da Escala de Qualidade PEDro:
Todos os
A pontuação só será atribuída quando um critério for claramente satisfeito. Se
critérios
numa leitura literal do relatório do ensaio existir a possibilidade de um critério não ter
sido satisfeito, esse critério não deve receber pontuação.
Critério 1
Este critério pode considerar-se satisfeito quando o relatório descreve a origem dos
sujeitos e a lista de requisitos utilizados para determinar quais os sujeitos eram elegíveis
para participar no estudo.
Critério 2
Considera-se que num determinado estudo houve alocação aleatória se o relatório referir
que a alocação dos sujeitos foi aleatória. O método de aleatoriedade não precisa de ser
explícito. Procedimentos tais como lançamento de dados ou moeda ao ar podem ser
considerados como alocação aleatória. Procedimentos de alocação quase-aleatória tais
como os que se efetuam a partir do número de registro hospitalar, da data de nascimento,
ou de alternância, não satisfazem este critério.
Critério 3
Alocação secreta significa que a pessoa que determinou a elegibilidade do sujeito para
participar no ensaio desconhecia, quando a decisão foi tomada, o grupo a que o sujeito
iria pertencer. Deve atribuir-se um ponto a este critério, mesmo que não se diga que a
alocação foi secreta, quando o relatório refere que a alocação foi feita a partir de
envelopes opacos fechados ou que a alocação implicou o contato com o responsável pela
alocação dos sujeitos por grupos, e este último não participou do ensaio.
Critério 4
No mínimo, nos estudos de intervenções terapêuticas, o relatório deve descrever pelo
menos uma medida da gravidade da condição a ser tratada e pelo menos uma (diferente)
medida de resultado-chave que caracterize a linha de base. O examinador deve
assegurar-se de que, com base nas condições de prognóstico de início, não seja possível
prever diferenças clinicamente significativas dos resultados, para os diversos grupos.
50
Este critério é atingido mesmo que somente sejam apresentados os dados iniciais do
estudo.
Critérios
Resultados-chave são resultados que fornecem o indicador primário da eficácia (ou falta
4, 7-11
de eficácia) da terapia. Na maioria dos estudos, utilizam mais do que uma variável como
medida de resultados.
Critérios 5-7
Ser cego para o estudo significa que a pessoa em questão (sujeito, terapeuta ou
avaliador) não conhece qual o grupo em que o sujeito pertence. Mais ainda, sujeitos e
terapeutas só são considerados “cegos” se for possível esperar-se que os mesmos sejam
incapazes de distinguir entre os tratamentos aplicados aos diferentes grupos. Nos ensaios
em que os resultados-chave são relatados pelo próprio (por exemplo, escala visual
análoga, registro diário da dor), o avaliador é considerado “cego” se o sujeito foi “cego”.
Critério 8
Este critério só se considera satisfeito se o relatório referir explicitamente tanto o número
de sujeitos inicialmente alocados nos grupos como o número de sujeitos a partir dos
quais se obtiveram medidas de resultados-chave. Nos ensaios em que os resultados são
medidos em diferentes momentos no tempo, um resultado-chave tem de ter sido medido
em mais de 85% dos sujeitos em algum destes momentos.
Critério 9
Uma análise de intenção de tratamento significa que, quando os sujeitos não receberam
tratamento (ou a condição de controle) conforme o grupo atribuído, e quando se
encontram disponíveis medidas de resultados, a análise foi efetuada como se os sujeitos
tivessem recebido o tratamento (ou a condição de controle) que lhes foi atribuído
inicialmente. Este critério é satisfeito, mesmo que não seja referida a análise por intenção
de tratamento, se o relatório referir explicitamente que todos os sujeitos receberam o
tratamento ou condição de controle, conforme a alocação por grupos.
Critério 10
Uma comparação estatística inter-grupos implica uma comparação estatística de um
grupo com outro. Conforme o desenho do estudo, isto pode implicar uma comparação de
51
dois ou mais tratamentos, ou a comparação do tratamento com a condição de controle. A
análise pode ser uma simples comparação dos resultados medidos após a administração
do tratamento, ou a comparação das alterações num grupo em relação às alterações no
outro (quando se usou uma análise de variância para analisar os dados, esta última é
frequentemente descrita como interação grupo versus tempo). A comparação pode
apresentar-se sob a forma de hipóteses (através de um valor de p, descrevendo a
probabilidade dos grupos diferirem apenas por acaso) ou assumir a forma de uma
estimativa (por exemplo, a diferença média ou a diferença mediana, ou uma diferença
nas proporções, ou um número necessário para tratar, ou um risco relativo ou um razão
de risco) e respectivo intervalo de confiança.
Critério 11
Uma medida de precisão é uma medida da dimensão do efeito do tratamento. O efeito do
tratamento pode ser descrito como uma diferença nos resultados do grupo, ou como o
resultado em todos os (ou em cada um dos) grupos. Medidas de variabilidade incluem
desvios-padrão (DP’s), erros-padrão (EP’s), intervalos de confiança, amplitudes
interquartis (ou outras amplitudes de quantis), e amplitudes de variação. As medidas de
precisão e/ou as medidas de variabilidade podem ser apresentadas graficamente (por
exemplo, os DP’s podem ser apresentados como barras de erro numa figura) desde que
aquilo que é representado seja inequivocamente identificável (por exemplo, desde que
fique claro se as barras de erro representam DP’s ou EP’s). Quando os resultados são
relativos a variáveis categóricas, considera-se que este critério foi cumprido se o número
de sujeitos em cada categoria é apresentado para cada grupo.
52
1
Language of publication slightly influences the quality of reports of randomised
controlled trials of physiotherapy interventions
Sílvia Regina Shiwa1, Anne M. Moseley2,3, Christopher G. Maher2,3,
Leonardo Oliveira Pena Costa1,2
1
Masters in Physical Therapy Program, Universidade Cidade de Sao Paulo, Sao Paulo, Brazil
2
The George Institute for Global Health, Australia
3
The University of Sydney, Australia
53
2
ABSTRACT
Objective: To investigate whether the methodological quality and statistical reporting of trials
reports is influenced by language of publication in randomised controlled trials of
physiotherapy interventions.
Study design: Bibliometric and methodological quality data from all reports of RCTs indexed
on the Physiotherapy Evidence Database (PEDro) up to February 2011 were extracted.
Descriptive statistics on the total PEDro score and the 11 individual PEDro items were
calculated for each language of publication and for all non-English-language reports
combined. Regression models were calculated to predict the total PEDro score and the
presence of each of the 11 items of the PEDro scale using the language of publication as an
independent variable.
Results: A total of 13,392 reports of trials used for this study, being 12,532 trials published in
English and 860 published in other languages. Methodological quality and statistical reporting
was slightly better for English reports than reports written in other languages (= 0.15, 95%
CI 0.04 to 0.25).
Conclusion: Language of publication is associated with the methodological quality and
statistical reporting of reports of physiotherapy trials. While English reports are more likely to
have better methodological quality than reports written in other languages, the magnitude of
this influence is small.
Keywords: Language bias, methodological quality, physiotherapy, editorial policies.
54
3
What is new?
Key finding: Although Language of publication is associated with the methodological quality
and statistical reporting of reports of physiotherapy trials, the magnitude of this influence is
small.
What this adds to what was known: Previous studies on this topic were small and restricted
to just few languages and were relevant to few areas of healthcare. A more robust analysis
from our study indicates that studies published in languages other than English should be
considered in summaries of evidence.
What is the implication, what should change now: There is substantial evidence that the
risk of bias may be higher in physiotherapy trials published in languages other than English
and that the careful assessment of the risk of bias of published trials is important for trials
published in any language but even more important for trials published in languages other
than English. These conclusions are based only to physiotherapy trials and cannot be
generalized to other areas of health care.
55
4
INTRODUCTION
The practice of evidence-based physiotherapy should be informed by relevant and
high-quality clinical research1. The best types of clinical research about the effects of an
intervention are randomised controlled trials and systematic reviews of randomised controlled
trials2, 3. Two challenges for implementing evidence-based physiotherapy are that the quality
of reports of trials vary widely4 and trials and reviews are published in a number of different
languages, challenges also experienced in other areas of healthcare5.
High quality studies are the ones that present low risk of bias. There is some empirical
evidence that the quality of randomised controlled trials in physiotherapy are slowly
improving over time6. This improvement in quality may be explained due to a better
understanding on important sources of bias, such as concealed allocation, intention-to-treat
analysis and blinding6. There are some types of complex interventions (such as
physiotherapy) that some sources of bias cannot be avoided in randomised trials, for example
blinding of patients and therapists are only possible in some specific fields of physiotherapy,
such as electrotherapy interventions. Randomised controlled trials in physiotherapy are
published in multiple languages and to our knowledge there are no studies that investigated
the influence of language of publication in the quality of randomised controlled trials in
physiotherapy.
While language of publication does not appear to influence the quality of reports of
medical trials7, 8, only a small number of languages have been investigated (English, German,
French and Spanish) using a relatively small sample of trials reports (2298 and 807). A more
robust evaluation of the influence of language would be possible with a larger sample of
published trials that included a broader range of languages. It is possible to perform this
analysis with reports of trials of physiotherapy interventions because nearly all trials of
physiotherapy interventions have been indexed on a single database, the Physiotherapy
56
5
Evidence Database (PEDro)9, 10. Furthermore, all reports indexed on PEDro are assessed for
methodological quality and completeness of reporting using the PEDro scale4, 11, 12.
Although English is considered a “world language”, only 25% of the world population
can speak or read English13, on the other hand around 95% of all physiotherapy trials and
systematic reviews are published in English. Nearly 80% of systematic reviews of randomised
controlled trials had restrictions with regards to the language of publication, mostly excluding
trials published in languages other than English14. Perhaps these language restrictions
occurred in these reviews because of the difficulty in identifying trials published in languages
other than English, the reviewers skills for language or due to the view that English language
publications are sufficient for summaries of evidence such as systematic reviews or clinical
practice guidelines8. One way to assess whether language restrictions are reasonable for
systematic reviews is to assess the quality of reports trials in both languages (English and
languages other than English). If the quality of English-language and other-language trial
reports are similar, there will be no reason for exclusion of trials based upon the language of
publication8.
Our primary aim was to investigate whether the quality of trial reports is influenced by
the language of publication (English versus languages other than English) rated by the 11item PEDro Scale. Our secondary aim was to describe the characteristics of a universe of
physiotherapy randomised controlled trials reports published in each available language.
METHODS
All trial reports indexed on PEDro in February 2011 were downloaded. The variables
downloaded were title, authors, journal name, year of publication, language, therapy being
evaluated, and PEDro scale (ratings of each of the 11 items and the total PEDro score). We
57
6
excluded trials that had incomplete PEDro scale ratings (i.e. reports not yet rated by two
independent raters, with arbitration by a third rater if necessary) from the evaluation of the
relationship between language and quality of reporting.
The Physiotherapy Evidence Database (PEDro; http://www.pedro.org.au) was chosen
for this study and trials indexed on PEDro are assessed for methodological quality and
statistical reporting using the 11-item PEDro scale4, 11, 12. The items are: 1) eligibility criteria
and source specified; 2) random allocation; 3) concealed allocation; 4) baseline comparability;
blinding of 5) subjects; 6) therapists and 7) assessors; 8) more than 85% follow-up; 9)
intention-to-treat analysis; 10) reporting of between-group statistical comparisons; and 11)
reporting of point measures and measures of variability. The last 10 items are used to
calculate the total PEDro score (the first item is not used as it is related to generalisability,
rather than methodological quality and statistical reporting), which is calculated by summing
the number of items met. The total PEDro score ranges from 0 to 10, with higher scores
indicating higher methodological quality and more complete statistical reporting. Each trial
indexed on PEDro is rated by two independent assessors and, if there are disagreements,
arbitration is performed by a third assessor. Trials are rated on the basis of what they report. If
a trial does not report that a particular criterion was met, we score it as if the criterion was not
met (”guilty until proven innocent”). The assessors also allocate codes for the therapy being
evaluated (i.e., acupuncture; behaviour modification; education; electrotherapies, heat, cold;
fitness training; health promotion; hydrotherapy, balneotherapy; neurodevelopmental therapy,
neurofacilitation; orthoses, taping, splinting; respiratory therapy; skill training; strength
training; stretching, mobilisation, manipulation, massage). Reports of trials written in
languages other than English are rated by bilingual assessors using the English version of the
PEDro scale.
58
7
Statistical analysis
The number of trial reports in each language was calculated. The mean (95%
confidence interval) of total PEDro score were calculated for trial reports in each individual
language as well as for all non-English reports combined. The total PEDro score was
calculated for all years of publication combined and for each decade from the 1920s to 2010s.
A Student´s independent t-test was used to compare the total PEDro score for Englishlanguage trials to non-English-language trials. We calculated the proportion of “yes”
responses for each individual item of the PEDro scale for each individual language and for all
non-English reports combined.
The multivariate analyses allowed for controlling for factors other than publication
language that may be associated with the quality of reporting (i.e., potential confounders). A
multivariate linear regression analysis was performed to predict the total PEDro score
(dependent variable) including the following terms in the regression equation (independent
variables): English trial reports (coded as 1) versus non-English trial reports (coded as 0);
number of years since publication (we calculated this variable by subtracting the year of
publication from 2011); if the trial evaluated electrotherapy (coded as 1) versus nonelectrotherapy trials (coded as 0), this variable was included in the analysis as a potential
confounder because blinding of participants and therapists are possible in electrotherapy trials
compared to other interventions. Multivariate logistic regression analyses were performed to
predict each of the 11 items of the PEDro scale (dependent variables) for language (English
versus non-English), adjusted for the number of years since the publication and electrotherapy
(electrotherapy versus non-electrotherapy). We used backward elimination to specify a model
in which all variables achieve statistical significance (p<0.05).
59
8
RESULTS
In February 2011, PEDro indexed 14,619 reports of randomised controlled trials. Of
these trial reports, 13,392 had complete PEDro ratings - 12,532 trials published in English and
860 published in languages other than English. In this study, we included only articles
published in English (n=12,532, N electrotherapy trials = 1838), Chinese (n=405, N = 123),
German (n=253, N = 74), Norwegian (n=8, N = 2), French (n=31, N = 9), Italian (n=19, N =
6), Portuguese (n=62, N = 11), Spanish (n=49, N = 7) and Dutch (n=33, N = 4). The
remaining languages were excluded because they did not have complete ratings: Arabic
(n=1), Bosnian/Serbian/Croatian (n = 10), Bulgarian (n=2), Czech (n=14), Danish (n=61),
Farsi (n=6), Finnish (n=5), Greek (n=2), Hebrew (n=7), Hungarian (n=8), Iceland (n=2),
Japanese (n=65), Korean (n=64), Lithuanian (n=3), Polish (n=36), Russian (n=66), Slovak
(n=6), Swedish (n=14), Turkish (n=63), Ukrainian (n=1) and Romanian (n=2).
Univariate analysis indicated that methodological quality and statistical reporting was
similar for English and non-English trial reports. The English trial reports had a mean total
PEDro score of 4.8 points (95% CI 4.8 to 4.9) while the non-English trial reports combined
had a mean total PEDro score of 4.8 points (95% CI 4.7 to 4.9), see Figure 1. Of the nonEnglish trial reports, Norwegian-language reports had the highest mean total PEDro score (5.4
points, 95% CI 4.4 to 6.4, n = 8) and trial reports in Portuguese had the lowest mean total
PEDro score (3.7 points, 95% CI 3.3 to 4.2, n = 62). The primary unadjusted analysis revealed
no differences in quality of trials published in English compared to trials published in
languages other than English (mean difference of -0.1 points, 95% CI -0.2 to 0.0, p=0.24,
t=1.18).
The first English language trial15 was published four decades before the first nonEnglish language trial (see Table 1). The first non-English trial was published in 1963 (a
60
9
French trial16), the first trials published in Dutch17, German18,
19
and Norwegian20,
21
were
published in the 1970’s, and finally during the 1980’s the first trials written in Chinese22,
Italian23, Portuguese24 and Spanish25 were published. While there is a trend of improvement in
the quality of trials over time regardless of the language (see Table 1), English trial reports
appear to have the largest improvement.
The multivariate linear regression analysis revealed that language of publication,
adjusted for time since publication and electrotherapy intervention, does influence the total
PEDro score. The equation to predict the total PEDro score is: total PEDro score = 5.27 +
0.15 x published in English (1=yes, 0=no) – 0.06 x number of years before 2011 + 0.30 x
electrotherapy trial (1=yes, 0=no). This means that if a trial report is in English 0.15 points, on
average, can be added to the total PEDro score (after adjusting for number of years since
publication and electrotherapy trials) compared to a trial published in a language other than
English. This equation also means that electrotherapy trials have, on average, an additional
0.30 points on the total PEDro score compared to non-electrotherapy trials. Finally, for every
decade before 2011 a trial report has, on average, 0.6 points less on the total PEDro score
compared to trials published in 2011.
Table 2 presents number of trial reports and the proportion of trial reports that satisfied
each of the PEDro scale individual items. The items satisfied most often in English reports
were eligibility criteria and source specified (71.8%), random allocation (95.7%), reporting of
between-groups statistical comparisons (92.8%), and reporting of point measures and
measures of variability (86.5%). In contrast, the items satisfied most often in non-English
reports were eligibility criteria and source specified (75.2%), random allocation (88.7%),
more than 85% follow up (71.2%) and reporting of between-groups statistical comparisons
(91.9%).
61
10
Compared to publishing a trial report in a non-English language, publishing in English
increased the likelihood of fulfilling three PEDro scale items: random allocation, concealed
allocation, and blinding of assessors. These three items had very high odds ratios (i.e., > 2.0),
see Table 3. In contrast, reports published in a non-English language were more likely to fulfil
two PEDro items: more than 85% follow up and intention-to-treat analysis.
DISCUSSION
Our results revealed that English reports were more likely to have better quality than
reports written in languages other than English, but the magnitude of this influence was small
(Beta coefficient = 0.15 points) when the analysis was adjusted for time since publication and
electrotherapy intervention. We also observed that recent studies (Beta coefficient = -0.06
points) and the electrotherapy intervention trials (Beta coefficient = 0.30 points) have better
quality. The items random allocation, concealed allocation and blinding of assessors were
more likely to be satisfied in studies published in English and the items more than 85% follow
up and intention-to-treat analysis were more likely to be satisfied in studies published in
languages other than English.
This study is the first to assess the influence of language of publication on the quality
of reports of randomised controlled trials in a universe of trials of physiotherapy. From a total
of 14,619 reports of trials that were included on the PEDro database on February 2011, 1227
reports of trials were excluded (being 489 trials published in English and 738 trials published
in languages other than English) as these trials had incomplete PEDro scores, which can be
considered as a possible limitation of the study. Moreover, as the PEDro scale assesses only
the information that was reported in the manuscript (similarly to other risk of bias scales) we
cannot rule out the possibility that the trial as conducted had different methodological quality.
For example, one study interviewed authors of 2235 reports of randomised controlled trials
62
11
published in Chinese revealed that only 9,3% of the studies adhered to accepted methodology
for randomisation26, in other words although most of studies reported true randomisation, the
interviews with the authors of these papers revealed that this was not the case. This shows a
lack of understanding by the authors about key concepts of trial design, nevertheless these
trials are usually rated positive in quality scales such as the PEDro scale, as it is impossible to
audit all studies.
Only two previous studies7,
27
have investigated the influence of language on
methodological quality in randomised controlled trials in general medicine. Both studies were
small (n= 2298 and 807), and evaluated a restricted number of languages (for example English
versus German or English versus French, German, Italian or Spanish), instead of 9 languages
as we have evaluated. Importantly, both studies reported univariate analyses that did not
adjust the analyses for possible confounders, so the conclusion that language does not affect
the quality of reporting of trials may be inaccurate. Our adjusted analysis revealed that trial
reports published in English are slightly better than those published in languages other than
English; however the magnitude of this influence is small and probably not important. We
would argue that trials published in languages other than English should be considered in
clinical decision-making as well as being included in systematic reviews and other summaries
of evidence such as clinical practice guidelines.
Another interesting finding of our study is that although trials that evaluate
electrotherapy are one of the few types of physiotherapy interventions that can successfully
blind subjects and therapists (which could add up to 2 points on PEDro score compared with
non-electrotherapy intervention trials), we observed that on average these studies adds only
0.30 points on PEDro total score (after adjustment for confounders). This shows that blinding
has not been properly implemented in these trials and perhaps more improvement in the
design of electrotherapy trials is possible.
63
12
Although our study is the largest that has investigated the influence of language of
publication on the quality of reports of randomised controlled trials, it is important to consider
if our results would be similar for other health disciplines, such as general medicine or other
allied health professions such as psychology, nursing, dentistry or speech pathology. It would
also be interesting to compare possible differences in trial quality for different physiotherapy
subdisciplines (e.g. musculoskeletal, neurology, etc) . Another suggestion for future studies
would be to compare more items related to external validity of studies published in different
languages, for example items related to the description of the sample, sample size and
description of the interventions.
CONCLUSION
Language of publication is associated with the methodological quality and statistical reporting
of reports of physiotherapy trials. While English reports are more likely to have better
methodological quality than reports written in other languages, the magnitude of this
influence is small.
64
13
References
1.
Herbert R, Jamtvedt G, Hagen KB, Mead J. Practical Evidence-Based Physiotherapy.
2nd ed. London: Churchill Livingstone; 2011.
2.
Costa LO, Moseley AM, Sherrington C, Maher CG, Herbert RD, Elkins MR. Core
journals that publish clinical trials of physical therapy interventions. Phys Ther.
2010;90(11):1631-40.
3.
Maher CG, Sherrington C, Elkins M, Herbert RD, Moseley AM. Challenges for
evidence-based physical therapy: accessing and interpreting high-quality evidence on therapy.
Phys Ther. 2004;84(7):644-54.
4.
2008;88(9):1068-77.
5.
Sackett DL, Strauss SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-Based
Medicine: How to Practice and Teach EBM. 2nd ed. Edinburgh: Churchill Livingstone; 2000.
6.
Moseley AM, Herbert RD, Maher CG, Sherrington C, Elkins MR. Reported quality of
randomized controlled trials of physiotherapy interventions has improved over time. J Clin
Epidemiol. 2011;64(6):594-601.
7.
Egger M, Zellweger-Zahner T, Schneider M, Junker C, Lengeler C, Antes G.
Language bias in randomised controlled trials published in English and German. Lancet.
1997;350(9074):326-9.
8.
Moher D, Fortin P, Jadad AR, Juni P, Klassen T, Le Lorier J, et al. Completeness of
reporting of trials published in languages other than English: implications for conduct and
reporting of systematic reviews. Lancet. 1996;347(8998):363-6.
9.
65
14
CENTRAL, CINAHL, EMBASE, hooked on evidence, PEDro, PsycINFO and PubMed.
Physiotherapy. 2009;95(3):151-6.
10.
11.
Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the
PEDro scale for rating quality of randomized controlled trials. Phys Ther. 2003;83(8):713-21.
12.
Sherrington C, Herbert RD, Maher CG, Moseley AM. PEDro. A database of
randomized trials and systematic reviews in physiotherapy. Man Ther. 2000;5(4):223-6.
13.
Graddol D. The Future of English? United Kingdom: The British Council; 2000.
14.
Gregoire G, Derderian F, Le Lorier J. Selecting the language of the publications
included in a meta-analysis: is there a Tower of Babel bias? J Clin Epidemiol.
1995;48(1):159-63.
15.
Colebrook D. Irradiation and health: an ultra-violet irradiation of school children.
Medical Research Council Special Report Series. 1929;131:1-47.
16.
Seze Sd, Ryckewaert A, Caroit M, Hubault A, Poinsard G, Renier J, et al. Studies of
the painful shoulder (humeroscapular periarthritis) versus a systematic therapeutic
investigation. Revue du Rhumatisme 1963:1-14.
17.
Maesen F, Brombacher PJ, Buytendijk HJ, Janssen HC. Comparative investigation on
sputum viscosity before and after administration of mistabron or physiological saline solution
with and without physiotherapy (vibration-therapy) Acta Tuberc Pneumol Belg.
1974;65(2):212-8.
18.
Buchwalsky R, Schnellbacher K, Roskamm H, Barmeyer J. Long-term training effects
in chronic ischemia. Med Welt. 1974;25(3):83-6.
66
15
19.
Valtonen E, Lilius H. Doppelblindversuch uber die wirkung der diadynamischen
(bernardschen) strome bie verschiedenen schmerzzustanden Zeitschrift fur Physiotherapie.
1974;26:133-6.
20.
Bihaug O. Autotraksjon for ischialgipasienter. Fysioterapeuten. 1978;45:377-9.
21.
Kogstad O, Karterud S, Gudmundsen J. Cervicobrachialgia. A controlled trial with
conventional therapy and manipulation. Tidsskrift for den Norske Laegeforening.
1978;98(16):845-8.
22.
Chang R, Wen K. The effects of combined acupuncture anesthesia in gastrectomy.
Zhen Ci Yan Jiu [Acupuncture Research] 1985;10(3):161-4.
23.
D'Ort S, Germani M, Parente F. Studio in doppio cieco sulla terapia con agopuntura
nella periartrite scapolo-omerale (Double-blind study on acupuncture treatment of frozen
shoulder). Ortopedia e Traumatologia Oggi. 1985;5(1):37-44.
24.
Rovinski A, Filho NA. Estudo comparativo entre as palmilhas de tipo convencional e
palmilhas do tipo 1/4 de esfera para tratamento de pes planos em criancas. Medicina de
Reabilitacao. 1988;19:6-7.
25.
Willner R. Efectos de los laser He-Ne e infrarrojo en la osteoartritis de manos y
rodillas: estudio doble ciego. Investigacion Y Clinica Laser. 1985;2:75-6.
26.
Wu T, Li Y, Bian Z, Liu G, Moher D. Randomized trials published in some Chinese
journals: how many are randomized? Trials. 2009;10:46.
27.
Moher D, Jadad AR, Tugwell P. Assessing the quality of randomized controlled trials.
Current issues and future directions. Int J Technol Assess Health Care. 1996;12(2):195-208.
67
CAPÍTULO 5
CONCLUSÃO
68
5.1. Resultados Principais
O objetivo desta dissertação de mestrado foi contribuir e incentivar a fisioterapia
baseada em evidências no Brasil, através da apresentação da base de dados PEDro1 como uma
ferramenta de busca de evidências em fisioterapia, da Escala de Qualidade PEDro, que auxilia
os fisioterapeutas a distinguir a qualidade dos estudos controlados aleatorizados e a
reprodutibilidade da Escala de Qualidade PEDro2 em português, confirmando que a Escala de
Qualidade PEDro em português é um instrumento reprodutível para ser utilizado no Brasil
(capítulos 2 e 3).
O estudo sobre a influência da língua de publicação na qualidade dos estudos
controlados aleatorizados (capítulo 4) mostrou que os estudos publicados em inglês
apresentam apenas uma pequena vantagem em termos de qualidade metodológica e descrição
estatística quando comparados com estudos publicados em outras línguas, e portanto, estudos
publicados em outras línguas deveriam ser considerados nas escolhas de tratamentos a serem
utilizados por fisioterapeutas, assim como na realização de revisões sistemáticas em
fisioterapia.
5.2. Implicância dos resultados para a prática clínica e de pesquisa e sugestão de estudos
futuros
A base de dados PEDro é uma das melhores fontes de evidência3 que investiga as
intervenções fisioterapêuticas, é gratuita, sua interface está disponível em diversos idiomas e
auxilia os leitores ao apresentar seus resultados de busca de acordo com os níveis de evidência
e qualidade dos estudos, em ordem decrescente, que são avaliados através da Escala de
Qualidade PEDro, que foi traduzida e adaptada para o português4. A Escala de Qualidade
PEDro em português, por sua vez, foi testada quanto a sua reprodutibilidade2, comprovando
69
ser uma ferramenta confiável para fisioterapeutas brasileiros avaliarem a qualidade
metodológica e descrição estatística dos estudos controlados aleatorizados.
A língua inglesa mesmo que difundida no Brasil, ainda é uma barreira para os
fisioterapeutas brasileiros interpretarem a evidência. Há uma estimativa de que uma pequena
parcela da população tenha conhecimento suficiente da língua inglesa para se comunicar
através dela. No capítulo 4 desta dissertação, foi mostrado que a língua de publicação
influencia apenas de forma sutil a qualidade dos estudos, porém deve ser salientado que o
número de estudos avaliados em cada idioma foi discrepante, sendo a maior parte da
evidência publicada em inglês e que é fundamental que o fisioterapeuta brasileiro tenha
conhecimento deste idioma para manter-se atualizado. Com o resultado deste estudo, é
importante destacar que estudos publicados em idiomas diferentes do inglês não deveriam ser
excluídos das revisões sistemáticas, o que constituiria um viés de linguagem para esse tipo
estudo.
Como sugestões para estudos futuros, consideramos interessante realizar um
mapeamento da evidência na fisioterapia (exemplos5, 6), para determinar quais subdisciplinas
relevantes para a fisioterapia apresentam maior quantidade e melhor qualidade dos estudos
controlados aleatorizados, quais as que ainda sofrem com a escassez de bons estudos, com o
objetivo de nortear o direcionamento de recursos para estimular a realização de pesquisa
clínica de alta qualidade e o crescimento da profissão. Nosso grupo de pesquisa vem
realizando um mapeamento da evidência em fisioterapia cardiopulmonar e esperamos
divulgar esses resultados em breve7.
Deve-se também incentivar a implementação dos conhecimentos oriundos da prática
baseada em evidências. É incoerente ter a evidência disponível e não aplicá-la na prática
clínica, afinal a pesquisa e a clínica deveriam progredir juntas. Uma sugestão para identificar
se isto está ocorrendo, seria através da realização de auditorias da prática clínica (exemplo8, 9).
70
Uma reclamação constante dos fisioterapeutas é quanto a sua remuneração, mas como
reivindicar melhores salários se seu atendimento nem sempre é baseado na melhor evidência
científica disponível? A implementação do Problem-Based Learning (PBL) como sistema de
ensino da fisioterapia no Brasil, aumentaria a adesão à prática baseada em evidências, uma
vez que o aluno busca o seu aprendizado em bases de dados e não limita-se somente ao
conhecimento do seu professor.
Outro ponto importante, seria a identificação do viés de publicação em estudos
relevantes para a fisioterapia. Por exemplo, realizar um estudo para analisar se há diferença no
tempo de aceite de estudos com resultado positivos comparados a estudos com resultados
negativos. Outro exemplo seria um estudo comparando periódicos com diferentes fatores de
impacto e os artigos que os mesmos publicam para analisar se os periódicos com fatores de
impacto maior publicam estudos com resultados mais expressivos do que periódicos de fator
de impacto inferior. Comumente é observado no Brasil que os estudos com melhor
delineamento experimental e que obtiveram resultados positivos são geralmente submetidos
(e posteriormente publicados) em revistas internacionais, e que os estudos menores, com
menor rigor metodológico e estatístico, com resultados não tão significantes são enviados para
as revistas nacionais. Com a visão deste panorama, como os periódicos nacionais irão se
fortalecer se os melhores estudos são enviados para os periódicos internacionais? Pesquisas de
natureza qualitativa, entrevistando editores de revista nacionais e autores brasileiros podem
esclarecer esse panorama.
Após a implementação do CONSORT Statement10 para os estudos controlados
aleatorizados, houve uma melhora na descrição textual e qualidade metodológica dos estudos
publicados11,
12
. Seria interessante analisar se esta melhora também ocorreu nos estudos
relacionados à fisioterapia, sabe-se que a qualidade metodológica e estatística melhoraram a
longo dos anos, mas a implementação do CONSORT Statement fez diferença? Nesse mesmo
71
tópico, seria interessante também avaliar a qualidade dos resumos/abstracts de estudos
controlados aleatorizados em fisioterapia para averiguar se estes também estão seguindo as
diretrizes propostas, uma vez que a seleção dos estudos a serem lidos mais detalhadamente é
feita a partir da leitura dos resumos ou nos casos em que o estudo é publicado em um idioma
que o leitor não tem conhecimento adequado, geralmente o resumo está publicado também em
inglês e que se estiver bem escrito, conseguirá informar melhor os leitores desses artigos.
5.3. Referências
1.
Shiwa SR, Costa LOP, Moser ADL, Aguiar IC, Oliveira LVF. PEDro: a base de dados
de evidências em fisioterapia. Fisioter Mov. 2011;24(3):523-33.
2.
Shiwa SR, Costa LO. Prática baseada em evidências: a base de dados PEDro,
Reprodutibilidade da Escala de Qualidade PEDro em português e a influência do idioma de
publicação na qualidade dos estudos controlados aleatorizados. São Paulo: Universidade
Cidade de Sao Paulo; 2011.
3.
CENTRAL, CINAHL, EMBASE, Hooked on Evidence, PEDro, PsycINFO and PubMed.
Physiother. 2009;95(3):151-6.
4.
Lisbon; 2011.
5.
Moseley AM, Sherrington C, Herbert R, Maher CG. The extent and quality of
evidence in neurological physiotherapy: an analysis of the Physiotherapy Evidence Database
(PEDro). Brain Impair. 2000;1(2 ):130-40.
72
6.
Sherrington C, Moseley AM, Herbert RD, Elkins MR, Maher CG. Ten years of
evidence to guide physiotherapy interventions: Physiotherapy Evidence Database (PEDro). Br
J Sports Med. 2009;44(12):836-7.
7.
Geha NN, Costa LOP. The description of randomised controlled trials of
physiotherapy interventions for cardiothoracic conditions [Em andamento]. São Paulo:
Universidade Cidade de São Paulo; 2011.
8.
Rudd AG, Lowe D, Irwin P, Rutledge Z, Pearson M. National stroke audit: a tool for
change? Qual Health Care. 2001;10(3):141-51.
9.
Turner PA, Harby-Owren H, Shackleford F, So A, Fosse T, T.W.A W. Audits of
physiotherapy practice. Physiother Theory Pract. 1999;15(4):261-74.
10.
Group C. CONSORT: Transparent report of trials 1996 [updated 1996 2007; cited
2011]; Available from: http://www.consort-statement.org/.
11.
Moher D, Jones A, Lepage L. Use of the CONSORT statement and quality of reports
of randomized trials: a comparative before-and-after evaluation. JAMA. 2001;285(15):19925.
12.
Plint AC, Moher D, Morrison A, Schulz K, Altman DG, Hill C, et al. Does the
CONSORT checklist improve the quality of reports of randomised controlled trials? A
systematic review. Med J Aust. 2006;185(5):263-7.
73
APENDICE 1
ARTIGO PUBLICADO NA REVISTA CADERNOS DE
SAÚDE PÚBLICA:
REPRODUCIBILITY OF PORTUGUESE VERSION OF
THE PEDro SCALE
74
NOTA
RESEARCH NOTE
Reproducibility of the Portuguese version of the
PEDro Scale
Reprodutibilidade da Escala de Qualidade PEDro
em português
Silvia Regina Shiwa 1
Leonardo Oliveira Pena Costa 1,2
Luciola da Cunha Menezes Costa
Anne Moseley 2
Luiz Carlos Hespanhol Junior 1
Roberta Venâncio 1
Cintia Ruggero 1
Tatiana de Oliveira Sato 3
Alexandre Dias Lopes 1
Abstract
Universidade Cidade de São
Paulo, São Paulo, Brasil.
2 The George Institute for
Global Health, Sydney,
Australia.
3 Centro de Ciências
Biológicas e da Saúde,
Universidade Federal de São
Carlos, São Carlos, Brasil.
1
Correspondence
L. O. P. Costa
Universidade Cidade de
São Paulo.
Rua Cesário Galeno 448,
São Paulo, SP
03071-000, Brazil.
[email protected]
The objective of this study was to test the interrater reproducibility of the Portuguese version
of the PEDro Scale. Seven physiotherapists rated
the methodological quality of 50 reports of randomized controlled trials written in Portuguese
indexed on the PEDro database. Each report was
also rated using the English version of the PEDro
Scale. Reproducibility was evaluated by comparing two separate ratings of reports written in
Portuguese and comparing the Portuguese PEDro
score with the English version of the scale. Kappa
coefficients ranged from 0.53 to 1.00 for individual item and an intraclass correlation coefficient
(ICC) of 0.82 for the total PEDro score was observed. The standard error of the measurement of
the scale was 0.58. The Portuguese version of the
scale was comparable with the English version,
with an ICC of 0.78. The inter-rater reproducibility of the Brazilian Portuguese PEDro Scale is adequate and similar to the original English version.
Evidence-Based Practice; Clinical Trials; Questionnaires
75
2
The Physiotherapy Evidence Database (PEDro;
http://www.pedro.org.au) is a free database of
randomized controlled trials (RCTs), systematic
reviews and clinical practice guidelines in physiotherapy 1. PEDro is considered to be one of the
most comprehensive databases for indexing reports of RCTs that investigate the effects of physiotherapy interventions 2. To be included in PEDro a trial must satisfy five eligibility criteria: (1)
the trial must involve comparison of at least two
interventions; (2) at least one of the interventions
evaluated must be currently part of physiotherapy practice; (3) the interventions should be applied to subjects who are representative of those
to whom the intervention might be applied in
the course of physiotherapy practice; (4) the trial
should involve random allocation or intendedto-be-random allocation of subjects to interventions; (5) the study must be a full paper published
in a peer reviewed journal 1.
All trials indexed on PEDro are assessed for
methodological quality and statistical reporting
using the PEDro Scale 1 that considers the following criteria: (1) eligibility criteria and source
of participants; (2) random allocation; (3) concealed allocation; (4) baseline comparability; (5)
blinding of subjects; (6) blinding of therapists;
(7) blinding of assessors; (8) measures of key
outcomes from more than 85% of participants;
(9) intention-to-treat analysis; (10) betweengroup statistical comparisons; (11) point measures and measures of variability. The scale is
Cad. Saúde Pública, Rio de Janeiro, 27(10):2063-2067, out, 2011
2063
2064
Shiwa SR et al.
scored out of 10 with one point being awarded
for each of the itens (2) to (11) clearly satisfied
and reported by the trial. Each trial is assessed by
two independent raters. Any disagreements are
arbitrated by a third rater. Reports of trials written in languages other than English are assessed
by bilingual raters using the English version of
the PEDro Scale.
More than 4,300 searches of PEDro are performed everyday by physiotherapists worldwide,
of which 15% are performed by professionals
from Portuguese-speaking countries. Although
the PEDro website was recently translated into
Portuguese, the search and results pages, including the PEDro Scale score, are only available in
English. As only a small proportion of the Brazilian population are fully proficient in English, it
is likely that this limitation of the PEDro search
function will restrict the use of PEDro by Portuguese-speaking physiotherapists.
As a first step to making PEDro more accessible to physiotherapists that are not proficient
in English, the PEDro Scale has been cross-culturally adapted into Portuguese by a Portuguese
research group 3. This adaptation was performed
following the recommendations from current
guidelines 4.
Some orthographical adjustments were made
to the Portuguese version of the PEDro Scale to
adapt it to Brazilian Portuguese. No semantic or
grammatical modifications were necessary. The
scale in Brazilian Portuguese can be accessed
at: http://www.pedro.org.au/portuguese/down
loads/pedro-scale/. To date, the reproducibility
of the Brazilian Portuguese PEDro Scale has not
been evaluated.
The objective of this study was to test the reproducibility and parallel-form reproducibility
of the Brazilian Portuguese version of the PEDro
Scale compared to the original English version.
Methods
Seven Brazilian physiotherapists participated in
this study as independent raters. The raters underwent training to assess the methodological
quality of RCTs using the Brazilian Portuguese
version of the PEDro Scale through the online
PEDro Scale Training Program (http://training.
pedro.org.au/portuguese/index.html – this website is password protected). After training, each
therapist had to pass an accuracy test to ensure
that they were applying the scale to the same
standard as other raters.
Fifty reports of RCTs written in Portuguese
were used in this study derived from a universe
of 65 RCTs indexed on the database. The cita-
76
tion details and PEDro ratings for all Portuguese
language trials indexed on PEDro were downloaded on 2 August 2010. Two sets of consensus
ratings (individual items and total PEDro score)
were generated by the Brazilian raters using the
Brazilian Portuguese version of the PEDro Scale
(Figure 1). To produce the first set, each trial was
independently assessed by two raters and any
disagreements were arbitrated by a third rater.
This process was then repeated by three different raters to produce a second set of consensus
ratings.
The reproducibility of the Brazilian Portuguese version was evaluated based on the
definition from the guidelines for health status
questionnaires: “the degree to which repeated
measurements provide similar answers in stable
conditions” 5 (p. 36). Both reliability (“the degree to which evaluations could be distinguished
from each other, despite measurement error”) and
agreement (“how close repeated measures are, expressed in the unit of the scale being tested”) were
investigated. The two sets of the Brazilian-Portuguese version consensus ratings were compared
to evaluate test-retest reproducibility. The first
set of Brazilian Portuguese consensus ratings was
compared to the English version consensus ratings to evaluate parallel-form reproducibility. A
sensitivity analysis was also performed to compare the second set of Brazilian Portuguese consensus ratings with those of the English PEDro
Scale.
The following statistics were determined to
evaluate the test-retest reproducibility of the
Brazilian-Portuguese version of the PEDro Scale:
1) kappa coefficients for each item of the PEDro
Scale (kappa estimates for an individual item are
considered important so that PEDro users can
critically appraise the reproducibility of each
item from the PEDro Scale); 2) intraclass correlation coefficient type 1,1 (ICC1,1) 6 and its 95%
confidence intervals (95%CI) for the total PEDro
score and to determine parallel-form reproducibility; 3) standard error of measurement (SEM)
was calculated by dividing the standard deviation
of the difference in the total PEDro scores by the
square root of two 5.
Results
The mean total PEDro score for the 50 reports
of trials was 3.5 (SD = 1.4; range 1-7), indicating
that the majority of the reports were of low methodological quality. Five of the PEDro Scale item
were clearly satisfied in only 10% (or less) of the
reports (Table 1). No PEDro Scale item was clearly
satisfied in 90% (or more) of the reports.
REPRODUCIBILITY OF THE PORTUGUESE VERSION OF THE PEDRO SCALE
Figure 1
Flow chart of the study process.
“Moderate” to “almost perfect” 7 test-retest
reproducibility was obtained for individual
PEDro Scale itens assessed using the Brazilian
Portuguese version of the PEDro Scale (Table
1). Kappa values of items 2, 5 and 6 were greater
than 0.80 and these criteria were classified as
having “almost perfect” 6 reliability. Kappa values
of items 3, 7, 9, 10 and 11 ranged between 0.61
and 0.80 and these criteria were classified as having “substantial” reliability. Items 1, 4 and 8 were
classified as having “moderate” reliability (kappa
values between 0.41 and 0.60). In contrast, in the
test-retest reliability of the English version of the
PEDro Scale, three items were classified as having
“moderate” reliability and eight items as having
“substantial” reliability 1.
The test-retest reproducibility of the total PEDro score generated using the Brazilian Portuguese version was classified as “excellent”, with
an ICC1,1 of 0.82 (95%CI: 0.70-0.89). This is great-
er than the value of 0.68 (95%CI: 0.57-0.76) contained for the English version of the PEDro Scale 1.
The SEM was 0.58 for the total PEDro score. This
was classified as “good” agreement.
The parallel-form reproducibility between
the Portuguese and English versions of the PEDro
Scale was classified as “excellent”. The ICC1,1 of
the English version compared to the first Brazilian Portuguese set was 0.78 (95%CI: 0.67-0.86).
The sensitivity analysis using the second set of
Portuguese ratings yielded similar results with an
ICC1,1 of 0.75 (95%CI: 0.59-0.85).
Discussion
It was observed that the Brazilian Portuguese
PEDro Scale has good reproducibility. Parallelform reproducibility between the Portuguese and
English versions of the PEDro Scale is excellent.
77
2065
2066
Shiwa SR et al.
Table 1
Kappa coefficients and the proportion of reports with a yes response (base rate) for each of the individual item for ratings generated using the Portuguese
(Brazil) and English versions of the PEDro Scale.
PEDro Scale items
Portuguese
English *
Portuguese
Base-rate Portuguese
English
Kappa (95%CI)
Kappa
1 (%)
2 (%)
(%)
0.57 (0.32-0.82)
0.63
80
72
72
1.
Eligibility criteria and source specified
2.
Random allocation
0.91 (0.73-1.00) **
0.79
86
88
84
3.
Concealed allocation
0.73 (0.38-1.00) **
0.70
8
8
12
4.
Baseline comparability
0.60 (0.38-0.82)
0.50
50
66
42
5.
Blinding of subjects
1.00 (1.00-1.00)
0.70
4
4
4
6.
Blinding of therapists
1.00 (1.00-1.00)
0.79
0
0
0
7.
Blinding of assessors
0.78 (0.49-1.00) **
0.79
10
10
14
8.
More than 85% follow-up
0.53 (0.29-0.77)
0.67
36
38
36
9.
Intention-to-treat analysis
0.66 (0.03-1.00) **
0.57
2
4
0
10.
Reporting of between-groups statistical
0.66 (0.44-0.88)
0.68
64
60
68
0.74 (0.52-0.96)
0.54
78
72
72
comparisons
11.
Reporting of point measures and measures
of variability
* The original study did not provide 95% confidence intervals;
** 95% confidence intervals (95%CI) are asymmetric because the upper-bound estimate was outside the range of the scale. In such cases the value was adjusted to 1.00.
As only orthographical differences between the
Portuguese (Portugal) version of the PEDro Scale
were made to create the Brazilian Portuguese
version, the reproducibility estimates obtained
can be applied to both Portuguese versions of the
PEDro Scale.
The reliability estimates of individual itens
of the Brazilian Portuguese version of the PEDro
Scale were found to be similar to the estimates
obtained by a previous study that tested the reliability of the English version of the scale 1. Although it is interesting to note that kappa estimates were slightly higher for the Brazilian scale
(Table 1), the factors involved in this comparison
are complex and any such conclusion should be
treated with caution because different RCTs were
evaluated.
The reliability estimates of the total PEDro
score of the English PEDro Scale (ICC = 0.68) 1
and Portuguese version (0.82) were similar. The
SEM of the Portuguese version of the PEDro Scale
reflects a low absolute measurement error. The
“excellent” parallel-form of reproducibility between the Portuguese and English versions of the
PEDro Scale (ICC = 0.78) suggest that either version may be used to generate PEDro ratings.
An important incidental finding of this study
is the low methodological quality and the poor
statistical reporting found in the reports that
were assessed. The mean total PEDro score of re-
78
ports in Portuguese was lower than that recorded
by a study describing the quality of 3,120 reports
of RCTs relevant to physiotherapy 8. Perhaps a
review of journal editorial policies, together with
training provision for authors and reviewers, is
required to bridge this gap in reports of RCTs
written in Portuguese.
In conclusion, the scores obtained using the
Brazilian Portuguese version of the PEDro Scale
are similar to those achieved using the original
English version. It is now possible for Portuguese
speakers that are not proficient in English to use
the PEDro Scale to critically appraise the methodological quality and statistical reporting of reports of RCTs.
REPRODUCIBILITY OF THE PORTUGUESE VERSION OF THE PEDRO SCALE
Resumo
Contributors
O objetivo foi testar a reprodutibilidade da versão em
português da Escala de Qualidade PEDro. Sete fisioterapeutas avaliaram a qualidade metodológica de 50
estudos controlados aleatorizados em português, indexados na base de dados PEDro. Cada artigo já possuía
sua respectiva avaliação nessa base de dados, utilizando a versão em inglês da escala PEDro. Foi calculada
a confiabilidade da escala, assim como foi comparada
a pontuação total de consenso com a pontuação das
avaliações utilizando a escala em inglês. Os coeficientes kappa variaram entre 0,53 e 1,00 para itens individuais, e um coeficiente de correlação intraclasse (CCI)
de 0,82 foi obtido para a pontuação total. O erro-padrão de medida foi de 0,58 ponto. A versão em português da escala foi comparada com a versão em inglês e
foi observado um CCI de 0,78. A reprodutibilidade da
versão em língua portuguesa da Escala de Qualidade
PEDro foi adequada e similar à versão em inglês.
L. O. P. Costa participated in the definition and management of data collection, statistical analysis and in
drafting of this article. S. R. Shiwa, A. D. Lopes, L. C. M.
Costa, A. Moseley, L. C. Hespanhol Junior e T. O. Sato
collaborated in defining the study, data collection and
drafting of this article. R. Venâncio e C. Ruggero contributed to defining the study, data collection and final
revision of the manuscript.
Acknowledgments
We are grateful for the financial support provided for
this study by FAPESP.
Prática Clínica Baseada em Evidências; Ensaio Clínico; Questionários
References
1.
2.
3.
4.
Maher CG, Sherrington C, Herbert RD, Moseley
AM, Elkins M. Reliability of the PEDro scale for rating quality of randomized controlled trials. Phys
Ther 2003; 83:713-21.
Michaleff ZA, Costa LOP, Moseley AM, Maher CG,
Elkins MR, Herbert RD, et al. CENTRAL, PEDro,
PubMed, and EMBASE are the most comprehensive databases indexing randomized controlled
trials of physical therapy interventions. Phys Ther
2011; 91:190-7.
Costa C. Portuguese adaptation of the PEDro scale.
Lisboa: Universidade Técnica de Lisboa; 2011.
Beaton DE, Bombardier C, Guillemin F, Ferraz MB.
Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa
1976) 2000; 25:3186-91.
5.
6.
7.
8.
Terwee CB, Bot SD, de Boer MR, van der Windt DA,
Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status
questionnaires. J Clin Epidemiol 2007; 60:34-42.
Krebs DE. Declare your ICC type. Phys Ther 1986;
66:1431.
Landis JR, Koch GG. The measurement of observer
agreement for categorical data. Biometrics 1977;
33:159-74.
Costa LO, Moseley AM, Sherrington C, Maher CG,
Herbert RD, Elkins MR. Core journals that publish
clinical trials of physical therapy interventions.
Phys Ther 2010; 90:1631-40.
Submitted on 17/Feb/2011
Final version resubmitted on 28/Jun/2011
Approved on 06/Jul/2011
79
2067
ANEXO 1
NORMAS DE PUBLICAÇÃO:
JOURNAL OF CLINICAL EPIDEMIOLOGY
80
Instructions for Authors
Contributions are welcomed from any pertinent source but should be written clearly
enough to be understood by scholarly clinical readers and clinical researchers. Pertinent
symposia and reviews will be considered for publication.
The Journal of Clinical Epidemiology does not accept articles reporting material that
has been published at any length elsewhere. The author(s) should state, in a covering
letter, that the submitted material has not been published and is not under consideration
for publication elsewhere. If any form of preliminary publication other than an abstract
of not more than 400 words has occurred or is being considered, a reprint or manuscript
should accompany the material submitted to the Journal.
Conflict of Interest
As a scientific forum for research and commentary, the Journal is willing to consider
submissions from any appropriate source, and to review them according to pertinent
scientific and editorial standards. Since the text itself may not always allow evaluators
and subsequent readers to discern possible conflicts of interest, authors should always
acknowledge all sources of funding for the research. In addition, authors (and
reviewers) should disclose any financial relationships (such as consultancies, stock
ownership, contracts, honoraria, etc.), as well as personal relationships, academic
competition, or intellectual commitments that might bias the work or interfere with
objective judgment. The covering letter is the appropriate place for such disclosures. All
sources of funding must be disclosed as an acknowledgment in the text.
81
Submission Process
As of 01 May 2005, the Journal of Clinical Epidemiology will use only a web-based,
online submission and review system. (Note thatmanuscripts submitted before 01
February 2005,will continue to be processed in the previous system.) Please visit
http://ees.elsevier.com/jce and the website will guide you step by step through the
electronic submission. Manuscripts must be written in English. Please note that an
editable file is needed for production purposes, in the case that your manuscript is
accepted; original source files, not PDF files, are required.

In an accompanying letter, authors should state that the manuscript, or parts of it, have
not been and will not be submitted elsewhere for publication.

Authors are highly encouraged to provide the contact details (including e-mail
addresses) of three or more potential peer reviewers for their manuscript. These should
be experts in their field of study, who will be able to provide an objective assessment of
the manuscript. Any suggested peer reviewers should not have published with any of
the authors of the manuscript within the past five years and should not be members of
the same research institution. Members of the Editorial Board of the journal can be
nominated. Suggested reviewers will be considered alongside potential reviewers
identified by their publication record or recommended by Editorial Board members.

Authors' submission items include a cover letter, suggested reviewers, the manuscript
(including title page, abstract, manuscript text, references, and table/figure legends),
tables, and figures. Note: A "Letter to the Editor" does not require an abstract.

Supplemental information such as extensive statistical tables, computer algorithms and
original questionnaires will not be included in the print version of the Journal of
82
Clinical Epidemiology, but will be made available on the web site; the link will be
provided in the printed article. Please note: supplemental pieces will not be copy edited.

Revised manuscripts should also be accompanied by a unique file (separate from the
covering letter) with responses to reviewers' comments.

The preferred order of files is as follows: cover letter, suggested reviewers, response to
reviews (revised manuscripts only), manuscript file(s), table(s), figure(s).

Files should be labelled with appropriate and descriptive file names (e.g.,
SmithText.doc, Fig1.eps, Table3.doc).

Upload text, tables and graphics as separate files.

Do not import figures or tables into the text document.

Complete instructions for electronic artwork submission can be found on the Author
Gateway, accessible through the Journal of Clinical Epidemiology's home page.

Once the submission files are uploaded, the system automatically generates an
electronic (PDF) proof, which is then used for reviewing.

All correspondence, including the Editor's decision and request for revisions, will be by
e-mail.
Authors who are unable to provide an electronic version or have other circumstances
that prevent online submission must contact either our Ottawa or Maastricht editorial
office at the address listed below, prior to submission to discuss alternate options. The
Publisher and Editors regret that they are not able to consider submissions that do not
follow these procedures.
83
André Knottnerus
Editor
Journal of Clinical Epidemiology
Dept of General Practice
P.O. Box 616
6200 MD Maastricht
THE NETHERLANDS
Tel: +31-43-388-2322
Fax: +31-43-367-1458
E-mail: [email protected]
Website:
Peter Tugwell
Editor
Journal of Clinical Epidemiology
Centre for Global Health
1 Stewart Street
Ottawa, ON
K1N 6N5 Canada
E-mail: [email protected]
www.jclinepi.com
Manuscripts and Abstracts
Manuscripts should be typewritten and double spaced. Author(s) should retain the
original to facilitate revisions or resubmissions. The letter of submission should identify
an address for the corresponding author, and where possible, the author's fax number,
e-mail address, and telephone number.
JCE has adopted the editorial policy of "more informative titles" (MITs) that crisply and
concisely tell our readers what our authors found in their research. A MIT states the
study type and summarizes its key findings, using the past tense for individual studies
and the present tense for systematic reviews. Although we are ready to assist authors in
generating MITs for their work, we encourage them to submit draft MITs with their
original submissions.
84
Each original article must have an abstract/summary not exceeding 200 words.
Abstracts must be structured with the following headings: Objective, Study Design and
Setting, Results, and Conclusion. Double-space abstracts, and print them on a separate
page. Abstracts not in compliance with this format will be returned to the authors for
revision. The bottom of the abstract page should list six key words (index-appropriate
terms),a running title, and a word count.
Research Articles
The Journal endorses the World Health Standards for registration of all human medical
research (
http://www.who.in/ictrp/about/details/en ). JCE considers original papers
reporting results of clinical trials if they have been registered in a clinical trial registry.
Authors are asked to provide registration details in the submission letter and the
manuscript.
Length of Articles
The following are guidelines for various article lenghts:

Reviews and Original Articles - 3,000 to 5,000 words

Letters - 500 words

Brief Reports - 1,500 words

Commentaries - 2,500 words.
The correct use of statistical methods is paramount for a proper interrogation and
interpretation of study data. There are several checklists available that can be used to
help authors. One checklist we have found to be helpful is from the Department of
85
Biostatistics, Venrbilt University School of Medicine
(http://biostat.mc.vanderbilt.edu/ManuscriptChecklist)and we refer authors submitting
articles to the JCEto this checklist. The list covers general statistical problems, filtering,
missing data, multiple comparison problems, multivariate modeling issues, use of
imprecise lanaguage, graphics/tables and other areas.
Authors are asked to provide a text box entitled 'What is new?' that summarizes what
this paper adds to the existing literature up to 5 items/points addressing the following
areas:

key finding

what this adds to what was known

what is the implication, what should change now
Please place this box below the abstract but before the introduction of your paper.
References
All references should be to publications that are readily available or in press, avoiding
personal communications, presentations at meetings, and manuscripts submitted but not
yet in press. Citations should be placed at the end of each article (not as footnotes on
each page), and should be numbered consecutively in the text, enclosed in square
brackets on the lines of writing (not as superscript numbers). At the end of the article,
references should be listed in the numerical order in which they are cited. The
references should be typed, double-spaced, and should conform to the styles noted
either in the 'Vancouver Convention' or by Index Medicus or the Council of Biology
Editors Style Manual (available from
http://www.icmje.org or the American Institute
86
of Biological Sciences, 1401Wilson Boulevard, Arlington, VA 22209, U.S.A.).
Ultimate responsibility for accuracy of citations rests with the author(s).
The publisher has specific requirements for electronic files in which text citations must
be properly matched to the reference list. Please review any revised manuscript for
discrepancies (especially with numbering) and correct the references appropriately.
Examples
(i) Book chapter
Temple R. Dose-response and registration of new drugs. In: Lasagna L, Erill S, Naranjo
CA, Eds. Dose-Response Relationships in Clinical Pharmacology. Amsterdam:
Elsevier;1989:145-70.
(ii)Book
Kramer MS. Clinical Epidemiology and Biostatistics: a Primer for Clinical Investigators
and Decision-makers. Berlin: Springer; 1988.
(iii) Journal
Garraway WM, Whisnant JP, Kurland LT, O'Fallon WM. Changing pattern of cerebral
infarction: 1945-1974. Stroke 1979; 10:657-63.
(iv) Miscellaneous
Ontario Ministry of Health. Schedule of Benefits, Ontario Health Insurance Plan.
Kingston, Ontario: Ontario Ministry of Health; April 1987.
87
Abbreviations, Symbols and Nomenclature
Well-known abbreviations (e.g. DNA, EKG) may be used without definition; all others
must be defined when first used. Units of measurement should be used in accordance
with current custom and acceptability. Generic names of drugs are preferred; a
proprietary name may be used if its generic equivalent is identified.
Figures and Tables
Figures and Tables accompanying manuscripts should be numbered and provided with
suitable legends, in a separate electronic file. Authors should indicate on the manuscript
the appropriate positions of the tables and figures.
Tables: Type each table on a separate page. Do not insert vertical lines in tables.
Include a title for each table. Number tables consecutively within the manuscript (Table
1, Table 2, Table 3, etc.). Use standard citation superscript symbols (*,†, ‡, §...).
Authors should place footnotes in order, reading from left to right and top to bottom,
and should begin a new series of footnotes for each table. Footnotes should not appear
in table titles.
Figures: Illustrations include charts, drawings, graphs, and photographs. Charts,
drawings and graphs must be computer-generated and should use a Sans-serif typeface
(e.g. Arial). Number figures consecutively in the order they are to appear in the text
(e.g., Figure 1, Figure 2, Figure 3, etc.). Figures should be uploaded as separate files,
not embedded in the manuscript file. TIFF, EPS or PDF are the preferred file formats.
MS Office files (Word, Excel and PowerPoint) are also accepted. The following image
file formats are not acceptable because they are low resolution: JPG, GIF,ONG, PCX,
88
PNG, and XBM. Figure resolution for pixel-based images should be at least 1,200 dpi
for line art (e.g., graphs, flow charts) or 500 dpi for photographs, micrographs,
computed tomography scans, and related images. Color images should use CMYK color
mode.
Additional instructions for the electronic submission of artwork can be found on the
Elsevier Author Support website
athttp://www.elsevier.com/wps/find/authors.authors/authorartworkinstructions.
Authors must bear all costs associated with printed color figures and tables. The cost of
the first color figure is $650.00 and each additional figure is $100.00. If authors elect
not to print figures in color, in most cases, figures will appear in black and white
version in the print issue of JCE, but will appear in color online.
If any table or figure has been published previously, a copy of the letter of permission
from the copyright holder must accompany the manuscript. The original source of the
table or figure should be acknowledged in full reference form in the reference section of
the manuscript. The figure legend (or table notes) should conclude with: "Reprinted
with permission" followed by the appropriate reference number. Authors are responsible
for applying for permission for both print and electronic rights for all borrowed
materials, and they are responsible for paying any fees related to the application of these
permissions.
89
Human Medical Research
The Journal endorses the World Health Organization Standards for registration of all
human medical research (
http://www.who.in/ictrp/about/details/en ). JCE considers
original papers reporting results of clinical trials if they have been registered in a
clinical trial registry. Authors are asked to provide registration details in the submission
letter and the manuscript.
Review and Production Process
Manuscripts are examined by both Editors and two reviewers. Decisions of the Editors
are final. All material accepted for publication is subject to copy-editing. Authors will
receive page proofs of their article before publication, and should answer all queries and
carefully check all editorial changes at this point. Authors are urged to check their
proofs carefully before return, since late corrections cannot be guaranteed for inclusion
in the scheduled issue. Authors are responsible for the specific content of their articles.
Reprints may be purchased using the order form that is sent with the page proofs.
Neither the Editors nor the Publisher accept responsibility for the views and statements
expressed by authors in their communications.
Updated March 2011
90

PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS PEDro

Transcription

Similar documents

Guia de Entretenimento

Informações para Participação

vancouver • toronto • montreal • são francisco • nova york

Guia de Entretenimento (PDF, 20 MB, PT, EN)

Nicolau Breyner - Portuguese Times

João de Melo editado nos EUA

Alberto Carvalho recebe prémio das mãos de

The Castelo Group - Portuguese Times

Festas do Senhor Santo Cristo