O jornal O Globo publicou nesta segunda-feira (21) uma reportagem intitulada “Teste revela falhas em programas antivírus gratuitos”. O texto mostra as taxas de detecção de antivírus gratuitos quando confrontados com pragas digitais brasileiras. O teste, feito pela empresa de segurança Clavis, é pobre e pode induzir consumidores ao erro. As conclusões do teste também não sustentam o título dado ao texto pelo jornal. O maior problema é que o teste foi feito apenas com antivírus gratuitos; sem a comparação com as ofertas pagas, o leitor é induzido a pensar que, pagando, ele estará mais protegido.
Se soluções pagas apresentassem desempenho inferior às gratuitas, por exemplo, não seria possível afirmar que há “falhas” em antivírus gratuitos. Como nenhum software pago foi incluído, isso ficou implícito. Não há qualquer referência a antivírus não incluídos no teste, exceto ao dizer que “os modernos antivírus pagos são hoje, mais que um programa, um conjunto de programas”.
A palavra “falha” usada no título está empregada incorretamente. Um antivírus tem falhas quando possui erros de programação. Quando ele não consegue detectar ameaças, ele é ineficaz ou ineficiente.
Os vírus utilizados no teste foram cedidos pelo Centro de Atendimento a Incidentes de Segurança (CAIS) da Rede Nacional de Pesquisa (RNP). Foram cedidas 3.269 amostras de vírus – um conjunto que O Globo chama de “gigantesco”. O texto afirma, porém, que essas amostras foram coletadas “entre os dias 1º e 26 de janeiro”. Ou seja, é um conjunto coletado apenas em menos de um mês e não pode ser gigante como o jornal afirma. Um conjunto de amostras pobre torna o teste estatisticamente falho e até injusto.
Mas o tamanho do conjunto de vírus usado não é o único problema da comparação. Além da já citada falta de ofertas pagas no comparativo para sustentar o título do material, o teste — que a Clavis assumiu ser “simples” — não realiza verificação de falsos positivos (alarmes falsos). Um antivírus que detecta várias pragas, mas que detecta muitos arquivos legítimos ainda não é um bom antivírus. Também fica implícito que os vírus no conjunto não foram analisados de forma independente para averiguar a real existência de códigos maliciosos.
Os vírus analisados podem ser ainda do tipo “downloader”, que baixa outras pragas. Um antivírus pode detectar arquivos baixados pelo downloader, realizar bloqueio do link de download ou outra proteção do gênero que ainda iria proteger o internauta apesar da taxa de detecção baixa fornecida pelo teste da Clavis.
Em outras palavras, não é possível tirar conclusão alguma do teste realizado pela Clavis. As conclusões publicadas pelo O Globo também são perigosas. O CAIS, que cedeu as amostras, deveria tomar cuidado com os usos das informações que compartilha e certificar que eles não serão usados para disseminar desinformação.
Testes antivírus
A realização de testes antivírus é um assunto muito complicado atualmente. Um conjunto de vírus considerado “gigantesco” tem hoje dez milhões de amostras. Esses vírus precisam passar por algum tipo de filtro para garantir que são maliciosos. Se isso não ocorrer, os antivírus estarão sendo testados contra arquivos legítimos, o que mata o propósito do teste. A organização AMTSO foi criada para criar regras para a realização de testes e envolve extensas discussões entre especialistas.
A Linha Defensiva informa que nenhum teste realizado no Brasil segue as regras da AMTSO. A própria Linha Defensiva, sabendo dos desafios e dificuldades, não realiza testes. Há apenas dois laboratórios no mundo que seguem as regras à risca: AV-Test.org e AV-Comparatives.
A Linha Defensiva sugere publicamente que o CAIS trabalhe com essas organizações, fornecendo todas as amostras que possuir, para certificar a realização de testes justos e adequados, que realmente irão informar o público brasileiro a respeito da eficiência de softwares antivírus no combate a pragas locais.
Linha Defensiva 
Teste básico e simples: use Linux, pegue todos os vírus, malwares e tranqueiras que chegam para voce principalmente por e-mail, e salve em uma determinada pasta e copie para dentro de um pendrive formatado em FAT.
Use o ViirtualBox (http://www.virtualbox.org), instale uma VM do Windows XP padrão nela com instaladores prontos de antivirus, enxergando a USB e SEM REDE habilitada sem nenhum antivirus instalado. Instale os antivirus na ordem e escaneie. O que detectar a maior quantidade de vírus no pendrive será o melhor antivírus gratuito.
Just 4 Fun….:-P
Davi
CurtirCurtir
Esse é o tipo de teste que desinforma em vez de informar. É a metodologia óbvia, mas é falha.
CurtirCurtir
Metodologia óbvia, mas é falha ? Qual seria a melhor metodologia a se empregada ? Lembrando-se que estamos falando de anti-vírus para desktops.
CurtirCurtir
Alguns dos problemas mais evidentes:
1. As “tranqueiras” que você receber são um número muito baixo para ser estatisticamente relevante para um teste.
2. Mesmo que você receba muita coisa, ainda não estará recebendo componentes extras (como os baixados pelos vírus). São componentes importantes e maliciosos que não serão testados. (Se você for tentar isso, sua vida complica bastante porque muitos componentes baixados são bibliotecas e arquivos de dados – coisas que um antivírus não tem obrigação, e às vezes nem deve, detectar; você vai ter que separar de alguma forma).
3. É preciso rodar alguma parcela dos vírus para testar os mecanismos de proteção dinâmica. Você vai precisar de um computador real porque a máquina virtual altera o comportamento de alguns vírus.
4. O teste não considerou falsos positivos, você precisa de um conjunto de aplicativos e arquivos comuns que os antivírus devem ser ordenados a detectar.
CurtirCurtir
eu gostaria de ver, um dia, um teste que focasse o conserto que o antivírus é capaz de fazer e não simplesmente detecção e ‘limpeza’, assim, entre aspas. Pela minha larga experiência, deixar um servidor como estava antes do vírus só tem sido realizada com êxito (nem sempre) com antivírus pagos e corporativos.
CurtirCurtir
É vergonhoso que em pleno 2011, jornalistas formados realizem matérias totalmente fora da realidade, hoje com a era GOOGLE ficou fácil ser jornalista basta pegar uma noticia de um concorrente e altera-la, ou então encomendar um teste vergonhoso como este e divulga-lo.
Sejamos razoáveis TODOS os AVs, pagos ou não são passíveis de falsos positivos e não detecção de pragas. Por melhor que seja a heurística, não é possível saber se é um comando legítimo ou malicioso.
Se vermos que os anti-vírus free são só os anti-vírus das soluções “Internet Security” das empresas, podemos então chegar a uma mera conclusão; “Se o Free é ineficiência o pago também será, visto que usam a mesma lista de assinaturas de vírus”.
Além do mais nunca vi um teste que fizera comparação entre 2 objetos de pesquisa, mas que apenas um seja testado. Como posso dizer que água mineral é melhor que aquela água lá do córrego do fundo do bairro se nunca pus ambos a prova? Como posso dizer que o preço do Mercado A é menor do que o do Mercado B se só verifiquei os preços do Mercado A? Comparações são feitas comparando não testando um só.
O que mais me deixa triste é saber que existem profissionais que deram veracidade ao teste, realizando-o com tamanha falha. Neste momento se me oferecem um produto seja qual for da Clavis eu não compraria, nem recomendaria a empresa alguma, visto que estaria correndo sérios riscos.
CurtirCurtir
Na reportagem foi deixado claro que os testes foram feitos em softwares gratuitos e não engloba o universo de antivírus pagos.
Eu acredito que dentro do que se propôs o teste foi satisfatório.
Mas fiquem a vontade de fazer testes mais complexos utilizando antivírus pagos e milhões de amostras de vírus.
CurtirCurtir