Muito papo e pouco conteúdo

 “Todos os animais são iguais, mas alguns são mais iguais do que outros.” Assim disse Napoleão, o porco do clássico distópico de Orwell.

O genial dessa frase é a sua universalidade – uma pequena adição transforma a verdade. Infelizmente, esse paradoxo espirituoso [sic.] é cumprido não somente em sagas agriculturais revolucionárias, mas também em temas (aparentemente muito distantes) como – e você não vai acreditar – testes de antivírus! Assim sendo: “Todos os resultados de testes de antivírus publicados são iguais, mas alguns são mais iguais do que outros”. Na verdade, depois que astutos profissionais de marketing aplicam sua magia e “processam” os resultados de testes comparativos de antivírus de outros fabricantes, o produto final – os resultados de testes publicados por certas empresas de antivírus – dificilmente pode ser descrito como sendo de igual valor: eles são tão distorcidos que nada de valor real pode ser aprendido com eles.

Vamos pensar em uma empresa de antivírus imaginária – uma que mal se distingue de seus concorrentes por sua excelente capacidade tecnológica ou qualidade de proteção, mas que tem ambições de proporções globais e um supermegaplano de vendas para realizá-las. Então, qual a primeira coisa a fazer para chegar mais perto do seu plano de dominação global? Aprimorar seu mecanismo de antivírus, ampliar o banco de dados do antivírus e/ou turbinar a qualidade e velocidade de detecção? Não, não e não. Isso leva muuuito tempo. E custa muuuito dinheiro. Bem, quer dizer – quando você está participando do campeonato de antivírus (chegar à primeira divisão não é tão difícil) –, mas, quanto mais perto do topo você chegar na Liga dos Campeões em termos de proteção, mais dinheiro será necessário para garantir cada centésimo extra de um por cento real de detecção, e mais inteligência será necessária.

É muito mais barato e rápido pegar outro caminho – não o caminho da tecnologia, mas o do marketing. Dessa forma, o domínio insuficiente da tecnologia e a qualidade de detecção de antivírus são com frequência compensados com uma ardilosa estratégia de comunicação.

Mas como?

Indiretamente; é desse jeito…

Agora, qual a melhor maneira de avaliar a qualidade das tecnologias de proteção de um produto de antivírus? Claro que é através da opinião objetiva e independente de outras pessoas. Analistas, clientes e parceiros podem dar boas informações, mas não se pode garantir sua imparcialidade. Testes comparativos conduzidos por laboratórios de testes especializados e independentes são a fonte mais confiável. Entretanto, os realizadores de testes são seres peculiares: eles se concentram exclusivamente em sua restrita área de especialidade – ou seja, em testes –, o que é bom, uma vez que fazer testes bem feitos – ou seja, de forma adequada e precisa – não é uma tarefa fácil. Mas seus resultados podem, frequentemente, parecer um pouco sem graça e bem que podiam ser “melhorados”. É aí que entra o marketing de testes feito por quem os encomenda: a manipulação astuciosa de resultados de testes objetivos – fazer os malandros parecerem anjos e/ou os melhores parecerem só mais uns. Tudo isso lembra muito a antiga parábola oriental sobre os homens cegos e o elefante. Só que nesse caso os profissionais de marketing – com visão perfeita – “enxergam” os resultados de forma deliberadamente tendenciosa. Os homens cegos não tinham como evitar seus equívocos.

Claro que não é crime manipular resultados de testes. Mas acaba sendo muito difícil para os usuários separar o joio do trigo. Má notícia. Exemplo: é fácil pegar de vários dados seletivos de testes nerds e não exageradamente profissionais sobre, digamos, o uso de recursos do seu produto favorito, mantendo a boca fechada sobre os resultados (muito mais importantes) de detecção de malware. Então, essa superutilização de recursos do sistema – e só isso – é comparada à utilização de recursos dos concorrentes. Em seguida, todos os materiais de marketing martelam sem parar sobre essa superutilização de recursos e isso é considerado um exemplo de diferenciação do produto! Outro exemplo: o novo produto de uma empresa de antivírus é comparado com versões mais antigas de produtos dos concorrentes. Sem brincadeira! Esse tipo de coisa realmente acontece. Muito. Chocante? Sim!

A questão é que nenhuma mentira está sendo espalhada nisso tudo – trata-se apenas de uma extração seletiva de dados favoráveis. A interferência não envolve critérios fixos e formais – envolve apenas critérios éticos. E, sendo assim, não existem meios legais para fazermos “justiça”, só nos resta contar com você e pedir que fique atento e filtre cuidadosamente a avalanche de informações de marketing que são espalhadas por todos os cantos. Caso contrário, existe um sério risco de você acabar com um software de antivírus superanunciado, mas com tecnologia inferior, e acabar perdendo a confiança nos testes e no setor de segurança como um todo. Quem precisa disso? Nem você. Nem ninguém.

O assunto do marketing de testes inescrupuloso já foi discutido de forma geral aqui antes. Hoje, vamos examinar com mais cuidado os truques que os profissionais de marketing estão usando em seu ofício duvidoso e como é possível reconhecer e combater esses truques. Então, vou examiná-los um por um…

1) Usar laboratórios de teste “não transparentes” para testar a qualidade da detecção de malware. Esse é talvez o truque mais simples e menos arriscado que pode ser usado. Ele é preferido especialmente por pequenas empresas de antivírus ou fornecedores com tecnologia deficiente. Eles normalmente encontram um “centro de testes” menos conhecido, de um homem só, sem histórico profissional. Isso é barato, a metodologia normalmente não é revelada, verificar os resultados é impossível e todos os riscos de reputação são do próprio centro de testes (e o centro de testes não tem problema nenhum com isso).

Conclusão: se os resultados dos testes não informam a metodologia usada ou a metodologia contém sérios “bugs”, não confie nos resultados desses testes.

2) Usar testes antigos. Por que enfrentar toda essa dor de cabeça ano após ano quando você pode, a cada dois ou três anos, ganhar um teste na sorte e depois, por vários anos, ficar tagarelando sobre essa vitória única como se fosse prova ostensiva de superioridade constante?

Conclusão: verifique a data do teste. Se for antiga ou não tiver link para a fonte (resultados públicos dos testes com data de publicação), também não confie nesse teste.

3) Comparar com versões antigas. Aqui, existem duas possibilidades. Primeiro: comparações de produtos antigos em todos os sentidos – entre as quais o tal produto da empresa de antivírus conseguiu uma rara vitória. Claro, nesse meio tempo, os navios da indústria continuaram navegando a todo vapor, com a qualidade de detecção de vírus avançando tanto a ponto de ser irreconhecível. Segundo: comparações do tal produto da empresa de antivírus com versões mais antigas de produtos dos concorrentes. Isso é golpe baixo!

Conclusão: examine com cuidado a atualidade das versões dos produtos. Se você encontrar discrepâncias, com certeza estão tentando te enganar com supostos fatos. Pode esquecer esses “resultados de testes” também.

4) Comparar o incomparável. Qual a melhor forma de demonstrar sua capacidade tecnológica? Fácil! Comparar o incomparável em uma ou duas áreas cuidadosamente escolhidas. Por exemplo, produtos de categorias diferentes (corporativa e doméstica), ou tecnologias de proteção fundamentalmente diferentes (por exemplo, abordagens de proteção de ambientes virtuais sem agente e com base em agente).

Conclusão: preste atenção não apenas nas versões e datas de lançamento dos produtos comparados, mas também nos nomes dos produtos!

5) Enfatizar excessivamente algumas características, enquanto outras não são mencionadas. Estragou um teste? Estragou todos os testes? Sem problema. O marketing de testes dá um jeito nisso. A receita é simples: pegue um recurso específico (normalmente alta velocidade de varredura ou baixo uso de recursos do sistema – as características habituais da proteção cheia de buracos), escolha apenas esse entre todos os resultados dos testes e comece a enaltecê-lo com todas as suas bandeiras em todo o mundo e orgulhosamente divulgá-lo como se ele representasse uma prova de diferenciação única. Aqui está um exemplo gritante.

Conclusão: se batem muito na tecla do “rápido, eficiente, barato” – provavelmente é enganação. Simples assim.

6) Usar metodologias irrelevantes. Aqui há sempre muito espaço para manobras astutas. Usuários comuns normalmente não entram (querem entrar) em detalhes das metodologias de testes (já que eles têm coisa melhor para fazer), mas, infelizmente, o mal está sempre nos detalhes. O que acontece com frequência é que os testes não correspondem às condições do mundo real e, portanto, não refletem a qualidade real da proteção de antivírus dos produtos no mesmo mundo real. Outro exemplo: Pesos subjetivos da importância dada aos parâmetros de testes.

Conclusão: se estão comparando maçãs com peras – você pode muito bem comparar os resultados desse teste com os resultados de testes de barulho da descarga do banheiro: a utilidade das comparações será a mesma.

7) Testes seletivos. Para conseguir se safar com isso é preciso um sério esforço analítico e bastante experiência e talento em trapacear/torcer e enganar🙂 Aqui ocorre a aplicação de complexo know-how de metodologia e estatística, em que aspectos fortes de um produto são extraídos seletivamente de diferentes testes e, em seguida, é “conduzida” uma análise “comparativa” unilateral usando combinações dos métodos descritos acima. Um exemplo descarado de tal enganação pode ser encontrado aqui.

Conclusão: “Se vai mentir, conte uma mentira curta”©! Se eles se estendem muito e não exatamente a respeito do assunto – bem, é óbvio…

8) Tapeação pura e simples. Aqui existem inúmeras possibilidades. A mais disseminada é roubar detecção e ajustar produtos para testes específicos (e daí em diante agir como nos cenários acima). Em salas de chat de empresas de antivírus se fala muito sobre outras formas ultrajantes de trapaça. Por exemplo, alegaram que um desenvolvedor sem nome deu aos testadores uma versão especial de seu produto, ajustada para funcionar em seu ambiente de testes específico. O truque era fácil: para compensar a sua incapacidade de detectar todos os arquivos infectados na base de teste, o produto detectou praticamente todos os arquivos que encontrou. Claro, como efeito colateral o teste produziu uma quantidade anormal de falsos positivos – mas adivinha só? Os materiais de marketing resultantes nunca apresentaram uma única palavra sobre isso. Legal! Não.

Conclusão: só profissionais são capazes de apanhar trapaceiros. Infelizmente, os usuários comuns, não. Então, o que podemos fazer? Analise diversos testes concorrentes. Se em um teste um determinado produto apresenta resultados excepcionais, enquanto em outros ele fracassa, não se pode descartar a possibilidade de que os testadores foram simplesmente enganados de alguma forma.

9) E o último truque – e também o mais simples: recusar-se a participar de testes. Ou proibir os testadores de indicar os produtos com seus nomes reais e, em vez disso, esconder-se atrás de “Fornecedor A”, “Fornecedor B”, etc. Então, pra começar, por que participar se os resultados dos testes vão comprovar que o imperador está realmente sem roupas? Se um nome desaparece da lista de produtos testados, é possível confiar em tal produto? Claro que não.

Conclusão: verifique cuidadosamente se um determinado produto participou de todos os testes públicos dignos de confiança. Se ele participa somente dos testes em que seus méritos são apresentados e há poucas ou nenhuma deficiência, pode aumentar a desconfiança. O marketing de testes pode estar, novamente, aprontando uma de suas acrobacias duvidosas.

A propósito, se qualquer um de vocês leitores deste blog desejar investigar mais cuidadosamente diferentes resultados de testes de antivírus – e encontrar qualquer marketing de testes da KL aprontando qualquer dos truques questionáveis apresentados acima – não seja tímido: dispare sua artilharia nesta direção nos comentários. Eu prometo consertar as coisas e ter uma conversa tranquila (prometo!) com os responsáveis🙂

E agora, recapitulando rapidamente: o que um usuário deve fazer, em quem deve acreditar e como deve lidar com centenas de tabelas, testes e gráficos. (Aliás, isso já foi tratado aqui). Existem várias regras importantes para a “leitura” de resultados de testes com o objetivo de expor marketing de testes desonesto:

  • Verifique a data do teste e as versões e características dos produtos testados.
  • Verifique o histórico das “aparições” de um produto nos testes.
  • Não se concentre em um recurso específico. Analise todo o espectro dos recursos de um produto – e o mais importante, a qualidade da proteção.
  • Analise a metodologia e verifique a reputação do laboratório de testes usado.

O último ponto (4) não preocupa todos os leitores, talvez apenas os especialistas. Para não especialistas, recomendo também que verifiquem a lista de centros de testes abaixo. Essas são equipes respeitáveis, com muitos anos de experiência no setor, que trabalham com metodologias testadas e relevantes e que estão em total conformidade com as normas da AMTSO (Organização de Normas de Testes Antimalware, sigla em inglês).

Mas, primeiro, um aviso legal para reduzir o potencial de “zoação” desde o início: nem sempre ocupamos posições de destaque nos testes desses testadores. Baseio minhas recomendações somente no profissionalismo desses testadores.

E aqui – um poderoso acorde final: o ranking dos centros de testes para 2011-2012. Um pouco do interessante histórico para aqueles que desejam mais informações:

E para terminar, uma última coisa, para resumir o que já disse antes:

Provavelmente vai ter gente partindo para cima de mim e dizendo que esse foi um ataque barato contra meus concorrentes. Na verdade, a tarefa real aqui – pela enésima vez – é (re)apresentar para discussão pública um assunto sobre o qual muito tem sido dito, com frequência, já há tempos, mas para o qual uma solução não foi encontrada. Especificamente: que até hoje não existem metodologias comprovadas e inteligíveis para a realização de testes comparativos de produtos de antivírus acordadas por todos, em todos os sentidos. As metodologias que existem, infelizmente, não são totalmente compreendidas – não apenas pelos usuários, mas também pelos desenvolvedores!

Enquanto isso, vamos apenas tentar nos entendermos, mas não fechar os olhos para o problema que esse campo enfrenta, o tempo todo nos acalmando sabendo que o limite até onde a “manipulação criativa” de estatísticas pode chegar normalmente, pelo menos, está dentro de certas fronteiras – para todos os desenvolvedores. Como sempre, os usuários precisam simplesmente escolher melhor, pesquisando mais a fundo para encontrar dados reais, separando o joio do trigo. Infelizmente, nem todo mundo tem tempo ou paciência para uma tarefa como essa. Compreensível. Mas é uma pena.

Últimas palavras: fique atento!

No comments yet... Be the first to leave a reply!

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: