O Poder do Analista de Inteligência de Mercado: Netflix Prize – o concurso de 1 milhão de dólares para prever o que o cliente quer assistir

Em 2 de outubro de 2006, a Netflix abriu um concurso com prêmio de 1 milhão de dólares para quem melhorasse em 10% a precisão do seu sistema de recomendação de filmes, o Cinematch. A empresa liberou 100.480.507 notas dadas por 480.189 clientes a 17.770 filmes, mais de 40.000 equipes de 186 países se inscreveram só no primeiro ano, e o vencedor foi anunciado em 18 de setembro de 2009. A história inclui um empate decidido por 20 minutos, uma ação judicial por violação de privacidade e o cancelamento da segunda edição. É um caso completo para o analista de inteligência de mercado, porque mostra como transformar dados de clientes em previsões e quais riscos acompanham essa decisão.

O que era o Netflix Prize?

Um concurso aberto de ciência de dados. Segundo a Wikipedia, a competição começou em 2 de outubro de 2006, com prêmio de 1 milhão de dólares, e o desafio era superar o Cinematch em outros 10%, chegando a um erro de 0,8572 no conjunto de teste. O erro é medido pela raiz do erro quadrático médio (RMSE, na sigla em inglês), uma medida de quanto, em média, a nota prevista para um filme se afasta da nota que o cliente de fato deu. O alvo de 0,8572 equivale a uma redução de 10% sobre um erro de cerca de 0,9525 (0,8572 dividido por 0,9), valor de referência do Cinematch calculado a partir do enunciado, e não informado pela fonte.

Os dados liberados para as equipes tinham 100.480.507 notas de 480.189 usuários para 17.770 filmes. Dividindo, cada usuário avaliou em média cerca de 209 filmes, e cada filme recebeu em média cerca de 5.650 notas.

Por que a matriz de dados era difícil de usar?

Porque era muito vazia. Se cada um dos 480.189 usuários tivesse avaliado todos os 17.770 filmes, haveria mais de 8,5 bilhões de notas. As 100,5 milhões existentes preenchem cerca de 1,2% dessa grade. O problema que as equipes precisavam resolver era justamente prever os outros 98,8%, ou seja, estimar a nota que um cliente daria a um filme que ele nunca avaliou. O mesmo desafio aparece em qualquer base de clientes: poucos dados por pessoa, uma multidão de pessoas e um catálogo extenso de produtos.

Como foi a disputa?

Segundo a Wikipedia, os principais marcos foram:

• 2 de setembro de 2007: mais de 40.000 equipes de 186 países haviam se inscrito;
• 13 de novembro de 2007: a equipe KorBell (antes BellKor) ganhou o primeiro prêmio de progresso, de 50.000 dólares, com erro de 0,8712. Os prêmios de progresso eram dados uma vez por ano, a quem superasse o vencedor anterior em pelo menos 1%;
• 2008: a BellKor, em conjunto com a BigChaos, ganhou o segundo e último prêmio de progresso, com erro de 0,8616;
• 18 de setembro de 2009: a Netflix anunciou a equipe BellKor’s Pragmatic Chaos como vencedora, com erro de 0,8567, e o prêmio foi entregue em cerimônia em 21 de setembro.

Como um empate foi decidido?

Pelo horário. A equipe The Ensemble chegou ao mesmo resultado da BellKor, e a Wikipedia registra que a submissão da BellKor foi enviada 20 minutos antes, o que lhe deu a vitória. A diferença entre o alvo de 0,8572 e o resultado vencedor de 0,8567 foi de apenas 0,0005 ponto, e o ganho final de cada equipe se resumia a décimos de milésimo de erro.

Qual o valor de uma melhoria de 10% em previsão?

A pergunta é a que interessa a quem trabalha com inteligência de mercado: a precisão do modelo se traduz em dinheiro? Uma simulação com valores inventados mostra a lógica. Suponha uma plataforma com 10 milhões de assinantes, mensalidade de 10 dólares e uma recomendação melhor que evite o cancelamento de 5.000 assinantes por mês (0,05% da base). Ao fim de 12 meses, acumulando os assinantes retidos mês a mês, a receita preservada no ano é de 3,9 milhões de dólares (5.000 assinantes, vezes 78 assinantes-mês acumulados na progressão de 1 a 12, vezes 10 dólares). O valor supera o prêmio de 1 milhão de dólares em um ano, sem considerar o custo de engenharia para colocar o modelo em produção. A conta mostra que o prêmio era barato perto do benefício possível, e que o benefício real depende de o modelo ser implantado.

A Netflix usou o algoritmo vencedor?

A página da Wikipedia sobre o concurso cita uma reportagem cujo título afirma que a Netflix nunca usou o algoritmo de 1 milhão de dólares por causa dos custos de engenharia. Como o texto da página não desenvolve a afirmação, este artigo a trata como relato citado, e não como fato verificado. A lição para o analista é independente da resposta: um modelo mais preciso só gera valor quando o custo de implantá-lo cabe no benefício, e a precisão marginal das últimas casas decimais costuma ser cara.

O que deu errado na privacidade?

Os dados liberados eram anonimizados, sem nomes, mas isso não bastou. A Wikipedia relata que os pesquisadores Arvind Narayanan e Vitaly Shmatikov, da Universidade do Texas em Austin, identificaram usuários individuais cruzando as notas com avaliações públicas do IMDb. A página data o trabalho de 2007.

As consequências foram judiciais:

• 17 de dezembro de 2009: quatro usuários da Netflix entraram com uma ação coletiva;
• 12 de março de 2010: a Netflix anunciou que não faria a segunda edição do concurso, em resposta ao processo e a preocupações da Federal Trade Commission, agência americana de defesa do consumidor, com a privacidade;
• 19 de março de 2010: a Netflix fechou acordo no processo.

O que a LGPD diz sobre dados anonimizados?

A Lei Geral de Proteção de Dados (Lei 13.709/2018) prevê, no art. 12, que dados anonimizados não são considerados dados pessoais, salvo quando o processo de anonimização puder ser revertido. O caso Netflix mostra o risco concreto: a anonimização feita apenas com a retirada de nomes foi revertida pelo cruzamento com outra base. Um analista que compartilha dados de clientes com agências, parceiros ou concursos de análise precisa avaliar se a combinação com bases externas permite reidentificar as pessoas, e documentar essa avaliação.

Como se mede o erro de um modelo de previsão?

O RMSE segue quatro passos: calcular a diferença entre a nota prevista e a real, elevar cada diferença ao quadrado, tirar a média e extrair a raiz quadrada. Um exemplo com cinco notas inventadas mostra a conta. As notas reais são 4, 3, 5, 2 e 4, e o modelo previu 3,5, 3, 4, 3 e 4,5. As diferenças são -0,5, 0, -1, 1 e 0,5; os quadrados somam 0,25 + 0 + 1 + 1 + 0,25 = 2,5; a média é 0,5; e a raiz de 0,5 é cerca de 0,71. Elevar ao quadrado dá mais peso aos erros grandes, e um modelo que erra uma nota por 2 estrelas é punido mais do que um que erra duas notas por 1.

O que significa uma melhoria de 10% em estrelas?

Menos do que parece. Pelos números do concurso, a distância entre o erro de referência calculado, cerca de 0,9525, e o alvo de 0,8572 é de aproximadamente 0,095 estrela, ou menos de um décimo de uma estrela na escala de notas. A disputa de três anos, portanto, girou em torno de ganhos que um cliente isolado dificilmente notaria, e o valor vinha da soma em milhões de recomendações. Ao reportar um resultado desse tipo, o analista traduz a métrica técnica em efeito para o negócio, como foi feito na simulação de retenção acima, em vez de apresentar apenas a queda do erro.

Como verificar se uma base anonimizada pode ser reidentificada?

1. Listar os campos que, combinados, identificam alguém, como datas, localidade, produtos raros e notas dadas;
2. Procurar bases públicas com os mesmos campos, como avaliações em sites, redes sociais e cadastros abertos, o caminho usado no caso do IMDb;
3. Testar a reidentificação internamente, com uma amostra, antes de compartilhar a base fora da empresa;
4. Reduzir o detalhe, agrupando datas em períodos e removendo itens muito raros, quando o risco for alto;
5. Registrar a análise e o responsável, para demonstrar cuidado em caso de questionamento.

Que lições o concurso traz para a inteligência de mercado?

1. Defina uma métrica clara. O RMSE permitiu comparar milhares de submissões com um número só, e também fixou o que os participantes otimizaram;
2. Escolha o alvo com base no valor. A Netflix pediu 10% de melhoria, e a decisão de pagar 1 milhão de dólares exigiu uma estimativa do retorno;
3. Considere a implantação desde o início. Modelos precisam funcionar em produção, com custo e prazo compatíveis;
4. Proteja as pessoas por trás dos dados. Anonimizar não é apenas remover o nome;
5. Combine abordagens. O resultado vencedor veio de uma união de equipes, a BellKor’s Pragmatic Chaos, e não de um único método.

Como um analista traduz um modelo de previsão em decisão de negócio?

• Passo 1: converter o erro do modelo em impacto no cliente, como recomendações aceitas, compras ou cancelamentos evitados;
• Passo 2: comparar o benefício anual com o custo de desenvolvimento, implantação e manutenção;
• Passo 3: testar com um grupo de clientes e um grupo de controle antes de ampliar;
• Passo 4: acompanhar o desempenho ao longo do tempo, já que o comportamento do cliente muda e o modelo envelhece.

O Guia de Carreiras da Strong sobre o Analista de Inteligência de Mercado detalha a formação, as ferramentas e as faixas salariais da função.