Nos últimos dois ou três anos, o debate sobre a implementação da inteligência artificial nos processos empresariais ganhou contornos quase inevitáveis: fala-se de produtividade, disrupção, novos modelos de negócio e, claro, de riscos éticos. Há, contudo, um tema que passa ao largo da maioria das discussões públicas e que já vem corroendo margens e fragilizando modelos de receita em diferentes setores. Trata-se do avanço silencioso, mas devastador, dos crawlers de IA.
O data-scraping sempre existiu, ou pelo menos existiu por tempo o bastante para ser considerado, hoje, como fenômeno natural da internet. Empresas de turismo, por exemplo, estão mais do que acostumadas a ver concorrentes monitorarem suas tarifas, respondendo dinamicamente em momentos chave para converter oportunidades.
Marketplaces já sabiam que, em algum nível, seus catálogos seriam replicados e portais de notícia conviviam com blogs que parasitavam suas pautas; o que mudou com o advento das novas tecnologias de inteligência artificial foi a escala e a finalidade.
Com a ascensão dos modelos generativos, o scraping deixou de ser uma ocorrência pontual e passou a ser o motor de treinamento de inteligências artificiais que alimentam ecossistemas inteiros. Ao invés de cliques, os sites entregam dados. Em vez de receita, arcam com custos crescentes de uma infraestrutura que, ou sustenta esse tráfego, ou cai por completo.
Basta observar o caso da mídia digital. Durante anos, os paywalls foram a estratégia central para reconverter audiência em assinaturas. Agora, uma parte relevante desse conteúdo, protegido e pago, já aparece nas respostas de modelos de linguagem. O assinante, diante da comodidade da resposta pronta, cancela sua assinatura ou nunca chega a assinar. O custo de manter redações, apurar e editar informação continua, mas o valor do conteúdo é transferido para terceiros que sequer dialogam com o produtor original. É como se uma biblioteca passasse a emprestar livros que não comprou, cobrando ingresso de quem entra na porta.
O e–commerce vive drama semelhante, na medida em que lojas virtuais têm, em minutos, seus estoques e preços são copiados e republicados em sites concorrentes, ou apropriados por dropshippers, que atuam como um misto entre revendedor e competidor.
O resultado não é apenas a erosão de margens por guerras de preço, mas também a manipulação de percepções de mercado: produtos podem ser artificialmente inflacionados ou rebaixados em comparadores, induzindo consumidores a tomar decisões enviesadas. Isso sem contar o impacto nas métricas internas: gestores observam picos de acessos em páginas de produto e acreditam estar diante de uma campanha bem-sucedida, quando na verdade tratava-se apenas de robôs raspando dados.
No setor de viagens, as consequências são ainda mais imediatas. Tarifas cuidadosamente calculadas para dar equilíbrio entre ocupação e rentabilidade são raspadas por operadores desleais que revendem pacotes com pouca margem, sobrecarregando call centers com clientes insatisfeitos.
São vários os exemplos de problemas trazidos pela modalidade, passando pelo iGaming, onde odds, promoções e bônus são replicados em massa, retirando qualquer diferencial competitivo e expondo operadores a prejuízos vultosos; até o mercado de classificados e imóveis, onde leads de alto valor são extraídos automaticamente e revendidos como spam, forçando empresas a pagar por aquilo que originalmente já era seu.
Não importa a natureza, o denominador comum é claro: perde-se o controle sobre o ativo digital. Custos de CDN e API sobem, métricas são corrompidas e o valor da exclusividade, que sustentava modelos de negócio inteiros, se dissolve. Lembre-se, esses sistemas foram pensados no acesso humano, manual.
As respostas mais óbvias, até aqui, falharam. O uso de robots.txt, por exemplo, não é uma defesa em hardcode, mas sim uma convenção social, trata-se, portanto, de um convite educado, mas não uma barreira real. O problema é que AI crawlers maliciosos não respeitam convenções, e mesmo empresas que oferecem mecanismos de opt-out, como o Google com sua extensão de exclusão de conteúdo para treinamento, não garantem que o material não será reutilizado em outros contextos, como os cada vez mais presentes “AI Overviews”.
Captchas, outrora a muralha mais popular, foram superados por bots que simulam comportamento humano, além de introduzirem fricção na experiência dos usuários legítimos. Bloqueios pontuais e whitelists manuais tampouco funcionam em escala, pois os agentes ofensivos se disfarçam, rotacionam IPs e distribuem tráfego.
É diante dessa realidade que a proteção na borda desponta como a resposta mais promissora. Ao colocar a inteligência de defesa antes do site ou da API, cada requisição é examinada e classificada, distinguindo humano de máquina de forma invisível para o usuário real. Tecnologias de bot management aplicam pontuações por aprendizado de máquina, identificando padrões que seriam imperceptíveis ao olhar humano: IA vs IA.
APIs passam a exigir certificados digitais, de modo que apenas clientes legítimos consigam de fato se conectar. E o tráfego abusivo, em vez de saturar a infraestrutura, é limitado, retardado ou colocado em quarentena.
O aspecto mais inovador dessa abordagem, porém, não está apenas em bloquear, mas em regular. A Cloudflare, por exemplo, já permite políticas de “pay per crawl”, nas quais o acesso por parte de determinados agentes pode ser autorizado mediante pagamento. Essa possibilidade abre uma dimensão econômica inédita: o que era antes um desvio ilegal de valor pode se converter em modelo de receita. O mesmo crawler que extraía dados de forma clandestina pode ser obrigado a remunerar quem produz o conteúdo, restabelecendo parte do equilíbrio.
A diferença essencial da proposta da Cloudflare é a seguinte: ao invés de reagir ao scraping depois que ele já atingiu o site ou a API, a proteção se dá na borda, antes que a requisição sequer chegue à aplicação. Essa mudança de perspectiva transforma o problema de técnico em estratégico, pois quem controla a borda controla o tráfego, os custos e, em última análise, a governança sobre o ativo digital.
O primeiro elemento é o Bot Management. A Cloudflare não depende de heurísticas simplórias, como checar se o “user-agent” é de um navegador conhecido. Ela utiliza machine learning para atribuir um “bot score” a cada requisição, considerando centenas de sinais: padrões de navegação, integridade do dispositivo, cadência de cliques, variação de IPs.
Na prática, isso significa que um crawler que tenta se passar por humano pode até enganar um captcha, mas dificilmente replicará a complexidade do comportamento humano real. A partir dessa pontuação, a empresa pode escolher: deixar passar, submeter a um desafio invisível, retardar a resposta ou bloquear de vez.
O segundo pilar é a proteção de APIs, que hoje são um dos pontos mais vulneráveis das organizações. APIs foram desenhadas para facilitar a integração de parceiros e serviços, mas tornaram-se também a porta de entrada preferida de bots sofisticados. A Cloudflare atua em duas frentes. Primeiro, com mTLS (mutual TLS), que exige certificados digitais para validar a identidade de quem acessa: um scraper anônimo, ainda que consiga encontrar a rota da API, simplesmente não passa da porta se não tiver credenciais legítimas.
Depois, com a validação de esquema, que rejeita automaticamente qualquer chamada que não esteja em conformidade com o contrato previamente definido (por exemplo, parâmetros errados ou consultas fora do padrão). Isso fecha a porta para ataques de scraping massivo e ainda reduz riscos de segurança.
A terceira camada é o rate limiting inteligente. Não basta saber se algo é humano ou robô: é preciso administrar a qualidade do tráfego. A Cloudflare permite limitar requisições por rota, por chave de API ou até por padrão de comportamento. Imagine um site de e-commerce em que um produto sofre mil acessos em dez segundos, todos vindos de uma mesma faixa de IPs residenciais.
Isso dificilmente é interesse legítimo de consumidores, e sim scraping automatizado. O sistema pode rebaixar a prioridade desse tráfego, aplicando uma espécie de “quarentena digital”, sem afetar os usuários reais que continuam navegando normalmente.
Por fim, o quarto e mais disruptivo componente é a já mencionada monetização de crawlers. A Cloudflare já oferece a possibilidade de aplicar a política do “pague para coletar”. Traduzindo: se determinado agente quiser indexar o conteúdo de um portal de notícias ou de um marketplace, poderá fazê-lo mediante pagamento.
Para isso, a tecnologia de borda passa a emitir respostas condicionadas ao status do crawler: ou ele se autentica e paga, ou não tem acesso. Essa possibilidade inaugura uma dimensão econômica que muda o jogo. O que antes era um custo invisível e inevitável, agora pode se transformar em fonte de receita.
O valor da solução está justamente na combinação desses elementos, e onde eles se apresentam, no caso, ANTES de cruzar a sua fronteira e sobrecarregar a infraestrutura e gerar métricas falsas. É o equilíbrio entre defesa técnica avançada e flexibilidade de governança. Não se trata de simplesmente erguer um muro digital, mas de criar um sistema de portaria inteligente, que sabe diferenciar vizinhos de intrusos, visitantes de clientes e que, quando convém, ainda cobra ingresso dos que desejam entrar.
O que emerge, portanto, é uma abordagem mais madura. A empresa deixa de ser vítima passiva de scraping e passa a ditar as regras do jogo: quem entra, quem não entra e, eventualmente, quem paga para entrar. É por isso que, entre as soluções disponíveis, a Cloudflare desponta não apenas como a mais robusta tecnicamente, mas também como a mais próxima de uma verdadeira governança de borda.
É claro que não existe solução absoluta. Crawlers continuarão evoluindo, assim como defesas precisarão se sofisticar. Mas a experiência recente mostra que as estratégias tradicionais, como robots.txt, captchas e bloqueios reativos, não dão conta de um problema que deixou de ser técnico para se tornar estratégico. A proteção na borda, apoiada em inteligência de máquina e em mecanismos de governança, é a alternativa mais sólida que temos no momento.
Ao fim, a questão não é se as empresas serão alvo de scraping, mas de que forma reagirão quando forem. Ignorar o problema é entregar de bandeja o ativo mais valioso que possuem: seus dados, sua audiência, sua própria capacidade de gerar valor. Adotar uma abordagem moderna de proteção na borda, por outro lado, é mais do que mitigar um risco técnico.
É retomar o controle, preservar modelos de negócio e, em certos casos, transformar ameaça em oportunidade, porque a verdadeira maturidade em segurança da informação vai além de enfrentar a ameaça, mas também, enxergar nela oportunidade.
Por João Lucas Saldanha – Advisor em Governança Algorítmica e Proteção de Dados Pessoais na Tripla e Rodrigo Nunes – Head de Cyber Segurança na Tripla
