Nos últimos 90 dias Estamos com imensas dificuldades no OJS por conta do Web scraping /raspagem que as IAs estão fazendo no sistema. Ele não tá sustentando as dezenas de IAs que fazem milhares de pesquisas todos os dias….
Não é um caso isolado apenas da UFT, mas pelo que vi, com outras federais da região norte também… temo que seja geral. Vocês tem ideia de alguma estratégia para resolver?
Olá @gilporto ,
pelo cenário relatado, acredito que o controle desse tipo de raspagem não deva ficar somente no OJS. O sistema pode identificar bots para fins estatísticos, mas isso não significa que consiga impedir que as requisições cheguem à aplicação e consumam recursos.
O ideal é tratar esse tráfego em uma camada anterior ao OJS, como proxy reverso, WAF, firewall ou servidor web, aplicando regras de bloqueio e/ou rate limiting.
Também é possível utilizar robots.txt para orientar crawlers conhecidos, inclusive de IA, mas ele não é uma proteção efetiva contra bots que ignorem essas regras.
Eu recomendaria primeiro analisar os logs do Apache/Nginx para identificar quais bots, IPs e URLs estão gerando a sobrecarga. A partir disso, a TI pode criar regras de limitação ou bloqueio sem prejudicar indexadores legítimos, como mecanismos de busca e serviços acadêmicos.
Em resumo:o OJS não deveria ser a principal camada de defesa contra esse tipo de tráfego; o controle deve ocorrer preferencialmente na infraestrutura que fica à frente da aplicação.
@gilporto , tenho visto relatos ao redor do mundo dessa dificuldade. Ela não se restringe a hospedagem do OJS.
Além das dicas do @diegojmacedo , sugiro proteger em especial aonde identifica os maiores gargalos de desempenho no OJS. Por exemplo, proibir que bots indexem buscas no OJS (fazer via robots.txt ajuda a bloquear os bots comportados), verificar se há plugins ineficientes deixando páginas lentas (os de artigos do mesmo autor e o de artigos semelhantes são os mais comuns) e assim por diante. Resolvendo estes gargalos, o OJS tende a ficar bem mais estável. Mas ainda haverão rajadas de acessos que um WAF / antibot tende a ser a melhor solução.
Um cuidado especial é não bloquear acessos legítimos, inclusive de bots comportados.