Chez moi c'est cool mais j'ai rien du tout de matos pour faire cela rapidement, y'a pas des offres de serveurs "low cost" quelque part pour gérer cela facilement ? j'ai pas besoin de beaucoup de compute ...
rat de combat
attention rongeur méchant!
Posté le 22-07-2023 à 18:44:35
Non mais faut oublier, les sites vont te bloquer voir pire...
Sinon y'a certainement des serveurs "low cost" mais faut s'y connaître, c'est compliqué tout ce monde.
Chez les gros hyper scalers tu as une petite vm gratos ou si tu veux embarquer ça dans leur produit serverless si ça consomme pas trop ça peut être gratos pour toi
peut être un VPS chez OVH à quelques euros par mois ?
Ca, ou le Free Tiers chez AWS/Azure/GCP, la plupart du temps c'est suffisant pour une micro instance pour un an, si y a pas de traitement lourd ça peut suffire.
@rat: Ca dépend comment il crawle, ce qu'il crawle, à quelle vitesse etc...
TotalRecall
Posté le 24-07-2023 à 09:20:51
Exact mais c'est bien de prévenir quand même
Même en limitant la charge, les gros sites détectent et bloquent souvent ce genre de traffic dès qu'ils sentent que ça vient d'un truc automatique (entête http suspecte avec user-agent chelou, ip unique, bounce rate, appels parallèles... Y a des dizaines de trucs qui vont te trahir donc si le site est bien protégé n'espère pas trop passer au travers )