[Bot]

Hello, je suis en train de créer un bot pour détecter les erreurs de prix Amazon.

Le bot est déjà quasi fonctionnel, je peux ajouter en bulk une multitude d’ASIN, et le backend schedule une surveillance des prix toutes les X heures, et me remonte des alertes.

Si du monde a déjà de l’expérience sur ce genre de bot, je serais ravi d’en discuter.

Le backend est en Kotlin.
Je cherche à optimiser le tout et à réduire les erreurs de scraping. Quelqu’un a déjà utilisé des proxies ? Si vous avez des recommandations, je suis preneur.

A+

——————–
lornmalvo – Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

slt

——————–
ranma_chu – Envoyé depuis le Discord : Culte du code

[Bot]

Salut!

——————–
lornmalvo – Envoyé depuis le Discord : Culte du code

[Bot]

comment tu parcours les annonces avec ton bot ?

——————–
ranma_chu – Envoyé depuis le Discord : Culte du code

[Bot]

Il faut déjà ajouter les produits que tu veux surveiller en base
Sur Amazon, dans l’URL tu as l’ASIN, c’est l’identifiant d’un produit

——————–
lornmalvo – Envoyé depuis le Discord : Culte du code

[Bot]

ok mais ensuite ?

——————–
ranma_chu – Envoyé depuis le Discord : Culte du code

[Bot]

ensuite, du simple scrapping

——————–
lornmalvo – Envoyé depuis le Discord : Culte du code

[Bot]

tu recuperes le prix, la disponibilités, etc

——————–
lornmalvo – Envoyé depuis le Discord : Culte du code

[Bot]

Je suppose que l’ASIN n’est pas le même sur tous les amazon

——————–
segfaultbreaker – Envoyé depuis le Discord : Culte du code

[Bot]

Parce que du coup surveiller les pris sur un seul Amazon je suis pas persuadé que ça soit vraiment efficace car sur les Amazon d’autres pays en général y’a des différences de prix

——————–
segfaultbreaker – Envoyé depuis le Discord : Culte du code

[Bot]

Notamment en Allemagne avec les produits tech

——————–
segfaultbreaker – Envoyé depuis le Discord : Culte du code

[Bot]

Les ASIN sont les mêmes selon les différents Amazon

——————–
lornmalvo – Envoyé depuis le Discord : Culte du code

[Bot]

Ohhh ok 🙂

——————–
segfaultbreaker – Envoyé depuis le Discord : Culte du code

[Bot]

Tu utilise quoi pour le scrapping ? wget ou un truc plus lourds comme sélénium ?

C’est intéressant de savoir si amazon a des protections anti-bot.

——————–
xenohim – Envoyé depuis le Discord : Culte du code

[Bot]

Tiens c’est marrant qu’il y ait un thread qui parle de ce sujet, je viens justement de sortir un bot sur l’une de mes plateformes qui permet de surveiller les changements sur n’importe quelle page, je fais ça via du point & click sur une interface, ça met en surbrillance toutes les div/span/a/ etc… et une fois cliqué ça récupère l’id/class/path CSS pour scraper. Et au niveau du scrape, ça se fait en 1er via une requête CURL avec tout le nécessaire dans le header (dont user agent, refer etc) pour paraître plus « légitime » (testé avec plusieurs sites), et si vraiment ça passe pas à cause d’un anti-boty « trop » efficace, j’ai un VPS RDP sous windows et selenium d’installé, mais une version où j’ai modifié l’empreinte du chromium dans le code + j’utilise une version stealth et non headless de Selenium, et là en général ça ne détecte plus que c’est un bot, puisque ça ce comporte a 90% comme un vrai navigateur

——————–
djezuskryst – Envoyé depuis le Discord : Culte du code

[Bot]

et je sais par exemple que Amazon le bot utilise Selenium et pas curl pour s’y connecter, donc j’imagine qu’ils ont soit anti bots, soit nécessitent le JS

——————–
djezuskryst – Envoyé depuis le Discord : Culte du code

[Bot]

ça parle de Selenium ?

——————–
dovahkiindrenaak – Envoyé depuis le Discord : Culte du code

[Bot]

——————–
djezuskryst – Envoyé depuis le Discord : Culte du code

[Bot]

trés intéressant. Tu l’as fait toi même t’as version stealth de sélénium ?

——————–
xenohim – Envoyé depuis le Discord : Culte du code

[Bot]

undetected-chromedriver a l’air très utilisé en python

——————–
xenohim – Envoyé depuis le Discord : Culte du code

[Bot]

j’utilise UC oui, mais j’envoie ausi certains paramètres à cacher en JS (webdriver), et j’ai modifié le code de mon Chromium pour renommer le préfixe des cookies

——————–
djezuskryst – Envoyé depuis le Discord : Culte du code

[Bot]

Par contre si ton bot est capable de faire un briefing des sécurité anti-bot, ça peut très intéressant pour un dev qui a besoin de savoir quel niveau d’anti bot il va devoir utiliser pour scrapper une page web.
Ce genre d’outils devrait plus exister

——————–
xenohim – Envoyé depuis le Discord : Culte du code

[Bot]

Non moi il sert pas à faire un report des sécurités rencontrées pour le coup, ça c’est encore autre chose, mes bots sont là que pour remplir une fonction en particulier

——————–
djezuskryst – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses