[Bot]

quand je lance mon script le contenue est vide et je passe robot.txt en respectant ces normes du coup je comprends pas pourquoi mon contenu est de mon ouput est vide quand je crawl j’essaie d’apprendre scrapy si vous pourriez m’aider j’en serai reconnaissant

import scrapy
from scrapy.spiders import Rule, CrawlSpider
from scrapy.linkextractors import LinkExtractor
from scrapy.selector import Selector
from scrapy.http import Request
from scrapy.loader import ItemLoader
import pandas as pd


class SpiderPartySpider(scrapy.Spider):
    name = "Spider_party"
    allowed_domains = ["www.lagraviere.ch"]
    start_urls = ["https://lagraviere.ch"]
    DOWNLOAD_DELAY = 10


    def parse(self, response):
        # Trouver et suivre les liens vers les pages d'événements
        for href in response.css('a.event-link::attr(href)'):
            yield response.follow(href, self.parse_event)

        def parse_event(self, response):
            # Extraire les informations de chaque page d'événement
            yield {
                'title': response.css('h1::text').get(),
                'date_time': response.css('div.event-date-time::text').get(),
                'type': response.css('div.event-type::text').get(),
                'description': response.css('p.description::text').get(),
                'artists': response.css('div.artists p::text').getall(),
                'practical_info': response.css('div.practical-info p::text').getall(),
            }

——————–
niwayume – Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

je n’ai aucune erreur et je vois que je récup un lien avec le crawlinf

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

J’ai un peu avancé voici les data que j’arrive à extraire actuellement

{"title": "HIP HOP LIVE!", "image-link": "https://lagraviere.ch/wp-content/uploads/2023/12/NORSACCE_SQUARED.png", "info-pratique": null},

{"title": "LIVE!", "image-link": "https://lagraviere.ch/wp-content/uploads/2023/11/JOANNA_FEED.png", "info-pratique": null},

{"title": "HIP HOP LIVE!", "image-link": "https://lagraviere.ch/wp-content/uploads/2023/10/SWING_FEED-IG-1.png", "info-pratique": null},

{"title": "DIGITAL SHAMANS 10 YEARS PARTY", "image-link": "https://lagraviere.ch/wp-content/uploads/2023/12/10-YEARS_insta.jpg", "info-pratique": null},

{"title": "LIVE! x JAZZHANE", "image-link": "https://lagraviere.ch/wp-content/uploads/2023/11/SHKOON_IG-FEED-1.png", "info-pratique": null}
]

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

je réussi à avancer de event en event et récup des données mais même en ayant la bonne strucutre pour la partie info pratique c’est toujours vide/null

class SpiderPartySpider(scrapy.Spider):
    name = "Spider_party"
    allowed_domains = ["www.lagraviere.ch"]
    start_urls = ["https://lagraviere.ch"]

    custom_settings = {
        'DOWNLOAD_DELAY': 10,  # Application du délai
         'User_agent': "*",    # login
    }

    def parse(self, response):
        for article in response.css('main#primary article'):
            for href in response.css('a.link-event::attr(href)'):
                yield response.follow(href, self.parse_event)

    def parse_event(self, response):  # Cette méthode devrait être au même niveau que 'parse'
        # Extraire les informations de chaque page d'événement
        yield {
            'title': response.css('h1::text').get(),
            'image-link': response.css('div.entry-content img::attr(src)').get(),
            'info-pratique': response.css('div.wp-block-group alignfull is-style-default is-layout-constrained wp-block-group-is-layout-constrained p::text').get(),
        }

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

et j’arrive pas à savoir si c’est lié au nom WP des div ou si c’est jute le paragraphe qui est lisible

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

le chemin que j’utilise me semble correct vu que j’ai check la page et même dl

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

parce que même si je récupère l’entièreté du P j’ai qu’a modifier la chaine de caractère mais par contre si c’est vide je comprends pas si c’est une erreur de reqête ou si juste j’ai oublier un élément

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

personnne ?

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

Je vais devenir fou peu importe la variation au niveau de la requête il n’y a pas de contenue

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

y’a vraiment personne qui utilise Scrapy ?

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

essaye selenium eventuellement

——————–
dovahkiindrenaak – Envoyé depuis le Discord : Culte du code

[Bot]

mais il y a uniquement 1 partie que je peux pas récup ça aucun sens je vais devoir apprendre une nouvelle librairie

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

parce que je peux récupe le titre et d’autre chose mais rien dans info pratique

——————–
niwayume – Envoyé depuis le Discord : Culte du code

[Bot]

Salut, on lis bien les déclaration des fonctions dans ton code mais à quel moment cette classe est instanciée et exécutée ??

——————–
arstotzka_nissa – Envoyé depuis le Discord : Culte du code

[Bot]

Ce que je vois c’est que dans la déclaration de ta classe fille `SpiderPartySpider` tu n’appelle à aucun moment le constructeur de la classe mère

——————–
arstotzka_nissa – Envoyé depuis le Discord : Culte du code

[Bot]

alors je sais pas ou est implémentée ta classe, mais le plus simple est de fournir un dépôt git avec le code complet comprenant aussi les autres fichiers

——————–
arstotzka_nissa – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses