[Bot]

Bonjour, j’ai un programme qui me permet d’avoir ENORMEMENT de donnée que je souhaite ensuite mettre dans une db sqlite (avec python), le probleme, c’est que pour l’instant c’est tres long, j’ai 470k query a faire, et j’obtiens les donnée en 7m en flux. Pour l’instant je mets dans une queue les query a faire que je fais une par une dans un thread separé, mais ca ne va pas du tout, je ne sais pas si garder une connection a la db pour toutes les query est une solution, ni meme si ne commit qu’a la fin est une bonne idée, je voudrais votre avis

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

Sujet

[Bot]

j’avais pensé a faire avec executemany, qui est apparament plus efficace mais comment l’utiliser avec mon systeme de queue actuel

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

[Bot]

et je ne pense pas non plus que multithreader les query ne soit une bonne idée, de ce que j’ai vu c’est pas recommendé

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

[Bot]

Executemany devrait faire le taff oui

——————–
ranma_chu – Envoyé depuis le Discord : Culte du code

[Bot]

Faudrait qu’on puisse voir ton code déjà

——————–
ranma_chu – Envoyé depuis le Discord : Culte du code

[Bot]

C’est avec ca que je gere la queue, elle ne sert pas que a ca, je peux aussi y mettre d’autres fonction mais pour ce probleme la il n’y a que ca, Et j’ajoute dans la queue avec: Je pense que execute many serait pas mal aussi, mais comment l’utiliser si je recois les données en flux

    def enqueue(self, func, args=()):
        if not self.running:
            self.running = True
            if not self.worker_thread.is_alive():  # Check if the worker thread is alive
                self.worker_thread = threading.Thread(target=self.dequeue)
                self.worker_thread.daemon = True
                self.worker_thread.start()
        self.queue.put((func, args))
        self.total += 1
        self.remaining += 1
        
    def dequeue(self):
        while self.running:
            try:
                func, args = self.queue.get(timeout=1) 
                if func == sqlite3.Connection.execute:
                    with DatabaseManager("./db/server.db") as db:
                        db.execute(args[0])
                else:
                    func(*args)
                self.queue.task_done()
                self.remaining -= 1
            except queue.Empty:
                continue
            if self.queue.empty():
                self.running = False

    @staticmethod
    def get_query(table: str, data: list, or_replace=True) -> str:
        return f"INSERT {"OR REPLACE " if or_replace else ""}INTO {table} ({', '.join([f'"{row.name}"' for row in TABLES[table].rows])}) VALUES ({', '.join([f"'{str(i)}'" for i in data])});"
    
# dans une fonction quelconque
                query = self.get_query("Table", list_elem)
                self.enqueue(sqlite3.Connection.execute, (query,))

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

[Bot]

j’ai pas preciser, mais TABLES c’est un dict qui contient des object « representant » les differents table de ma db, ex:

Relocate = Table("Relocate", [
    Row("pos_X", INTEGER),
    Row("pos_Y", INTEGER),
    Row("full_pos", TEXT, primary_key=True),
])

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

[Bot]

(Tables et Row sont des dataclass que j’ai faites pour ca)

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

[Bot]

j’ai fais qlq modif et utilisé executemany je pensais pas que ca ferai une difference pareil

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

[Bot]

je suis passé de 470k execute, a 19k et ca a l’air d’etre bon

——————–
remi_avec_un_i – Envoyé depuis le Discord : Culte du code

[Auteur]

Réponses