neckfireandClaude Opus 5
f8c8e16e7e
Build & Deploy / build (push) Successful in 16s
La page admin appelait /admin/scrapers/logs et /admin/scrapers/run, absents de l'API : 404 sur cet onglet. - Nouvelle table scraper_runs (source, status, started_at, finished_at, documents_added, message), créée au boot par le create_all de entrypoint.sh. - GET /admin/scrapers/logs : les 20 dernières exécutions, réservé aux admins. - POST /admin/scrapers/run?source=CIR|SCCS : journalise puis lance le scraper en tâche de fond, et renvoie la ligne de journal attendue par le front. Refuse en 409 si une exécution de la même source est déjà en cours. - Le nombre de documents ajoutés est mesuré avant/après, comme le fait déjà le cron hôte. Les imports de scrapers sont tardifs : ollama/pdfplumber/bs4 sont lourds et ne servent qu'ici, inutile de les charger au démarrage de l'API. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
31 lines
1.3 KiB
Python
31 lines
1.3 KiB
Python
from sqlalchemy import Column, DateTime, Integer, String
|
|
from database.database import Base
|
|
|
|
class User(Base):
|
|
__tablename__ = "users"
|
|
id = Column(Integer, primary_key=True, index=True)
|
|
email = Column(String, unique=True, index=True)
|
|
password = Column(String)
|
|
full_name = Column(String, nullable=True)
|
|
role = Column(String, default="user") # ← nouveau
|
|
|
|
class Document(Base):
|
|
__tablename__ = "documents"
|
|
id = Column(Integer, primary_key=True, index=True)
|
|
title = Column(String)
|
|
ingredient = Column(String)
|
|
source = Column(String)
|
|
document_type = Column(String)
|
|
meeting_date = Column(String, nullable=True)
|
|
pdf_url = Column(String, unique=True)
|
|
|
|
class ScraperRun(Base):
|
|
"""Une exécution de scraper, déclenchée depuis la page admin ou par le cron."""
|
|
__tablename__ = "scraper_runs"
|
|
id = Column(Integer, primary_key=True, index=True)
|
|
source = Column(String, index=True) # CIR | SCCS
|
|
status = Column(String, default="pending") # pending | running | success | error
|
|
started_at = Column(DateTime(timezone=True))
|
|
finished_at = Column(DateTime(timezone=True), nullable=True)
|
|
documents_added = Column(Integer, default=0)
|
|
message = Column(String, nullable=True) |