app.pipeline

 1"""
 2Módulo pipeline
 3
 4Responsável por orquestrar o fluxo completo do processamento dos emails,
 5incluindo extração de texto, pré-processamento, hashing para cache,
 6classificação via IA e salvamento dos resultados em cache.
 7"""
 8
 9from app.services.file_service import save_file, extract_file_content
10from app.services.nlp_service import preprocess_text, get_text_hash
11from app.services.ai_service import classify_and_suggest
12from app.services.cache import cache
13from app.utils import delete_file
14import logging
15
16logging.basicConfig(level=logging.INFO)
17
18def process_uploaded_file(file):
19    """
20    Processa um arquivo de email (TXT ou PDF) carregado pelo usuário.
21
22    - Salva o arquivo no sistema de arquivos.
23    - Extrai o texto do arquivo.
24    - Pré-processa o texto (remove stopwords, normaliza).
25    - Gera um hash do texto para verificar cache.
26    - Caso já exista, reutiliza classificação anterior.
27    - Caso não exista, envia para IA classificar e armazena o resultado no cache.
28    - Exclui o arquivo salvo após o processamento.
29
30    Args:
31        file: Um objeto de arquivo recebido via upload (Flask `FileStorage`).
32
33    Returns:
34        dict: Um dicionário com a classificação e resposta sugerida.
35              Exemplo: {"categoria": "Produtivo", "resposta_sugerida": "..."}
36    """
37    filename, filepath = save_file(file)
38    try:
39        text_content = extract_file_content(filename, filepath)
40        cleaned_text = preprocess_text(text_content)
41        text_hash = get_text_hash(cleaned_text)
42
43        cached_result = cache.get(text_hash)
44        if cached_result:
45            logging.info("Cache hit - reutilizando classificação anterior.")
46            return cached_result
47
48        classification = classify_and_suggest(cleaned_text)
49        cache.set(text_hash, classification)
50    finally:
51        delete_file(filepath)
52
53    return classification
54
55def process_raw_text(text):
56    """
57    Processa um texto bruto inserido diretamente pelo usuário.
58
59    - Pré-processa o texto (remove stopwords, normaliza).
60    - Gera um hash do texto para verificar cache.
61    - Caso já exista, reutiliza classificação anterior.
62    - Caso não exista, envia para IA classificar e armazena o resultado no cache.
63
64    Args:
65        text (str): Texto do email fornecido pelo usuário.
66
67    Returns:
68        dict: Um dicionário com a classificação e resposta sugerida.
69              Exemplo: {"categoria": "Produtivo", "resposta_sugerida": "..."}
70    """
71    cleaned_text = preprocess_text(text)
72    text_hash = get_text_hash(cleaned_text)
73
74    cached_result = cache.get(text_hash)
75    if cached_result:
76        logging.info("Cache hit (text) - reutilizando classificação anterior.")
77        return cached_result
78
79    classification = classify_and_suggest(cleaned_text)
80    cache.set(text_hash, classification)
81    return classification