74 lines
2.5 KiB
Python
74 lines
2.5 KiB
Python
import base64
|
|
import binascii
|
|
from typing import Callable, Type, Any, TypeVar
|
|
from langchain_core.runnables import Runnable
|
|
from langchain_core.prompts import ChatPromptTemplate
|
|
from langchain_core.output_parsers import PydanticOutputParser
|
|
from langchain_google_genai import ChatGoogleGenerativeAI
|
|
from pydantic import BaseModel
|
|
|
|
from utils.parsers import process_profile
|
|
from validation.from_profile import FromProfile
|
|
|
|
|
|
def extract_profile(client_data: dict[str, Any]):
|
|
passport_data = client_data.get("profile")
|
|
|
|
prompt_template = (
|
|
"Extract the following information from the provided text.\n"
|
|
"Return only JSON matching this format:\n{format_instructions}\n\n"
|
|
"Pay special attention to the passport number and signature.\n"
|
|
"Passport text:\n{processed_text}"
|
|
)
|
|
|
|
result = __run_extraction_chain(
|
|
raw_file_data=passport_data,
|
|
file_processor=process_profile,
|
|
pydantic_model=FromProfile,
|
|
prompt_template=prompt_template,
|
|
)
|
|
|
|
return result
|
|
|
|
ModelType = TypeVar("ModelType", bound=BaseModel)
|
|
def __run_extraction_chain(
|
|
*,
|
|
raw_file_data: str,
|
|
file_processor: Callable[[str], str],
|
|
pydantic_model: type[ModelType],
|
|
prompt_template: str,
|
|
model_name: str = "gemini-2.0-flash"
|
|
) -> ModelType:
|
|
"""
|
|
Traite un fichier encodé en base64, applique un parser OCR, génère un prompt, envoie à un modèle LLM, et retourne le résultat parsé.
|
|
|
|
Args:
|
|
raw_file_data (str): Données base64 du fichier à traiter.
|
|
file_processor (Callable): Fonction qui transforme les données en texte brut.
|
|
pydantic_model (Type): Classe Pydantic pour le parsing du résultat.
|
|
prompt_template (str): Prompt à envoyer au LLM avec {format_instructions} et {processed_text}.
|
|
model_name (str): Nom du modèle LLM à utiliser.
|
|
|
|
Returns:
|
|
Instance du modèle Pydantic parsé avec les résultats du LLM.
|
|
"""
|
|
try:
|
|
base64.b64decode(raw_file_data, validate=True)
|
|
except binascii.Error as e:
|
|
raise ValueError(f"Invalid base64 data: {e}")
|
|
|
|
processed_text = file_processor(raw_file_data)
|
|
|
|
parser = PydanticOutputParser(pydantic_object=pydantic_model)
|
|
format_instructions = parser.get_format_instructions()
|
|
|
|
prompt = ChatPromptTemplate.from_template(prompt_template)
|
|
|
|
chain: Runnable = prompt | ChatGoogleGenerativeAI(model=model_name) | parser
|
|
|
|
result = chain.invoke({
|
|
"processed_text": processed_text,
|
|
"format_instructions": format_instructions,
|
|
})
|
|
|
|
return result |