{ "cells": [ { "cell_type": "markdown", "id": "749dc804", "metadata": {}, "source": [ "# LLM SIBS" ] }, { "cell_type": "code", "execution_count": 1, "id": "23364f12", "metadata": {}, "outputs": [], "source": [ "#!pip install pdfplumber pandas\n", "#!pip install sentence-transformers faiss-cpu pandas numpy\n", "#!pip install ocrmypdf" ] }, { "cell_type": "markdown", "id": "505f7488", "metadata": {}, "source": [ "## Bibliotecas Importadas" ] }, { "cell_type": "code", "execution_count": 157, "id": "737d8189", "metadata": {}, "outputs": [], "source": [ "import os\n", "import pdfplumber\n", "import pandas as pd\n", "import json\n", "import re\n", "import unicodedata\n", "import numpy as np\n", "import shutil\n", "from pathlib import Path\n", "from collections import Counter\n", "from tqdm import tqdm\n", "from sentence_transformers import SentenceTransformer\n", "import faiss\n", "from IPython.display import display, Markdown" ] }, { "cell_type": "markdown", "id": "f4dd76a3", "metadata": {}, "source": [ "Só fiz com 2 pdfs para teste" ] }, { "cell_type": "code", "execution_count": 2, "id": "611fc7a3", "metadata": {}, "outputs": [], "source": [ "pasta_pdfs = r\"D:\\Trabalhos\\Bot SIBS\\pdfs\"" ] }, { "cell_type": "markdown", "id": "7fca8b1b", "metadata": {}, "source": [ "## Funções" ] }, { "cell_type": "code", "execution_count": 3, "id": "9a9e499d", "metadata": {}, "outputs": [], "source": [ "def normalizar_texto(txt):\n", " if not isinstance(txt, str):\n", " return \"\"\n", " txt = txt.lower()\n", " txt = ''.join(\n", " c for c in unicodedata.normalize('NFD', txt)\n", " if unicodedata.category(c) != 'Mn')\n", " txt = re.sub(r\"[_\\-.\\\\/]+\", \" \", txt)\n", " txt = re.sub(r\"\\s+\", \" \", txt).strip()\n", " return txt" ] }, { "cell_type": "markdown", "id": "e0fc74ed", "metadata": {}, "source": [ "" ] }, { "cell_type": "code", "execution_count": 4, "id": "e8d06a54", "metadata": {}, "outputs": [], "source": [ "def classificar_documento(nome):\n", " if not isinstance(nome, str):\n", " return \"Desconhecido\"\n", " categorias = {\n", " \"NEP\": [\"nep\",\"normas de execucao permanente\",\"norma de execucao permanente\"],\n", " \"LISTA\": [\"lista\",\"Lista de Verificacao\",\"Lista de Verificação\",\"LV\"],\n", " \"Diretiva\": [\"diretiva\",\"dee\"],\n", " \"Regulamentos e Leis\": [\"regulamento\",\"lei\",\"regulation\"],\n", " \"Guia\": [\"guia\"],\n", " \"manual\": [\"manual\",\"man\"],\n", " \"Norma\": [\"norma\", \"normas\"],\n", " \"NOTA\": [\"nota\"],\n", " \"Folheto\": [\"folheto\",\"folhetos\",\"panfleto\",\"panfletos\"],\n", " \"Referencial\": [\"referencial\", \"UC\"],\n", " \"Publicação\": [\"pde\",\"publicacao doutrinaria do exercito\",\"pte\",\"pad\"],\n", " \"Informçaões\": [ \"Informações propostas\",],\n", " \"Plano\": [\"plano\",\"pme\",\"pa\"]\n", " }\n", " nome_normalizado = normalizar_texto(nome)\n", " encontrados = []\n", " for categoria, palavras in categorias.items():\n", " for palavra in palavras:\n", " palavra_norm = normalizar_texto(palavra)\n", " padrao = r\"\\b\" + re.escape(palavra_norm) + r\"(\\d+)?\\b\"\n", "\n", " match = re.search(padrao, nome_normalizado)\n", " if match:\n", " encontrados.append((match.start(), categoria, palavra_norm))\n", " if encontrados:\n", " encontrados.sort(key=lambda x: x[0])\n", " return encontrados[0][1]\n", " return \"Outros\"" ] }, { "cell_type": "markdown", "id": "88a2be27", "metadata": {}, "source": [ "As funções seguintes são as normais para um documento, contudo eu acho que faz sentido melhorarmos aqui o refinamento da remoção de algumas palavras e ou expressões/ paragrafos tipicos. Por exemplo temos documentos que normalmente são estruturados como se de uma Ordem de operações se tratasse com 1. Missão, 2.Situação etc... este tipo de formatação pdoerá ser eliminado para melhorar o chunck, outra coisa que pode ser feito é retirar assinaturas e nomes especificos (por exemplo as assinaturas dos documentos), assim como os destinatários das notas e remetentes por exemplo, este tipo de informação.\n", "\n", "- [Remover quebras excessivas e múltiplos espaços](#secao1)\n", "- [Remover padrões tipo \"Página X de Y\"](#secao2)\n", "- [Remover números de página isolados](#secao3)\n", "- [Juntar linhas partidas](#secao4)\n", "- [Remover headers e rodapés](#secao5)\n", "- [Variável texto final](#secao6)\n", "\n", "" ] }, { "cell_type": "code", "execution_count": 5, "id": "2e7d3d54", "metadata": {}, "outputs": [], "source": [ "def normalizar_linha(linha):\n", " if not linha:\n", " return \"\"\n", " linha = linha.strip().lower()\n", " linha = re.sub(r\"\\s+\", \" \", linha)\n", " linha = re.sub(r\"\\b\\d+\\b\", \"#\", linha)\n", " return linha\n" ] }, { "cell_type": "markdown", "id": "f009fa1a", "metadata": {}, "source": [ "" ] }, { "cell_type": "code", "execution_count": 6, "id": "867e0baf", "metadata": {}, "outputs": [], "source": [ "def extrair_linhas_por_pagina(caminho_pdf):\n", " paginas = []\n", " with pdfplumber.open(caminho_pdf) as pdf:\n", " for pagina in pdf.pages:\n", " texto = pagina.extract_text() or \"\"\n", " linhas = [l.strip() for l in texto.split(\"\\n\") if l.strip()]\n", " paginas.append(linhas)\n", " return paginas" ] }, { "cell_type": "markdown", "id": "d956a898", "metadata": {}, "source": [ "" ] }, { "cell_type": "code", "execution_count": 7, "id": "ad9c7e16", "metadata": {}, "outputs": [], "source": [ "def limpar_linhas_repetidas_pagina(linhas, headers, footers, top_n=5, bottom_n=5):\n", " if not linhas:\n", " return []\n", " resultado = []\n", " total = len(linhas)\n", " for i, linha in enumerate(linhas):\n", " linha_norm = normalizar_linha(linha)\n", " if i < top_n and linha_norm in headers:\n", " continue\n", " if i >= max(0, total - bottom_n) and linha_norm in footers:\n", " continue\n", " resultado.append(linha)\n", " return resultado" ] }, { "cell_type": "markdown", "id": "03cde968", "metadata": {}, "source": [ "" ] }, { "cell_type": "code", "execution_count": 8, "id": "202cdc98", "metadata": {}, "outputs": [], "source": [ "def detetar_headers_footers(paginas_linhas, top_n=3, bottom_n=3, min_ratio=0.6):\n", " n_paginas = len(paginas_linhas)\n", " if n_paginas == 0:\n", " return set(), set()\n", " min_count = max(2, int(n_paginas * min_ratio))\n", " contador_topo = Counter()\n", " contador_fundo = Counter()\n", " for linhas in paginas_linhas:\n", " topo = linhas[:top_n]\n", " fundo = linhas[-bottom_n:] if len(linhas) >= bottom_n else linhas\n", " topo_norm = set(normalizar_linha(l) for l in topo if normalizar_linha(l))\n", " fundo_norm = set(normalizar_linha(l) for l in fundo if normalizar_linha(l))\n", " contador_topo.update(topo_norm)\n", " contador_fundo.update(fundo_norm)\n", " headers = {linha for linha, c in contador_topo.items() if c >= min_count}\n", " footers = {linha for linha, c in contador_fundo.items() if c >= min_count}\n", " return headers, footers" ] }, { "cell_type": "markdown", "id": "eeafe276", "metadata": {}, "source": [ "" ] }, { "cell_type": "code", "execution_count": 9, "id": "def8fb0f", "metadata": {}, "outputs": [], "source": [ "def limpar_texto_final(texto):\n", " if not texto:\n", " return \"\"\n", " texto = re.sub(r\"p[aá]gina\\s+\\d+\\s+de\\s+\\d+\", \"\", texto, flags=re.IGNORECASE)\n", " texto = re.sub(r\"(?m)^\\s*\\d+\\s*$\", \"\", texto)\n", " texto = re.sub(r\"(?" ] }, { "cell_type": "code", "execution_count": 12, "id": "dd27162b", "metadata": {}, "outputs": [], "source": [ "def limpar_paragrafos_vazios(paragrafos):\n", " return [p.strip() for p in paragrafos if isinstance(p, str) and p.strip()]" ] }, { "cell_type": "markdown", "id": "7a2b8916", "metadata": {}, "source": [ "" ] }, { "cell_type": "code", "execution_count": 13, "id": "50bba284", "metadata": {}, "outputs": [], "source": [ "def dividir_em_paragrafos(texto):\n", " if not isinstance(texto, str) or not texto.strip():\n", " return []\n", " paragrafos = re.split(r\"\\n\\s*\\n\", texto)\n", " paragrafos = limpar_paragrafos_vazios(paragrafos)\n", " return paragrafos\n" ] }, { "cell_type": "markdown", "id": "82bbe430", "metadata": {}, "source": [ "" ] }, { "cell_type": "code", "execution_count": 14, "id": "091c9994", "metadata": {}, "outputs": [], "source": [ "def chunk_texto_inteligente(texto, chunk_size=1200, overlap=200, min_chunk_size=200):\n", " if not isinstance(texto, str) or not texto.strip():\n", " return [] \n", " paragrafos = dividir_em_paragrafos(texto) \n", " if not paragrafos:\n", " return [] \n", " chunks = []\n", " chunk_atual = \"\" \n", " for paragrafo in paragrafos:\n", " paragrafo = paragrafo.strip()\n", " if not paragrafo:\n", " continue\n", " if len(paragrafo) > chunk_size:\n", " if chunk_atual.strip():\n", " chunks.append(chunk_atual.strip())\n", " chunk_atual = \"\" \n", " inicio = 0\n", " while inicio < len(paragrafo):\n", " fim = inicio + chunk_size\n", " subchunk = paragrafo[inicio:fim].strip()\n", " if subchunk:\n", " chunks.append(subchunk)\n", " inicio += max(1, chunk_size - overlap)\n", " continue \n", " candidato = f\"{chunk_atual}\\n\\n{paragrafo}\".strip() if chunk_atual else paragrafo \n", " if len(candidato) <= chunk_size:\n", " chunk_atual = candidato\n", " else:\n", " if len(chunk_atual.strip()) >= min_chunk_size:\n", " chunks.append(chunk_atual.strip())\n", " if overlap > 0:\n", " tail = chunk_atual.strip()[-overlap:]\n", " chunk_atual = f\"{tail}\\n\\n{paragrafo}\".strip()\n", " else:\n", " chunk_atual = paragrafo\n", " else:\n", " chunk_atual = candidato\n", " if chunk_atual.strip():\n", " chunks.append(chunk_atual.strip())\n", " return chunks" ] }, { "cell_type": "code", "execution_count": 15, "id": "68060521", "metadata": {}, "outputs": [], "source": [ "def pesquisar_chunks(query, modelo_embeddings, index, dataset_chunks, top_k=5):\n", " query_embedding = modelo_embeddings.encode([query], convert_to_numpy=True)\n", " query_embedding = np.array(query_embedding, dtype=\"float32\")\n", " \n", " distancias, indices = index.search(query_embedding, top_k)\n", " \n", " resultados = dataset_chunks.iloc[indices[0]].copy()\n", " resultados[\"score_distancia\"] = distancias[0]\n", " \n", " return resultados" ] }, { "cell_type": "code", "execution_count": 16, "id": "eb6c2f90", "metadata": {}, "outputs": [], "source": [ "def criar_dataset_chunks(dataset):\n", " registos = []\n", " \n", " for _, row in dataset.iterrows():\n", " nome_pdf = row.get(\"nome_pdf\", \"\")\n", " caminho = row.get(\"caminho\", \"\")\n", " categoria = row.get(\"categoria\", \"Outros\")\n", " chunks = row.get(\"chunks\", [])\n", " \n", " for i, chunk in enumerate(chunks):\n", " registos.append({\n", " \"nome_pdf\": nome_pdf,\n", " \"caminho\": caminho,\n", " \"categoria\": categoria,\n", " \"chunk_id\": i,\n", " \"texto_chunk\": chunk\n", " })\n", " \n", " return pd.DataFrame(registos)" ] }, { "cell_type": "code", "execution_count": 17, "id": "b6919063", "metadata": {}, "outputs": [], "source": [ "def garantir_nome_unico(destino):\n", " base, ext = os.path.splitext(destino)\n", " contador = 1\n", " \n", " while os.path.exists(destino):\n", " destino = f\"{base}_{contador}{ext}\"\n", " contador += 1\n", " \n", " return destino" ] }, { "cell_type": "markdown", "id": "a60d01ac", "metadata": {}, "source": [ "RAG" ] }, { "cell_type": "code", "execution_count": 18, "id": "f625f95f", "metadata": {}, "outputs": [], "source": [ "def construir_contexto_rag(query, resultados):\n", " contexto = \"\\n\\n---\\n\\n\".join(\n", " [\n", " f\"[Documento: {row['nome_pdf']} | Categoria: {row['categoria']}]\\n{row['texto_chunk']}\"\n", " for _, row in resultados.iterrows()\n", " ]\n", " )\n", " \n", " prompt = f\"\"\"\n", "Responde à pergunta do utilizador com base apenas no contexto fornecido.\n", "\n", "Pergunta:\n", "{query}\n", "\n", "Contexto:\n", "{contexto}\n", "\n", "Instruções:\n", "- Se a resposta não estiver claramente no contexto, diz que não encontraste informação suficiente.\n", "- Resume de forma objetiva.\n", "- Cita o nome do documento quando relevante.\n", "\"\"\"\n", " return prompt" ] }, { "cell_type": "code", "execution_count": 19, "id": "8163c6f6", "metadata": {}, "outputs": [], "source": [ "def preparar_rag(query, modelo_embeddings, index, dataset_chunks, top_k=5):\n", " resultados = pesquisar_chunks(\n", " query=query,\n", " modelo_embeddings=modelo_embeddings,\n", " index=index,\n", " dataset_chunks=dataset_chunks,\n", " top_k=top_k\n", " )\n", " prompt = construir_contexto_rag(query, resultados)\n", " return prompt, resultados" ] }, { "cell_type": "markdown", "id": "348ffebd", "metadata": {}, "source": [ "Função para teste de perguntas ao modelo" ] }, { "cell_type": "code", "execution_count": 20, "id": "b5019060", "metadata": {}, "outputs": [], "source": [ "def testar_perguntas(perguntas, modelo_embeddings, index, dataset_chunks, top_k=5):\n", " \n", " for pergunta in perguntas:\n", " print(\"\\n\" + \"=\"*100)\n", " print(\"PERGUNTA:\", pergunta)\n", " print(\"=\"*100)\n", " \n", " resultados = pesquisar_chunks(\n", " query=pergunta,\n", " modelo_embeddings=modelo_embeddings,\n", " index=index,\n", " dataset_chunks=dataset_chunks,\n", " top_k=top_k\n", " )\n", " \n", " for i, row in resultados.iterrows():\n", " print(f\"\\nResultado {i+1}\")\n", " print(\"Documento:\", row[\"nome_pdf\"])\n", " print(\"Categoria:\", row[\"categoria\"])\n", " print(\"Score:\", row[\"score_distancia\"])\n", " print(\"Texto:\")\n", " print(row[\"texto_chunk\"][:400])\n", " print(\"-\"*80)" ] }, { "cell_type": "markdown", "id": "87006e08", "metadata": {}, "source": [ "## Pré processamento do Corpus" ] }, { "cell_type": "code", "execution_count": 56, "id": "05f406c4", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "PDFs encontrados: 1\n" ] }, { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcaminhotexto
0Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfM ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C...
\n", "
" ], "text/plain": [ " nome_pdf caminho \\\n", "0 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "\n", " texto \n", "0 M ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C... " ] }, "execution_count": 56, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dados = []\n", "for raiz, subpastas, ficheiros in os.walk(pasta_pdfs):\n", " for ficheiro in ficheiros:\n", " if ficheiro.lower().endswith(\".pdf\"): \n", " caminho_pdf = os.path.join(raiz, ficheiro) \n", " texto = \"\" \n", " try:\n", " with pdfplumber.open(caminho_pdf) as pdf:\n", " for pagina in pdf.pages:\n", " texto += pagina.extract_text() or \"\"\n", " except:\n", " texto = \"ERRO OCR??\" \n", " dados.append({\n", " \"nome_pdf\": ficheiro,\n", " \"caminho\": caminho_pdf,\n", " \"texto\": texto\n", " })\n", "dataset = pd.DataFrame(dados)\n", "print(\"PDFs encontrados:\", len(dataset))\n", "dataset.head()" ] }, { "cell_type": "code", "execution_count": 57, "id": "519ee39e", "metadata": {}, "outputs": [], "source": [ "dataset[\"categoria\"] = dataset[\"nome_pdf\"].apply(classificar_documento)" ] }, { "cell_type": "code", "execution_count": 58, "id": "d0db03dd", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcaminhotextocategoria
0Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfM ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C...manual
\n", "
" ], "text/plain": [ " nome_pdf caminho \\\n", "0 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "\n", " texto categoria \n", "0 M ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C... manual " ] }, "execution_count": 58, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset" ] }, { "cell_type": "markdown", "id": "51c62227", "metadata": {}, "source": [ "Gravei em [.csv](/pdfs/indexpdfs.csv) e [.json](/pdfs/indexpdfs.json) o dataset puro com o nome do indexpdfs e o que é para a construção da LLM gravei apenas como json em [dataset_llm](/pdfs/dataset_llm.json)" ] }, { "cell_type": "code", "execution_count": 59, "id": "3bcc4a73", "metadata": {}, "outputs": [], "source": [ "dataset.to_csv(r\"D:\\Trabalhos\\Bot SIBS\\pdfs\\indexpdfs.csv\", index=False)\n", "dataset.to_json(r\"D:\\Trabalhos\\Bot SIBS\\pdfs\\indexpdfs.json\", orient=\"records\", indent=2)\n", "dataset[[\"nome_pdf\", \"categoria\", \"texto\"]].to_json(r\"D:\\Trabalhos\\Bot SIBS\\pdfs\\dataset_llm.json\",orient=\"records\",force_ascii=False,indent=2 )" ] }, { "cell_type": "code", "execution_count": 60, "id": "4ae3b00b", "metadata": {}, "outputs": [], "source": [ "dataset = pd.read_json(r\"D:\\Trabalhos\\Bot SIBS\\pdfs\\dataset_llm.json\")" ] }, { "cell_type": "markdown", "id": "3673b7aa", "metadata": {}, "source": [ "Aqui para o refinamento dos metadados do nosso vetor seria interessante melhorar aqui os termos pada procura das funções de REGEX [aplicadas](#secao0), o dataset está muito desbalanceado, de qualquer forma isto serve apenas para fine tuning do modelo." ] }, { "cell_type": "code", "execution_count": 61, "id": "4810f6b1", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "categoria\n", "manual 1\n", "Name: count, dtype: int64" ] }, "execution_count": 61, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset[\"categoria\"].value_counts()" ] }, { "cell_type": "code", "execution_count": 62, "id": "8f1ed33c", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcategoriatexto
0Manual_Outs_EDP_VF.pdfmanualM ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C...
\n", "
" ], "text/plain": [ " nome_pdf categoria \\\n", "0 Manual_Outs_EDP_VF.pdf manual \n", "\n", " texto \n", "0 M ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C... " ] }, "execution_count": 62, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset" ] }, { "cell_type": "code", "execution_count": 94, "id": "270ad3b3", "metadata": {}, "outputs": [], "source": [ "pasta_pdfs=r\"D:\\Trabalhos\\Bot SIBS\\pdfs\"" ] }, { "cell_type": "code", "execution_count": 95, "id": "f64f29fb", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "100%|██████████| 1/1 [00:01<00:00, 1.87s/it]\n" ] } ], "source": [ "dataset = processar_pasta_pdfs(pasta_pdfs)" ] }, { "cell_type": "markdown", "id": "7c441a45", "metadata": {}, "source": [ "### Criação dos Chunks para análise (não finais)\n", "\n", "Aqui o afinar dos parametros dos chunks pode tambem ser algo a ser considerado para melhorar o modelo" ] }, { "cell_type": "code", "execution_count": 96, "id": "efb4217e", "metadata": {}, "outputs": [], "source": [ "dataset[\"chunks\"] = dataset[\"texto_limpo\"].apply(lambda x: chunk_texto_inteligente(x, chunk_size=1200, overlap=200))" ] }, { "cell_type": "code", "execution_count": 97, "id": "08dc12c2", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfchunks
0Manual_Outs_EDP_VF.pdf[M ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © C...
\n", "
" ], "text/plain": [ " nome_pdf chunks\n", "0 Manual_Outs_EDP_VF.pdf [M ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © C..." ] }, "execution_count": 97, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset[[\"nome_pdf\", \"chunks\"]].head(1)" ] }, { "cell_type": "markdown", "id": "1659a5bf", "metadata": {}, "source": [ "### Divisão em chunks e OCR\n", "\n", "Chunks por documento, aqui reparei que havia documentos com num_chunks de 0 o que já era previsto porque havia documentos que eram digitalizados então paralelamente existe um script que faz o OCR desses documentos o conjunto de comandos seguintes identificaram quais os documentos sem chunks e com 1 ou 2 chunks e foram passados por OCR pelo script denominado de OCR.ipynb.\n", "\n", "Apliquei tambem um critério na questão do texto limpo ser menor de 200 caracteres porque muitas das vezes temos documentos que tem a folha de rosto, por exemplo, em pdf e o resto do corpo está digitalizado, assim cobre tambem esta possibilidade.\n", "\n", "A solução passou por identificar quais eram os documentos que necessitavam de OCR tendo em conta os critérios establecidos anteriormente e por estes documentos todos numa pasta aparte e aplicar OCR (script) sobre os mesmo.\n", "\n" ] }, { "cell_type": "code", "execution_count": 98, "id": "34a93306", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfnum_chunks
0Manual_Outs_EDP_VF.pdf70
\n", "
" ], "text/plain": [ " nome_pdf num_chunks\n", "0 Manual_Outs_EDP_VF.pdf 70" ] }, "execution_count": 98, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset[\"num_chunks\"] = dataset[\"chunks\"].apply(len)\n", "dataset[[\"nome_pdf\", \"num_chunks\"]].head()" ] }, { "cell_type": "code", "execution_count": 99, "id": "8e04a167", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcaminhocategoriachunk_idtexto_chunk
0Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfOutros0M ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © CO...
1Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfOutros1ÍNDICE GERAL CONTROLO DE ALTERAÇÕES..............
2Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfOutros2.................................................
3Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfOutros3NTA .............................................
4Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfOutros4............. 40 M ANUAL O UTSOURCING MANUAL O...
\n", "
" ], "text/plain": [ " nome_pdf caminho \\\n", "0 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "1 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "2 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "3 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "4 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "\n", " categoria chunk_id texto_chunk \n", "0 Outros 0 M ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © CO... \n", "1 Outros 1 ÍNDICE GERAL CONTROLO DE ALTERAÇÕES.............. \n", "2 Outros 2 ................................................. \n", "3 Outros 3 NTA ............................................. \n", "4 Outros 4 ............. 40 M ANUAL O UTSOURCING MANUAL O... " ] }, "execution_count": 99, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset_chunks = criar_dataset_chunks(dataset)\n", "dataset_chunks.head()" ] }, { "cell_type": "markdown", "id": "68ad43dc", "metadata": {}, "source": [ "Embeddings utilizei [este](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) mas agora é uma questão de testar com outros especificos por exemplo para a lingua portuguesa só usei este porque há documentos com várias linguas.\n", "\n", "Aqui é necessário uma decisão importante, que tem a ver com custo beneficio, e para alem de termos muitas das vezes documentos, ou podermos vir a ter por exemplo manuais, que não estão escritos em portugues neste caso temos que ir buscar um emmbeding multilingua. Eu por limitações da máquina que tenho em casa usei o anterior que é pequeno mas propunha a subistutição ou para o:\n", "\n", "- [Multilingual-E5-large](https://huggingface.co/intfloat/multilingual-e5-large) - multilinguas - se virmos este tem condições especificas como 'query' ou 'passage'.\n", "- [BGE-M3](https://huggingface.co/BAAI/bge-m3) - multilinguas - Tem git disponivel [aqui](https://github.com/FlagOpen/FlagEmbedding).\n", "- [Legal BERTimbau (adaptado)](https://huggingface.co/stjiris/bert-large-portuguese-cased-legal-mlm-nli-sts-v1) - focado em PT, construido sobre um corpus de referencias legais, o que pode ser adequado no nosso caso pela forma de construção de texto em artigos e nós em pontos do genero de ordem de operações." ] }, { "cell_type": "code", "execution_count": 100, "id": "bf52274f", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Loading weights: 100%|██████████| 199/199 [00:00<00:00, 19649.38it/s]\n", "\u001b[1mBertModel LOAD REPORT\u001b[0m from: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2\n", "Key | Status | | \n", "------------------------+------------+--+-\n", "embeddings.position_ids | UNEXPECTED | | \n", "\n", "\u001b[3mNotes:\n", "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n" ] } ], "source": [ "modelo_embeddings = SentenceTransformer(\"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2\")" ] }, { "cell_type": "code", "execution_count": 101, "id": "a92e9507", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Batches: 100%|██████████| 3/3 [00:00<00:00, 4.18it/s]\n" ] } ], "source": [ "embeddings = modelo_embeddings.encode(\n", " dataset_chunks[\"texto_chunk\"].tolist(),\n", " show_progress_bar=True,\n", " convert_to_numpy=True\n", ")" ] }, { "cell_type": "code", "execution_count": 102, "id": "7ef5b64b", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Número de chunks indexados: 70\n" ] } ], "source": [ "dimensao = embeddings.shape[1]\n", "\n", "index = faiss.IndexFlatL2(dimensao)\n", "index.add(np.array(embeddings, dtype=\"float32\"))\n", "\n", "print(\"Número de chunks indexados:\", index.ntotal)" ] }, { "cell_type": "markdown", "id": "04e049f8", "metadata": {}, "source": [ "# Criação dos metadados/dataset\n", "\n", "Vamos então voltar a repetir o processo todo agora com os PDF's que foram alvos de OCR já integrados no dataset" ] }, { "cell_type": "code", "execution_count": 103, "id": "a50d8a03", "metadata": {}, "outputs": [], "source": [ "pasta_pdfs = r\"D:\\Trabalhos\\Bot SIBS\\pdfs\"" ] }, { "cell_type": "code", "execution_count": 104, "id": "ddbd06d6", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "PDFs encontrados: 1\n" ] }, { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcaminhotexto
0Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfM ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C...
\n", "
" ], "text/plain": [ " nome_pdf caminho \\\n", "0 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "\n", " texto \n", "0 M ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C... " ] }, "execution_count": 104, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dados = []\n", "for raiz, subpastas, ficheiros in os.walk(pasta_pdfs):\n", " for ficheiro in ficheiros:\n", " if ficheiro.lower().endswith(\".pdf\"): \n", " caminho_pdf = os.path.join(raiz, ficheiro) \n", " texto = \"\" \n", " try:\n", " with pdfplumber.open(caminho_pdf) as pdf:\n", " for pagina in pdf.pages:\n", " texto += pagina.extract_text() or \"\"\n", " except:\n", " texto = \"ERRO OCR??\" \n", " dados.append({\n", " \"nome_pdf\": ficheiro,\n", " \"caminho\": caminho_pdf,\n", " \"texto\": texto\n", " })\n", "dataset = pd.DataFrame(dados)\n", "print(\"PDFs encontrados:\", len(dataset))\n", "dataset.head()" ] }, { "cell_type": "code", "execution_count": 105, "id": "1e418e7c", "metadata": {}, "outputs": [], "source": [ "dataset[\"categoria\"] = dataset[\"nome_pdf\"].apply(classificar_documento)" ] }, { "cell_type": "code", "execution_count": 106, "id": "0efe7fd0", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcaminhotextocategoria
0Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfM ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C...manual
\n", "
" ], "text/plain": [ " nome_pdf caminho \\\n", "0 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "\n", " texto categoria \n", "0 M ANUAL O UTSOURCING MANUAL OUTSOURCING 1\\n© C... manual " ] }, "execution_count": 106, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset" ] }, { "cell_type": "markdown", "id": "6d2635bb", "metadata": {}, "source": [ "Aqui a semelhança do que fiz no pré processamento gravei em [.csv](/pdfs/indexpdfs_final.csv) e [.json](/pdfs/indexpdfs_final.json) o dataset puro com o nome do indexpdfs_final e o que é para a construção da LLM gravei apenas como json em [dataset_llm_final](/pdfs/dataset_llm_final.json).\n", "\n", "Aqui uma solução mais robusta seria colocar o nosso dataset num BD, tipo o weviate ou outro." ] }, { "cell_type": "code", "execution_count": 107, "id": "4691749e", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "100%|██████████| 1/1 [00:01<00:00, 1.73s/it]\n" ] } ], "source": [ "dataset = processar_pasta_pdfs(pasta_pdfs)" ] }, { "cell_type": "code", "execution_count": 108, "id": "1dc5da46", "metadata": {}, "outputs": [], "source": [ "dataset[\"chunks\"] = dataset[\"texto_limpo\"].apply(lambda x: chunk_texto_inteligente(x, chunk_size=1200, overlap=200))" ] }, { "cell_type": "code", "execution_count": 109, "id": "d87a2904", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Loading weights: 100%|██████████| 199/199 [00:00<00:00, 17319.97it/s]\n", "\u001b[1mBertModel LOAD REPORT\u001b[0m from: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2\n", "Key | Status | | \n", "------------------------+------------+--+-\n", "embeddings.position_ids | UNEXPECTED | | \n", "\n", "\u001b[3mNotes:\n", "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n" ] } ], "source": [ "modelo_embeddings = SentenceTransformer(\"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2\")" ] }, { "cell_type": "code", "execution_count": 110, "id": "8d1a76d4", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Batches: 100%|██████████| 3/3 [00:00<00:00, 4.20it/s]\n" ] } ], "source": [ "embeddings = modelo_embeddings.encode(\n", " dataset_chunks[\"texto_chunk\"].tolist(),\n", " show_progress_bar=True,\n", " convert_to_numpy=True\n", ")" ] }, { "cell_type": "code", "execution_count": null, "id": "a0d6e614", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Número de chunks indexados: 70\n" ] } ], "source": [ "dimensao = embeddings.shape[1]\n", "\n", "index = faiss.IndexFlatL2(dimensao)\n", "index.add(np.array(embeddings, dtype=\"float32\"))\n", "print(\"Número de chunks indexados:\", index.ntotal)" ] }, { "cell_type": "markdown", "id": "cdb68854", "metadata": {}, "source": [ "## Criação dos chunks finais" ] }, { "cell_type": "code", "execution_count": 150, "id": "05940721", "metadata": {}, "outputs": [], "source": [ "pasta_pdfs = r\"D:\\Trabalhos\\Bot SIBS\\pdfs\"" ] }, { "cell_type": "code", "execution_count": 151, "id": "24ca5d72", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "100%|██████████| 1/1 [00:02<00:00, 2.55s/it]\n" ] } ], "source": [ "dataset = processar_pasta_pdfs(pasta_pdfs)" ] }, { "cell_type": "code", "execution_count": 152, "id": "b8b68b8d", "metadata": {}, "outputs": [], "source": [ "dataset[\"chunks\"] = dataset[\"texto_limpo\"].apply(lambda x: chunk_texto_inteligente(x, chunk_size=1200, overlap=200))" ] }, { "cell_type": "code", "execution_count": 153, "id": "62e1f605", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Loading weights: 100%|██████████| 199/199 [00:00<00:00, 15722.32it/s]\n", "\u001b[1mBertModel LOAD REPORT\u001b[0m from: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2\n", "Key | Status | | \n", "------------------------+------------+--+-\n", "embeddings.position_ids | UNEXPECTED | | \n", "\n", "\u001b[3mNotes:\n", "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n" ] } ], "source": [ "modelo_embeddings = SentenceTransformer(\"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2\")" ] }, { "cell_type": "code", "execution_count": 154, "id": "aa401dab", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Batches: 100%|██████████| 3/3 [00:00<00:00, 3.98it/s]\n" ] } ], "source": [ "embeddings = modelo_embeddings.encode(\n", " dataset_chunks[\"texto_chunk\"].tolist(),\n", " show_progress_bar=True,\n", " convert_to_numpy=True\n", ")" ] }, { "cell_type": "code", "execution_count": 155, "id": "571fdf33", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Número de chunks indexados: 70\n" ] } ], "source": [ "dimensao = embeddings.shape[1]\n", "\n", "index = faiss.IndexFlatL2(dimensao)\n", "index.add(np.array(embeddings, dtype=\"float32\"))\n", "faiss.write_index(index, \"indice_documentos.faiss\")\n", "print(\"Número de chunks indexados:\", index.ntotal)" ] }, { "cell_type": "code", "execution_count": 160, "id": "86f99b75", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Vetores no FAISS: 70\n", "Chunks guardados: 70\n" ] } ], "source": [ "dataset_chunks.to_json(\n", " \"dataset_chunks.json\",\n", " orient=\"records\",\n", " force_ascii=False,\n", " indent=2\n", ")\n", "\n", "print(\"Vetores no FAISS:\", index.ntotal)\n", "print(\"Chunks guardados:\", len(dataset_chunks))" ] }, { "cell_type": "code", "execution_count": 161, "id": "ad39f4ca", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcaminhotexto_limpoheaders_detetadosfooters_detetadoschunks
0Manual_Outs_EDP_VF.pdfD:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdfM ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © CO...[][#, manual outsourcing][M ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © C...
\n", "
" ], "text/plain": [ " nome_pdf caminho \\\n", "0 Manual_Outs_EDP_VF.pdf D:\\Trabalhos\\Bot SIBS\\pdfs\\Manual_Outs_EDP_VF.pdf \n", "\n", " texto_limpo headers_detetados \\\n", "0 M ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © CO... [] \n", "\n", " footers_detetados chunks \n", "0 [#, manual outsourcing] [M ANUAL O UTSOURCING MANUAL OUTSOURCING 1 © C... " ] }, "execution_count": 161, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset" ] }, { "cell_type": "markdown", "id": "b62b8ec0", "metadata": {}, "source": [ "### Aqui um exemplo para ver se a query está a procura dos documentos certos" ] }, { "cell_type": "code", "execution_count": 125, "id": "07f4854a", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
nome_pdfcategoriatexto_chunkscore_distancia
45Manual_Outs_EDP_VF.pdfOutrosuma nova janela de consulta de movimentos. Nes...5.452030
25Manual_Outs_EDP_VF.pdfOutrosTorna-se importante validar se todas as contas...5.719406
59Manual_Outs_EDP_VF.pdfOutros13. CONTABILIZAÇÃO DOS MOVIMENTOS BANCÁRIOS Es...5.737272
68Manual_Outs_EDP_VF.pdfOutros16. FECHO MENSAL DAS CONTAS – SIGNOFF Ao fim d...5.939764
31Manual_Outs_EDP_VF.pdfOutrosFigura 14 - Caminho para configuração de alert...6.111349
41Manual_Outs_EDP_VF.pdfOutrosdo o caminho dentro do TExtratos de acordo com...6.164159
19Manual_Outs_EDP_VF.pdfOutrosente. 2. Garantir a correta integração e valid...6.298611
65Manual_Outs_EDP_VF.pdfOutross do mês de fevereiro a serem contabilizados n...6.305329
42Manual_Outs_EDP_VF.pdfOutrosFigura 25 - Filtro a utilizar para CashPooling...6.349871
64Manual_Outs_EDP_VF.pdfOutrospodemos recorrer aos ficheiros de apoio para o...6.665424
\n", "
" ], "text/plain": [ " nome_pdf categoria \\\n", "45 Manual_Outs_EDP_VF.pdf Outros \n", "25 Manual_Outs_EDP_VF.pdf Outros \n", "59 Manual_Outs_EDP_VF.pdf Outros \n", "68 Manual_Outs_EDP_VF.pdf Outros \n", "31 Manual_Outs_EDP_VF.pdf Outros \n", "41 Manual_Outs_EDP_VF.pdf Outros \n", "19 Manual_Outs_EDP_VF.pdf Outros \n", "65 Manual_Outs_EDP_VF.pdf Outros \n", "42 Manual_Outs_EDP_VF.pdf Outros \n", "64 Manual_Outs_EDP_VF.pdf Outros \n", "\n", " texto_chunk score_distancia \n", "45 uma nova janela de consulta de movimentos. Nes... 5.452030 \n", "25 Torna-se importante validar se todas as contas... 5.719406 \n", "59 13. CONTABILIZAÇÃO DOS MOVIMENTOS BANCÁRIOS Es... 5.737272 \n", "68 16. FECHO MENSAL DAS CONTAS – SIGNOFF Ao fim d... 5.939764 \n", "31 Figura 14 - Caminho para configuração de alert... 6.111349 \n", "41 do o caminho dentro do TExtratos de acordo com... 6.164159 \n", "19 ente. 2. Garantir a correta integração e valid... 6.298611 \n", "65 s do mês de fevereiro a serem contabilizados n... 6.305329 \n", "42 Figura 25 - Filtro a utilizar para CashPooling... 6.349871 \n", "64 podemos recorrer aos ficheiros de apoio para o... 6.665424 " ] }, "execution_count": 125, "metadata": {}, "output_type": "execute_result" } ], "source": [ "resultados = pesquisar_chunks(\n", " query=\"Como faço uma VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃo?\",\n", " modelo_embeddings=modelo_embeddings,\n", " index=index,\n", " dataset_chunks=dataset_chunks,\n", " top_k=10\n", ")\n", "\n", "resultados[[\"nome_pdf\", \"categoria\", \"texto_chunk\", \"score_distancia\"]]" ] }, { "cell_type": "markdown", "id": "5a918f91", "metadata": {}, "source": [ "Qwen" ] }, { "cell_type": "code", "execution_count": 126, "id": "0d48fbe5", "metadata": {}, "outputs": [], "source": [ "query = \"Como faço uma VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃo?\"\n", "resultados = pesquisar_chunks(query, modelo_embeddings, index, dataset_chunks, top_k=5)\n", "prompt_final = construir_contexto_rag(query, resultados)" ] }, { "cell_type": "code", "execution_count": 127, "id": "debafbd9", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "\n", "Responde à pergunta do utilizador com base apenas no contexto fornecido.\n", "\n", "Pergunta:\n", "Como faço uma VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃo?\n", "\n", "Contexto:\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "uma nova janela de consulta de movimentos. Nessa consulta, deverá ser definido um intervalo de datas mais abrangente e, no campo “descrição”, introduzir as palavras entre dois símbolos de (%%), de forma a filtrar os movimentos relevantes. Com esta pesquisa podemos encontrar movimentos semelhantes que nos ajudam a identificar o nosso movimento. Para apoio desta tarefa podemos consultar o quadro infra; Tabela 5 – Quadro de apoio aos códigos de extrato 1 de 2 (por ordem alfabética B – I) Código de Extrato Descrição Tipo BANCHE Bank Checks Operacional Payments BKGUAR Bank Guarantees Financial Operations CARDPA Card Payments Operacional Payments CHARGE Bank Charges Financial Operations COMPAP Commercial Paper Financial Operations CONFPA Confirming - Payments Operacional Payments CONFPR Confirming - Profit Operacional Receivements CORPTAX Corporate TAX Taxes CRCARD Clients Receivements - CARD Operacional Receivements CRCDBR Clients Receivements - CODE BAR Operacional Receivements CRDDEB Clients Receivements - DIRECT DEBIT Operacional Receivements CRMGRD Clients Receivements - MEGA REDE Operacional Receivements CRPAYS Clients Receivements - PAYSHOP Operacional Receivements CRPWCR Clients\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "Torna-se importante validar se todas as contas já receberam os respetivos extratos. Para isso, e para uma melhor ajuda, deve ser consultado o documento “controlo de contas”, disponível aqui ou pela Figura 11 - Documento controlo de contas, que permite identificar os horários habituais de integração para cada banco e respetivas contas. Desta forma, permite perceber mais facilmente se existe alguma conta em falta ou se ainda se encontra dentro do período normal de receção, pois o cliente EDP recebe extratos ao longo do período da manhã e da tarde. Figura 11 - Documento controlo de contas Procedimentos em caso de extratos pendentes de integração Sempre que se identifiquem contas com extratos pendentes de integração, é importante começar por analisar o contexto antes de tomar qualquer ação. No caso de se verificarem várias contas em falta do mesmo banco, deve-se, numa primeira fase, confirmar se ocorreu algum feriado no país no dia anterior, uma vez que isso pode ser justificativo de eventuais atrasos no envio. De seguida, deverá ser validado com o Técnico se o banco já procedeu ao envio dos extratos, porém se caso se verifique que os extratos em falta são enviados via SWIFT e/ou por p\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "13. CONTABILIZAÇÃO DOS MOVIMENTOS BANCÁRIOS Esta tarefa deve ser normalmente realizada por volta das 11h00, altura em que a maior parte dos extratos bancários já se encontram integrados nas contas, permitindo trabalhar com informação mais completa. O principal objetivo desta componente é classificar diretamente, em Target One, os fluxos financeiros que têm origem nas várias componentes da plataforma. No contexto do Outsourcing, estes fluxos são registados de acordo com as seguintes origens: • T Extractos – aqui são tratadas situações como comissões bancárias, imposto de selo, via verde, juros devedores, pagamentos por débito direto e, de forma geral, todos os movimentos que consigamos identificar e classificar com base no detalhe do extrato bancário; • T Tesouraria – diz respeito essencialmente às transferências entre contas; • T Pagamentos e Recebimentos – inclui a compensação de documentos e também eventuais estornos de pagamentos ou recebimentos. Filtros a utilizar; EDP VIESGO_Outsourcing 2023 – Origem TExtratos EDP_OUT_Reconciliacao 2023 – Origem TExtratos; TTesouraria; TPagamentos Recebimentos EDPR BRASIL_Outsourcing 2023 – Origem TExtratos EDPR NA Outsourcing 2023 – Origem TE\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "16. FECHO MENSAL DAS CONTAS – SIGNOFF Ao fim de cada mês é efetuado o fecho de todas das contas bancárias correspondentes ao Outsourcing. Este fecho é solicitado pelo cliente. Para apoiar nesta tarefa devemos utilizar como referência o ficheiro disponível aqui ou através da imagem seguinte. Figura 55 - Ficheiro de apoio para o fecho mensal de contas 17. INDICADORES Esta tarefa é realizada mensalmente e tem como objetivo calcular a percentagem de reconciliação automática alcançada durante o mês, considerando todas as contas do Outsourcing. Para apoiar esta tarefa, devemos utilizar como referência o ficheiro disponível aqui ou acessível através da imagem seguinte. Figura 56 - Ficheiro de apoio para os indicadores\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "Figura 14 - Caminho para configuração de alertas por conta De forma geral, a abordagem deverá passar sempre por compreender a origem da situação antes de agir, garantindo assim uma resposta adequada e evitando comunicações desnecessárias. Sempre que existam extratos com integração pendente, deverá ser efetuada a verificação do controlo de contas. 5. VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃO, O ESTADO DOS EXTRATOS INTEGRADOS; Para validar se os extratos se encontram em alguma situação que precise de análise devemos aceder na componente TExtratos no caminho apresentado na Figura 15 - Caminho para análise do diário de extratos; Figura 15 - Caminho para análise do diário de extratos\n", "\n", "Instruções:\n", "- Se a resposta não estiver claramente no contexto, diz que não encontraste informação suficiente.\n", "- Resume de forma objetiva.\n", "- Cita o nome do documento quando relevante.\n", "\n" ] } ], "source": [ "print(prompt_final)" ] }, { "cell_type": "code", "execution_count": null, "id": "00364e41", "metadata": {}, "outputs": [], "source": [ "perguntas_teste = [\n", " \"Como faço uma VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃO, O ESTADO DOS EXTRATOSINTEGRADOS?\",\n", " \"O que fazer quando um Extrato Bancário apesar de ter sido integrado corretamente foi rejeitado por um utilizador?\",\n", " \"Como fazer uma VALIDAÇÃO CASHPOOLING MANUAL?\",\n", " \"O extrato da conta não se encontra integrado o que fazer?\",\n", " \"Como fazer CARREGAMENTO MANUAL DE EXTRATOS VIA TEMPLATE EXCEL?\"\n", "]" ] }, { "cell_type": "markdown", "id": "b1ad50fe", "metadata": {}, "source": [ "Gualdar o modelo de embeddins" ] }, { "cell_type": "code", "execution_count": 129, "id": "330f5a6f", "metadata": {}, "outputs": [], "source": [ "np.save(\"embeddings.npy\", embeddings)" ] }, { "cell_type": "code", "execution_count": 130, "id": "82b4c175", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "\n", "====================================================================================================\n", "PERGUNTA: Como faço uma VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃO, O ESTADO DOS EXTRATOSINTEGRADOS?\n", "====================================================================================================\n", "\n", "Resultado 46\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.065024375915527\n", "Texto:\n", "uma nova janela de consulta de movimentos. Nessa consulta, deverá ser definido um intervalo de datas mais abrangente e, no campo “descrição”, introduzir as palavras entre dois símbolos de (%%), de forma a filtrar os movimentos relevantes. Com esta pesquisa podemos encontrar movimentos semelhantes que nos ajudam a identificar o nosso movimento. Para apoio desta tarefa podemos consultar o quadro inf\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 60\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.2804412841796875\n", "Texto:\n", "13. CONTABILIZAÇÃO DOS MOVIMENTOS BANCÁRIOS Esta tarefa deve ser normalmente realizada por volta das 11h00, altura em que a maior parte dos extratos bancários já se encontram integrados nas contas, permitindo trabalhar com informação mais completa. O principal objetivo desta componente é classificar diretamente, em Target One, os fluxos financeiros que têm origem nas várias componentes da platafor\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 32\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.584453105926514\n", "Texto:\n", "Figura 14 - Caminho para configuração de alertas por conta De forma geral, a abordagem deverá passar sempre por compreender a origem da situação antes de agir, garantindo assim uma resposta adequada e evitando comunicações desnecessárias. Sempre que existam extratos com integração pendente, deverá ser efetuada a verificação do controlo de contas. 5. VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃO, O ESTADO DOS\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 26\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.8223490715026855\n", "Texto:\n", "Torna-se importante validar se todas as contas já receberam os respetivos extratos. Para isso, e para uma melhor ajuda, deve ser consultado o documento “controlo de contas”, disponível aqui ou pela Figura 11 - Documento controlo de contas, que permite identificar os horários habituais de integração para cada banco e respetivas contas. Desta forma, permite perceber mais facilmente se existe alguma \n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 69\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.849109649658203\n", "Texto:\n", "16. FECHO MENSAL DAS CONTAS – SIGNOFF Ao fim de cada mês é efetuado o fecho de todas das contas bancárias correspondentes ao Outsourcing. Este fecho é solicitado pelo cliente. Para apoiar nesta tarefa devemos utilizar como referência o ficheiro disponível aqui ou através da imagem seguinte. Figura 55 - Ficheiro de apoio para o fecho mensal de contas 17. INDICADORES Esta tarefa é realizada mensalme\n", "--------------------------------------------------------------------------------\n", "\n", "====================================================================================================\n", "PERGUNTA: O que fazer quando um Extrato Bancário apesar de ter sido integrado corretamente foi rejeitado por um utilizador?\n", "====================================================================================================\n", "\n", "Resultado 36\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 6.928954124450684\n", "Texto:\n", "do ocorrer o utilizador deverá contactar o cliente edp a informar da situação e pedir o extrato para Extrair Ficheiros carregamento manual Rejeição O Extrato Bancário não foi integrado porque a data de inicialização da conta é posterior à do Extrato Ver Extrato Auto Bancário Forçar Integração Extrair Ficheiros Rejeição User O Extrato Bancário apesar de ter sido integrado corretamente foi rejeitado\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 34\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 7.797972679138184\n", "Texto:\n", "Extrato Bancário foi recebido mais do que uma vez Extrair Extrato Duplicado - O conteúdo do Extrato Bancário é o mesmo de um já existente embora a informação de Extrair Ficheiros Detalhe cabeçalho seja diferente Por O Extrato Bancário entrou na plataforma mas não foi processado, esta situação não é esperada, Forçar Integração Processar pelo que o utilizador após análise da informação, deve Forçar \n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 29\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 9.823686599731445\n", "Texto:\n", "etc). c) Se tiverem sido enviados vários extratos do mesmo banco, mas continuarem a faltar uma ou duas contas, será necessário proceder a uma análise mais detalhada da situação. Nesse caso, recomenda-se:\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 27\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 10.097077369689941\n", "Texto:\n", "uais atrasos no envio. De seguida, deverá ser validado com o Técnico se o banco já procedeu ao envio dos extratos, porém se caso se verifique que os extratos em falta são enviados via SWIFT e/ou por pasta, deverá ser informado e contactado o POC1 da EDP, de forma a acompanhar e resolver a situação. Com base nesta validação, podem ser adotadas as seguintes ações: Exemplos: a) Se o banco não tiver e\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 35\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 10.375360488891602\n", "Texto:\n", "Tabela 4 - Tabela Resumo do tipo de situação de extrato 2 de 2 Situação do Explicação da Situação Hipóteses de Atuação Extratos Fora de A Target One valida a data e o saldo do Extrato Bancário recebido com o Extrato Bancário anterior; se a Ver Extrato Sequência data e/ou saldo não é (são) coerente(s) o extrato fica assinalado como Fora de Sequência. Esta situação Forçar Integração deve ser reporta\n", "--------------------------------------------------------------------------------\n", "\n", "====================================================================================================\n", "PERGUNTA: Como fazer uma VALIDAÇÃO CASHPOOLING MANUAL?\n", "====================================================================================================\n", "\n", "Resultado 43\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.206241130828857\n", "Texto:\n", "Figura 25 - Filtro a utilizar para CashPooling Manual (Código de extrato - ITOTHR – Concentração de Fundos) Para apoiar esta análise, utiliza-se como referência, na componente TTesouraria, a previsão de ITOTHR registada pelo cliente EDP. Desta forma, é possível comparar os movimentos existentes nos extratos bancários com os valores registados na componente de Tesouraria. Figura 26 - Filtros a apli\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 42\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.237201690673828\n", "Texto:\n", "do o caminho dentro do TExtratos de acordo com Figura 24 - Caminho para a consulta de movimentos. A cada débito deve corresponder um crédito. Estas concentrações de fundos são realizadas dentro da mesma empresa, mas entre contas de diferentes bancos. Os filtros a utilizar nesta pesquisa podem ser consultados de acordo com a Figura 25 - Filtro a utilizar para CashPooling Manual (Código de extrato -\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 46\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.2547430992126465\n", "Texto:\n", "uma nova janela de consulta de movimentos. Nessa consulta, deverá ser definido um intervalo de datas mais abrangente e, no campo “descrição”, introduzir as palavras entre dois símbolos de (%%), de forma a filtrar os movimentos relevantes. Com esta pesquisa podemos encontrar movimentos semelhantes que nos ajudam a identificar o nosso movimento. Para apoio desta tarefa podemos consultar o quadro inf\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 60\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.523987770080566\n", "Texto:\n", "13. CONTABILIZAÇÃO DOS MOVIMENTOS BANCÁRIOS Esta tarefa deve ser normalmente realizada por volta das 11h00, altura em que a maior parte dos extratos bancários já se encontram integrados nas contas, permitindo trabalhar com informação mais completa. O principal objetivo desta componente é classificar diretamente, em Target One, os fluxos financeiros que têm origem nas várias componentes da platafor\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 20\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.582015037536621\n", "Texto:\n", "ente. 2. Garantir a correta integração e validação de extratos bancários. 3. Assegurar a reconciliação manual e automática. 4. Assegurar contabilização correta. 5. Reduzir erros e melhorar eficiência.\n", "\n", "P O ROCEDIMENTOS PERACIONAIS 1. VALIDAÇÃO DA RECEÇÃO DOS WEBSERVICES DE TRECONCILIAÇÃO E TTESOURARIA; Para aceder a esta funcionalidade é necessário ir no Menu principal a TComunicações e de seguida\n", "--------------------------------------------------------------------------------\n", "\n", "====================================================================================================\n", "PERGUNTA: O extrato da conta não se encontra integrado o que fazer?\n", "====================================================================================================\n", "\n", "Resultado 34\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.217084884643555\n", "Texto:\n", "Extrato Bancário foi recebido mais do que uma vez Extrair Extrato Duplicado - O conteúdo do Extrato Bancário é o mesmo de um já existente embora a informação de Extrair Ficheiros Detalhe cabeçalho seja diferente Por O Extrato Bancário entrou na plataforma mas não foi processado, esta situação não é esperada, Forçar Integração Processar pelo que o utilizador após análise da informação, deve Forçar \n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 30\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.622959136962891\n", "Texto:\n", "a. Verificar no diário de integração de extratos se as contas em causa apresentam um estado diferente de “Processado OK”; Exemplos de outras possíveis situações; Ações Estado Descrição Ação a Realizar Disponíveis Por Processar O extrato foi recebido Analisar a situação e forçar a Forçar na plataforma, mas não integração do extrato; Integração; foi integrado (situação Extrair Fechar e abrir novamen\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 69\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 6.036468505859375\n", "Texto:\n", "16. FECHO MENSAL DAS CONTAS – SIGNOFF Ao fim de cada mês é efetuado o fecho de todas das contas bancárias correspondentes ao Outsourcing. Este fecho é solicitado pelo cliente. Para apoiar nesta tarefa devemos utilizar como referência o ficheiro disponível aqui ou através da imagem seguinte. Figura 55 - Ficheiro de apoio para o fecho mensal de contas 17. INDICADORES Esta tarefa é realizada mensalme\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 26\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 6.037806987762451\n", "Texto:\n", "Torna-se importante validar se todas as contas já receberam os respetivos extratos. Para isso, e para uma melhor ajuda, deve ser consultado o documento “controlo de contas”, disponível aqui ou pela Figura 11 - Documento controlo de contas, que permite identificar os horários habituais de integração para cada banco e respetivas contas. Desta forma, permite perceber mais facilmente se existe alguma \n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 60\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 6.0972442626953125\n", "Texto:\n", "13. CONTABILIZAÇÃO DOS MOVIMENTOS BANCÁRIOS Esta tarefa deve ser normalmente realizada por volta das 11h00, altura em que a maior parte dos extratos bancários já se encontram integrados nas contas, permitindo trabalhar com informação mais completa. O principal objetivo desta componente é classificar diretamente, em Target One, os fluxos financeiros que têm origem nas várias componentes da platafor\n", "--------------------------------------------------------------------------------\n", "\n", "====================================================================================================\n", "PERGUNTA: Como fazer CARREGAMENTO MANUAL DE EXTRATOS VIA TEMPLATE EXCEL?\n", "====================================================================================================\n", "\n", "Resultado 43\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 4.767747402191162\n", "Texto:\n", "Figura 25 - Filtro a utilizar para CashPooling Manual (Código de extrato - ITOTHR – Concentração de Fundos) Para apoiar esta análise, utiliza-se como referência, na componente TTesouraria, a previsão de ITOTHR registada pelo cliente EDP. Desta forma, é possível comparar os movimentos existentes nos extratos bancários com os valores registados na componente de Tesouraria. Figura 26 - Filtros a apli\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 46\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 4.803812026977539\n", "Texto:\n", "uma nova janela de consulta de movimentos. Nessa consulta, deverá ser definido um intervalo de datas mais abrangente e, no campo “descrição”, introduzir as palavras entre dois símbolos de (%%), de forma a filtrar os movimentos relevantes. Com esta pesquisa podemos encontrar movimentos semelhantes que nos ajudam a identificar o nosso movimento. Para apoio desta tarefa podemos consultar o quadro inf\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 20\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 4.993714809417725\n", "Texto:\n", "ente. 2. Garantir a correta integração e validação de extratos bancários. 3. Assegurar a reconciliação manual e automática. 4. Assegurar contabilização correta. 5. Reduzir erros e melhorar eficiência.\n", "\n", "P O ROCEDIMENTOS PERACIONAIS 1. VALIDAÇÃO DA RECEÇÃO DOS WEBSERVICES DE TRECONCILIAÇÃO E TTESOURARIA; Para aceder a esta funcionalidade é necessário ir no Menu principal a TComunicações e de seguida\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 32\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.14080286026001\n", "Texto:\n", "Figura 14 - Caminho para configuração de alertas por conta De forma geral, a abordagem deverá passar sempre por compreender a origem da situação antes de agir, garantindo assim uma resposta adequada e evitando comunicações desnecessárias. Sempre que existam extratos com integração pendente, deverá ser efetuada a verificação do controlo de contas. 5. VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃO, O ESTADO DOS\n", "--------------------------------------------------------------------------------\n", "\n", "Resultado 62\n", "Documento: Manual_Outs_EDP_VF.pdf\n", "Categoria: Outros\n", "Score: 5.289995193481445\n", "Texto:\n", "Exemplo de Envio dos movimentos para a contabilização Figura 42 - EDP VIESGO_Outsourcing 2023 – Origem TExtratos Para garantir uma contabilização segura, é importante analisar previamente os movimentos que se encontram na situação “classificados”. Durante esta análise, deve confirmar-se se o fluxo tipo e o código de extrato estão coerentes entre si, ou seja, se correspondem ao mesmo tipo de movime\n", "--------------------------------------------------------------------------------\n" ] } ], "source": [ "testar_perguntas(\n", " perguntas_teste,\n", " modelo_embeddings,\n", " index,\n", " dataset_chunks,\n", " top_k=5\n", ")" ] }, { "cell_type": "code", "execution_count": null, "id": "cf65854e", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "\n", "====================================================================================================\n", "PERGUNTA: Como faço uma VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃO, O ESTADO DOS EXTRATOSINTEGRADOS?\n", "\n", "--- PROMPT PARA O QWEN ---\n", "\n", "\n", "Responde à pergunta do utilizador com base apenas no contexto fornecido.\n", "\n", "Pergunta:\n", "Como faço uma VALIDAÇÃO, NO DIÁRIO DE INTEGRAÇÃO, O ESTADO DOS EXTRATOSINTEGRADOS?\n", "\n", "Contexto:\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "uma nova janela de consulta de movimentos. Nessa consulta, deverá ser definido um intervalo de datas mais abrangente e, no campo “descrição”, introduzir as palavras entre dois símbolos de (%%), de forma a filtrar os movimentos relevantes. Com esta pesquisa podemos encontrar movimentos semelhantes que nos ajudam a identificar o nosso movimento. Para apoio desta tarefa podemos consultar o quadro infra; Tabela 5 – Quadro de apoio aos códigos de extrato 1 de 2 (por ordem alfabética B – I) Código de Extrato Descrição Tipo BANCHE Bank Checks Operacional Payments BKGUAR Bank Guarantees Financial Operations CARDPA Card Payments Operacional Payments CHARGE Bank Charges Financial Operations COMPAP Commercial Paper Financial Operations CONFPA Confirming - Payments Operacional Payments CONFPR Confirming - Profit Operacional Receivements CORPTAX Corporate TAX Taxes CRCARD Clients Receivements - CARD Operacional Receivements CRCDBR Clients Receivements - CODE BAR Operacional Receivements CRDDEB Clients Receivements - DIRECT DEBIT Operacional Receivements CRMGRD Clients Receivements - MEGA REDE Operacional Receivements CRPAYS Clients Receivements - PAYSHOP Operacional Receivements CRPWCR Clients\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "13.\n", "\n", "====================================================================================================\n", "PERGUNTA: O que fazer quando um Extrato Bancário apesar de ter sido integrado corretamente foi rejeitado por um utilizador?\n", "\n", "--- PROMPT PARA O QWEN ---\n", "\n", "\n", "Responde à pergunta do utilizador com base apenas no contexto fornecido.\n", "\n", "Pergunta:\n", "O que fazer quando um Extrato Bancário apesar de ter sido integrado corretamente foi rejeitado por um utilizador?\n", "\n", "Contexto:\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "do ocorrer o utilizador deverá contactar o cliente edp a informar da situação e pedir o extrato para Extrair Ficheiros carregamento manual Rejeição O Extrato Bancário não foi integrado porque a data de inicialização da conta é posterior à do Extrato Ver Extrato Auto Bancário Forçar Integração Extrair Ficheiros Rejeição User O Extrato Bancário apesar de ter sido integrado corretamente foi rejeitado por um utilizador Forçar Integração Extrair Ficheiros\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "Extrato Bancário foi recebido mais do que uma vez Extrair Extrato Duplicado - O conteúdo do Extrato Bancário é o mesmo de um já existente embora a informação de Extrair Ficheiros Detalhe cabeçalho seja diferente Por O Extrato Bancário entrou na plataforma mas não foi processado, esta situação não é esperada, Forçar Integração Processar pelo que o utilizador após análise da informação, deve Forçar a Integração do Extrato Bancário Extrair Ficheiros\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "etc). c) Se tiverem sido enviados vários extratos do mesmo banco, mas continuarem a faltar uma ou duas contas, será necessário proceder a uma análise mais detalhada da situação. Nesse caso, recomenda-se:\n", "\n", "\n", "====================================================================================================\n", "PERGUNTA: Como fazer uma VALIDAÇÃO CASHPOOLING MANUAL?\n", "\n", "--- PROMPT PARA O QWEN ---\n", "\n", "\n", "Responde à pergunta do utilizador com base apenas no contexto fornecido.\n", "\n", "Pergunta:\n", "Como fazer uma VALIDAÇÃO CASHPOOLING MANUAL?\n", "\n", "Contexto:\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "Figura 25 - Filtro a utilizar para CashPooling Manual (Código de extrato - ITOTHR – Concentração de Fundos) Para apoiar esta análise, utiliza-se como referência, na componente TTesouraria, a previsão de ITOTHR registada pelo cliente EDP. Desta forma, é possível comparar os movimentos existentes nos extratos bancários com os valores registados na componente de Tesouraria. Figura 26 - Filtros a aplicar na pesquisa Após abrir os dois filtros, comparar e verificar se há movimentos em falta. Se houver, agir em conformidade. Situações de falhas possíveis; • O extrato da conta não se encontra integrado (verificar na consulta de extratos); • O movimento do extrato está classificado com um código diferente de ITOTHR (verificar, na consulta de movimentos, o código de extrato atribuído ao valor em análise);\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "do o caminho dentro do TExtratos de acordo com Figura 24 - Caminho para a consulta de movimentos. A cada débito deve corresponder um crédito. Estas concentrações de fundos são realizadas dentro da mesma empresa, mas entre contas de diferentes bancos. Os filtros a utilizar nesta pesquisa podem ser consultados de acordo com a Figura 25 - Filtro a utilizar para CashPooling Manual (Código de extrato - ITOTHR – Concentração de Fundos)\n", "\n", "====================================================================================================\n", "PERGUNTA: O extrato da conta não se encontra integrado o que fazer?\n", "\n", "--- PROMPT PARA O QWEN ---\n", "\n", "\n", "Responde à pergunta do utilizador com base apenas no contexto fornecido.\n", "\n", "Pergunta:\n", "O extrato da conta não se encontra integrado o que fazer?\n", "\n", "Contexto:\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "Extrato Bancário foi recebido mais do que uma vez Extrair Extrato Duplicado - O conteúdo do Extrato Bancário é o mesmo de um já existente embora a informação de Extrair Ficheiros Detalhe cabeçalho seja diferente Por O Extrato Bancário entrou na plataforma mas não foi processado, esta situação não é esperada, Forçar Integração Processar pelo que o utilizador após análise da informação, deve Forçar a Integração do Extrato Bancário Extrair Ficheiros\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "a. Verificar no diário de integração de extratos se as contas em causa apresentam um estado diferente de “Processado OK”; Exemplos de outras possíveis situações; Ações Estado Descrição Ação a Realizar Disponíveis Por Processar O extrato foi recebido Analisar a situação e forçar a Forçar na plataforma, mas não integração do extrato; Integração; foi integrado (situação Extrair Fechar e abrir novamente a não expectável). Ficheiros; componente Fora de Existe incoerência na Reportar ao Cliente, pedir Ver Extrato; Sequência data e/ou saldo face ao movimentos em falta ou Forçar extrato anterior. extrato em PDF . Após Integração; correção, forçar a integração. Extrair Ficheiros Erro de O extrato não foi Verificar o erro identificado e Ver Extrato; Conteúdo integrado devido a\n", "\n", "====================================================================================================\n", "PERGUNTA: Como fazer CARREGAMENTO MANUAL DE EXTRATOS VIA TEMPLATE EXCEL?\n", "\n", "--- PROMPT PARA O QWEN ---\n", "\n", "\n", "Responde à pergunta do utilizador com base apenas no contexto fornecido.\n", "\n", "Pergunta:\n", "Como fazer CARREGAMENTO MANUAL DE EXTRATOS VIA TEMPLATE EXCEL?\n", "\n", "Contexto:\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "Figura 25 - Filtro a utilizar para CashPooling Manual (Código de extrato - ITOTHR – Concentração de Fundos) Para apoiar esta análise, utiliza-se como referência, na componente TTesouraria, a previsão de ITOTHR registada pelo cliente EDP. Desta forma, é possível comparar os movimentos existentes nos extratos bancários com os valores registados na componente de Tesouraria. Figura 26 - Filtros a aplicar na pesquisa Após abrir os dois filtros, comparar e verificar se há movimentos em falta. Se houver, agir em conformidade. Situações de falhas possíveis; • O extrato da conta não se encontra integrado (verificar na consulta de extratos); • O movimento do extrato está classificado com um código diferente de ITOTHR (verificar, na consulta de movimentos, o código de extrato atribuído ao valor em análise);\n", "\n", "---\n", "\n", "[Documento: Manual_Outs_EDP_VF.pdf | Categoria: Outros]\n", "uma nova janela de consulta de movimentos. Nessa consulta, deverá ser definido um intervalo de datas mais abrangente e, no campo “descrição”, introduzir as palavras entre dois símbolos de (%%), de forma a filtrar os movimentos relevantes. Com esta pesquisa podemos encontrar movimentos semelhantes que nos ajudam a identificar o nosso movimento. Para apoio desta tarefa podemos consultar o quadro infra; Tabela 5 – \n" ] } ], "source": [ "for pergunta in perguntas_teste:\n", " print(\"\\n\" + \"=\"*100)\n", " print(\"PERGUNTA:\", pergunta)\n", " \n", " prompt, resultados = preparar_rag(\n", " query=pergunta,\n", " modelo_embeddings=modelo_embeddings,\n", " index=index,\n", " dataset_chunks=dataset_chunks,\n", " top_k=5\n", " )\n", " \n", " print(\"\\n--- PROMPT PARA O QWEN ---\\n\")\n", " print(prompt[:1500])" ] }, { "cell_type": "markdown", "id": "b1c79d02", "metadata": {}, "source": [ "Meter meter os ficheiros na indice_documentos.faiss dataset_chunks.json mesma pasta do app.py (que vai funcionar como backend do nosso \"Chat\"), no meu caso eu crei um pasta denominada [Modelos_bot_exercito](D:\\Trabalhos\\Modelos_bot_exercito) mas o idela é estar na mesma pasta" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.14.2" } }, "nbformat": 4, "nbformat_minor": 5 }