{"id":2256,"date":"2024-12-26T15:04:55","date_gmt":"2024-12-26T07:04:55","guid":{"rendered":"https:\/\/insight.iweaver.ai\/?p=2256"},"modified":"2025-02-17T00:20:52","modified_gmt":"2025-02-16T16:20:52","slug":"fine-tune-embedding-the-secret-to-improve-response-rates","status":"publish","type":"post","link":"https:\/\/www.iweaver.ai\/pt\/blog\/fine-tune-embedding-the-secret-to-improve-response-rates\/","title":{"rendered":"Ajuste fino da incorpora\u00e7\u00e3o: o segredo para melhorar as taxas de resposta"},"content":{"rendered":"<p>\u00c0 medida que os sistemas de resposta a perguntas se tornam mais avan\u00e7ados, os desenvolvedores est\u00e3o explorando novas t\u00e9cnicas para aprimorar seu desempenho. Uma abordagem promissora \u00e9 o modelo RAG (Retrieval-Augmented Generation), que combina recupera\u00e7\u00e3o de informa\u00e7\u00f5es e recursos de linguagem generativa. Ao refinar a incorpora\u00e7\u00e3o usada para recupera\u00e7\u00e3o de dados espec\u00edficos de um dom\u00ednio, os pesquisadores encontraram uma maneira de melhorar significativamente a precis\u00e3o das respostas dos modelos RAG. Este artigo analisa os detalhes dessa t\u00e9cnica.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Introdu\u00e7\u00e3o ao RAG<\/h2>\n\n\n\n<p>Para entender melhor por que o ajuste de embeddings \u00e9 t\u00e3o eficaz para modelos RAG, primeiro precisamos abordar alguns detalhes sobre o pr\u00f3prio RAG.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">O que \u00e9 RAG?<\/h3>\n\n\n\n<p>RAG significa Recupera\u00e7\u00e3o-Gera\u00e7\u00e3o Aumentada. \u00c9 um m\u00e9todo que combina recupera\u00e7\u00e3o de informa\u00e7\u00f5es com modelos generativos. Um modelo RAG primeiro recupera informa\u00e7\u00f5es relevantes e, em seguida, gera uma resposta com base nessas informa\u00e7\u00f5es. Isso aumenta a capacidade do modelo de responder a perguntas complexas. Ele tem duas partes: um recuperador e um gerador. O recuperador extrai trechos relevantes de um grande corpus de documentos com base na pergunta. O gerador ent\u00e3o usa esses trechos para gerar uma resposta coerente. Essa abordagem funciona melhor para responder a perguntas de dom\u00ednio aberto, pois pode buscar dinamicamente as informa\u00e7\u00f5es mais recentes.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Pr\u00f3s e limita\u00e7\u00f5es dos modelos RAG<\/h2>\n\n\n\n<p>Comparados aos modelos tradicionais de recupera\u00e7\u00e3o de texto e modelos generativos, os modelos RAG t\u00eam algumas vantagens:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Pode fornecer resultados de pesquisa mais precisos e \u00fateis<\/li>\n\n\n\n<li>Pode lidar com consultas complexas e textos longos<\/li>\n\n\n\n<li>Pode gerar resultados de pesquisa personalizados com base na inten\u00e7\u00e3o do usu\u00e1rio<\/li>\n<\/ul>\n\n\n\n<p>No entanto, os modelos RAG tamb\u00e9m apresentam algumas limita\u00e7\u00f5es:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Treinamento e infer\u00eancia s\u00e3o computacionalmente caros<\/li>\n\n\n\n<li>Altos requisitos para dados de treinamento e capacidade do modelo<\/li>\n\n\n\n<li>Dificuldade em lidar com consultas e textos de dom\u00ednios especializados<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">O papel dos embeddings no RAG<\/h2>\n\n\n\n<p>Com os conceitos b\u00e1sicos do RAG abordados, vamos nos aprofundar em como os embeddings desempenham um papel crucial e podem ser otimizados.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/uploads-ssl.webflow.com\/668b9d79e73cc482788e3eab\/6695286ab468b4d6bb6298eb_image-48-1024x576.png\" alt=\"Ajuste fino de modelos de IA incorporados\"\/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Compara\u00e7\u00e3o de recall de diferentes modelos de incorpora\u00e7\u00e3o em dados de dom\u00ednio<\/h3>\n\n\n\n<p>Este experimento utilizou mais de 30.000 fragmentos de conhecimento e 600 perguntas padr\u00e3o do usu\u00e1rio para testes de recall. Comparamos principalmente o desempenho de recall dos modelos m3e-base, bge-base-zh e bce-embedding-base_v1 em dados de entrada em chin\u00eas e ingl\u00eas.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Ajuste fino do modelo de incorpora\u00e7\u00e3o em dados de dom\u00ednio<\/h3>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Coleta de dados: colete dados suficientes relacionados ao dom\u00ednio, incluindo documentos, pares de perguntas e respostas, etc. Esses dados devem cobrir pontos-chave de conhecimento e perguntas comuns no dom\u00ednio.<\/li>\n\n\n\n<li>Pr\u00e9-processamento: limpe e pr\u00e9-processe os dados para remover ru\u00eddo e redund\u00e2ncia, garantindo a qualidade dos dados.<\/li>\n\n\n\n<li>Ajuste fino: ajuste fino de um modelo embarcado pr\u00e9-treinado (por exemplo, BERT) nos dados do dom\u00ednio. O treinamento cont\u00ednuo nos dados do dom\u00ednio ajuda o modelo a se adaptar melhor \u00e0 sem\u00e2ntica e ao uso da linguagem naquele dom\u00ednio.<\/li>\n\n\n\n<li>Avalia\u00e7\u00e3o e otimiza\u00e7\u00e3o: avalie o desempenho do modelo de incorpora\u00e7\u00e3o ajustado no RAG e ajuste os par\u00e2metros de treinamento e conjuntos de dados conforme necess\u00e1rio para otimizar ainda mais o desempenho.<\/li>\n<\/ol>\n\n\n\n<p>Por meio do ajuste fino, o modelo de incorpora\u00e7\u00e3o pode entender melhor a sem\u00e2ntica espec\u00edfica do dom\u00ednio, melhorando assim os recursos de recupera\u00e7\u00e3o e gera\u00e7\u00e3o do modelo RAG e aumentando as taxas de resposta e a qualidade.<\/p>\n\n\n\n<p>Tomando o modelo m3e como exemplo:<br>Baixar: https:\/\/huggingface.co\/moka-ai\/m3e-base<br>Refer\u00eancia de ajuste fino: https:\/\/github.com\/wangyuxinwhy\/uniem\/blob\/main\/examples\/finetune.ipynb<\/p>\n\n\n\n<p>Ap\u00f3s o ajuste fino dos dados de dom\u00ednio e novos testes de recall, observamos um aumento direto na taxa de recall de 33% \u2013 um resultado muito promissor.<\/p>\n\n\n\n<h5 class=\"wp-block-heading\">Conclus\u00e3o<\/h5>\n\n\n\n<p>O ajuste fino do modelo de incorpora\u00e7\u00e3o \u00e9 uma maneira eficaz de melhorar as taxas de resposta do RAG. Ao fazer o ajuste fino em dados de dom\u00ednio, o modelo de incorpora\u00e7\u00e3o pode compreender melhor a sem\u00e2ntica espec\u00edfica do dom\u00ednio, impulsionando assim o desempenho geral do modelo RAG. Embora os modelos RAG apresentem vantagens significativas em QA de dom\u00ednio aberto, seu desempenho em dom\u00ednios espec\u00edficos ainda precisa de maior otimiza\u00e7\u00e3o. Pesquisas futuras podem explorar mais m\u00e9todos de ajuste fino e melhorias na qualidade dos dados para aprimorar ainda mais a precis\u00e3o das respostas e a usabilidade dos modelos RAG em todos os dom\u00ednios.<\/p>","protected":false},"excerpt":{"rendered":"<p>\u00c0 medida que os sistemas de resposta a perguntas se tornam mais avan\u00e7ados, os desenvolvedores est\u00e3o explorando novas t\u00e9cnicas para aprimorar seu desempenho. Uma abordagem promissora \u00e9 o modelo RAG (Retrieval-Augmented Generation), que combina recupera\u00e7\u00e3o de informa\u00e7\u00f5es e recursos de linguagem generativa. Ao refinar a incorpora\u00e7\u00e3o usada para recupera\u00e7\u00e3o de dados espec\u00edficos de um dom\u00ednio, os pesquisadores encontraram uma maneira de melhorar significativamente a precis\u00e3o das respostas dos modelos RAG. [\u2026]<\/p>","protected":false},"author":13,"featured_media":2264,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[138],"tags":[],"class_list":["post-2256","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/posts\/2256","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/users\/13"}],"replies":[{"embeddable":true,"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/comments?post=2256"}],"version-history":[{"count":0,"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/posts\/2256\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/media\/2264"}],"wp:attachment":[{"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/media?parent=2256"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/categories?post=2256"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.iweaver.ai\/pt\/wp-json\/wp\/v2\/tags?post=2256"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}