Pague Conforme o Uso - AI Model Orchestration and Workflows Platform
Evaluating outputs from large language models (LLMs) ensures accuracy, minimizes risks, and aligns results with business needs. Poor evaluation can lead to errors, compliance issues, and biased outcomes. Here’s how to effectively assess LLM performance:
Dica rápida: Combine ferramentas automatizadas com supervisão humana e acompanhe os resultados para refinar os processos continuamente. Esta abordagem garante resultados confiáveis e de alta qualidade, ao mesmo tempo que reduz os riscos.
O estabelecimento de critérios padronizados transforma o processo de avaliação de grandes modelos de linguagem (LLMs) em um esforço estruturado e objetivo. Isso elimina suposições e argumentos subjetivos, mudando o foco para resultados mensuráveis que se alinhem com seus objetivos.
Comece definindo o que significa sucesso para sua aplicação específica. Um chatbot de atendimento ao cliente, por exemplo, exigirá padrões de avaliação diferentes de uma ferramenta de criação de conteúdo ou de um assistente de código. Adapte seus critérios para refletir as demandas reais do seu caso de uso.
__XLATE_3__
O Gartner relatou que 85% dos projetos GenAI falham devido a dados incorretos ou testes de modelo inadequados.
Isto realça a importância de dedicar tempo e recursos à construção de quadros de avaliação antes de implementar qualquer modelo.
As principais métricas de desempenho formam a base de qualquer sistema de avaliação LLM, oferecendo maneiras objetivas de medir a qualidade dos resultados. As principais métricas incluem Precisão, que avalia a exatidão dos fatos (por exemplo, garantir que os cálculos financeiros sejam precisos), e Relevância, que avalia o quão bem as respostas se alinham com as consultas dos usuários.
For a balanced approach, combine 1–2 custom metrics tailored to your use case with 2–3 general system metrics. These metrics should be quantitative, dependable, and designed to reflect human judgment.
Embora essas métricas principais forneçam uma estrutura sólida, complemente-as com ferramentas personalizadas para abordar nuances específicas da sua aplicação.
Generic metrics provide a broad overview, but custom checklists are essential for addressing the unique aspects of your organization’s needs. For example, in summarization tasks, custom metrics might focus on how well the summary includes key information and avoids contradictions.
Listas de verificação eficazes combinam pontuação automatizada com alertas para sinalizar resultados que ficam abaixo dos limites aceitáveis. Atualizações regulares dessas listas de verificação, com base em dados de desempenho do mundo real, garantem que elas permaneçam relevantes e continuem a atender às demandas em evolução. Ao refinar essas ferramentas ao longo do tempo, você pode manter o alinhamento com seus objetivos e melhorar o desempenho geral do modelo.
Estabelecer padrões de avaliação e listas de verificação personalizadas é apenas o começo – ferramentas automatizadas levam o processo para o próximo nível. Essas ferramentas transformam a tarefa tradicionalmente lenta e manual de avaliação de modelos de linguagem em um sistema simplificado e orientado por dados. Sua capacidade de lidar com avaliações em larga escala com velocidade e uniformidade é inestimável, principalmente ao comparar vários modelos ou analisar grandes volumes de conteúdo.
Ao aproveitar algoritmos avançados, essas ferramentas avaliam o significado, a coerência e o contexto, muitas vezes alcançando resultados comparáveis ao julgamento humano. Esta abordagem garante avaliações que não são apenas precisas, mas também escalonáveis e repetíveis.
Perplexity evaluates how well a language model predicts sequences of words by measuring its uncertainty during generation. A lower perplexity score indicates greater confidence in predictions. It’s calculated as the exponential of the average negative log-likelihood of the predicted probabilities for each word. For example, a perplexity score of 2.275 reflects high confidence in word choices. A key advantage of perplexity is that it doesn’t rely on reference texts, making it particularly useful for creative tasks. However, it’s worth noting that some API-based models don’t provide access to prediction probabilities, which can limit the use of perplexity in certain scenarios.
O BERTScore, por outro lado, avalia a semelhança semântica entre textos gerados e de referência usando embeddings de BERT pré-treinados. Ao contrário das métricas que dependem de correspondências exatas de palavras, o BERTScore captura um significado contextual mais profundo. Ele tokeniza ambos os textos, gera embeddings e calcula a similaridade de cosseno entre os tokens correspondentes. Por exemplo, ao comparar “O gato sentou no tapete” com “Um gato estava sentado no tapete”, o BERTScore reconhece a semelhança semântica entre “sentou” e “estava sentado”.
BLEU (Bilingual Evaluation Understudy) mede o quão próximo o texto gerado se alinha com os textos de referência, analisando n-gramas sobrepostos. Também aplica uma penalidade de brevidade para desencorajar resultados excessivamente curtos.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) concentra-se na recordação, avaliando quanto do conteúdo de referência é refletido no texto gerado. Variantes como ROUGE-1 (sobreposição de unigrama), ROUGE-2 (sobreposição de bigrama) e ROUGE-L (maior subsequência comum) permitem uma análise matizada de similaridade.
Tanto o BLEU como o ROUGE exigem textos de referência, o que limita a sua aplicabilidade na avaliação de resultados criativos ou abertos.
Para garantir avaliações confiáveis, os sistemas de pontuação podem ser integrados aos fluxos de trabalho. A pontuação categórica funciona bem para decisões binárias, como determinar se um resultado atende aos padrões de qualidade ou requer revisão. A pontuação multiclasse, por outro lado, permite avaliações mais detalhadas, como classificar os resultados numa escala de 1 a 5 em várias dimensões de qualidade.
Quando os sistemas de pontuação automatizados são combinados com fluxos de trabalho, eles podem desencadear ações específicas. Por exemplo, os resultados abaixo de um limite definido podem ser sinalizados para revisão humana, enquanto o conteúdo de alto desempenho pode ser transferido diretamente para implantação. O monitoramento das distribuições de pontuação e das classificações dos avaliadores também pode destacar inconsistências. Por exemplo, se um revisor atribui consistentemente pontuações mais altas do que outros, isso pode sinalizar a necessidade de calibração ou treinamento adicional. A análise desses padrões não apenas reforça a consistência, mas também revela insights que podem orientar melhorias futuras no modelo e no fluxo de trabalho. A combinação da pontuação automatizada com a supervisão humana garante uma garantia de qualidade completa.
Embora as ferramentas automatizadas sejam excelentes na análise de padrões linguísticos, muitas vezes são insuficientes na captura de sutilezas como tom, adequação cultural e precisão específica do domínio. Os revisores humanos preenchem essa lacuna avaliando o conteúdo em relação aos padrões contextuais e profissionais. Esta parceria entre o conhecimento humano e a automação cria um processo de controle de qualidade mais completo e eficaz, equilibrando velocidade com profundidade.
To ensure comprehensive evaluations, assemble a team that includes subject matter experts, end users, and language specialists. Domain experts bring critical knowledge that automated systems can’t replicate. For instance, a medical professional can catch clinical inaccuracies that might escape a general reviewer, while a legal expert can identify compliance issues in contracts or policies.
Esta abordagem colaborativa garante que os resultados sejam precisos e fáceis de usar. As equipes que definem antecipadamente rubricas de avaliação claras - cobrindo aspectos como precisão, relevância, tom e integridade - tendem a fornecer feedback mais consistente e acionável. As avaliações cegas podem aumentar ainda mais a objetividade, permitindo que os revisores avaliem os resultados de forma independente e sem preconceitos. Sessões regulares de calibração também ajudam a alinhar os padrões, garantindo consistência ao longo do tempo. Estas sessões são particularmente úteis para discutir casos difíceis e refinar critérios com base em exemplos do mundo real e tendências emergentes nos resultados dos modelos.
Usar um modelo de linguagem de “juiz” (LLM) para avaliar os resultados é outra estratégia eficaz. Isso envolve a implantação de um LLM separado, geralmente mais avançado ou especializado, para avaliar os resultados do seu modelo primário. Esses modelos de juízes são excelentes na análise simultânea de múltiplas dimensões, como precisão factual, consistência estilística e tom, ao mesmo tempo que fornecem raciocínio detalhado para suas avaliações.
Este método é ideal para avaliações em larga escala, pois os modelos de juízes podem processar milhares de resultados de forma eficiente, oferecendo feedback estruturado em dimensões-chave. Ao lidar com a triagem inicial, esses modelos liberam os revisores humanos para se concentrarem em casos mais complexos ou ambíguos que exigem um julgamento mais profundo.
Para aproveitar ao máximo essa abordagem, elabore instruções de avaliação precisas que descrevam claramente os critérios e a estrutura esperada do feedback. Evite julgamentos simples de “sim ou não”; em vez disso, solicite análises detalhadas que dividam o desempenho em categorias específicas. Avaliações comparativas também podem ser valiosas – ao classificar múltiplos resultados para a mesma tarefa, os modelos de avaliação podem destacar diferenças sutis de qualidade e fornecer explicações para suas preferências.
Uma vez concluídas as avaliações, documentar as conclusões é essencial para o refinamento a longo prazo. Registre detalhes importantes, como configurações de modelo, entradas, pontuações e comentários do revisor para permitir análises de tendências significativas e orientar melhorias em prompts, modelos e processos.
Com o tempo, esses dados se tornam uma ferramenta poderosa para identificar padrões. Por exemplo, as equipes podem acompanhar se o desempenho do modelo está melhorando ou identificar problemas recorrentes que precisam de atenção. A análise de tendências também pode revelar quais tarefas produzem consistentemente resultados de alta qualidade e onde treinamento adicional ou ajuste fino podem ser necessários.
Além disso, acompanhar as métricas de confiabilidade entre avaliadores – medindo a concordância entre os revisores – pode fornecer informações valiosas. Uma concordância baixa pode sinalizar critérios de avaliação pouco claros ou casos ambíguos que necessitam de uma análise mais aprofundada, enquanto uma concordância elevada sugere padrões bem definidos e aplicação consistente.
Finalmente, a integração do feedback no processo de desenvolvimento garante que os insights da avaliação conduzam a melhorias tangíveis. As equipes que revisam regularmente os dados de avaliação e ajustam suas abordagens – seja refinando prompts, trocando modelos ou atualizando fluxos de trabalho – geralmente observam ganhos visíveis na qualidade dos resultados. Ao tratar a avaliação como um processo contínuo em vez de um ponto de verificação único, as organizações podem transformar o controlo de qualidade num motor poderoso para a melhoria contínua.
Com base nas avaliações de desempenho e qualidade, identificar e abordar distorções de resultados é essencial para garantir a fiabilidade dos grandes modelos linguísticos (LLMs). Detectar preconceitos é diferente de avaliar métricas técnicas como qualidade linguística; centra-se em saber se os resultados tratam todos os grupos de forma equitativa e evitam o reforço de estereótipos prejudiciais. Isso requer métodos sistemáticos para descobrir padrões até mesmo sutis em grandes conjuntos de dados.
Para identificar preconceitos, examine os resultados numa ampla gama de dados demográficos, tópicos e cenários. Isto vai além de detectar casos óbvios de discriminação e visa revelar preconceitos mais matizados que podem afectar a tomada de decisões ou perpetuar estereótipos.
Comece criando diversos conjuntos de dados de teste que reflitam a variedade de usuários que seu aplicativo atende. Por exemplo, as plataformas de contratação podem incluir currículos com nomes ligados a diferentes origens étnicas, enquanto os cenários de atendimento ao cliente podem envolver utilizadores de várias idades, locais e estilos de comunicação. O objetivo é garantir que seus conjuntos de dados representem um amplo espectro de perspectivas.
Os testes de paridade demográfica podem ajudar a determinar se o modelo trata diferentes grupos de forma consistente. Por exemplo, execute solicitações semelhantes com marcadores demográficos variados e compare o tom, a qualidade e as recomendações dos resultados. A detecção de diferenças significativas no tratamento pode indicar preconceitos subjacentes que precisam de correção.
Além disso, teste os preconceitos interseccionais combinando variáveis demográficas, como avaliar resultados para mulheres negras ou imigrantes idosos. Um modelo pode tratar os preconceitos raciais e de género separadamente, mas falhar quando estes factores se cruzam. Essas complexidades do mundo real exigem cenários de testes personalizados para descobrir problemas ocultos.
Use estruturas de análise de conteúdo para revisar sistematicamente os resultados. Procure padrões como associar profissões específicas a géneros específicos, favorecer determinados grupos ou confiar em abordagens estreitas de resolução de problemas. A monitorização destas tendências ao longo do tempo revelará se as suas intervenções estão a fazer a diferença ou se os preconceitos persistem.
Considere a adoção de protocolos de avaliação cega, onde os revisores avaliam os resultados sem conhecer o contexto demográfico dos insumos. Isto pode ajudar a isolar preconceitos nos próprios resultados, minimizando a influência dos preconceitos dos revisores.
Uma vez identificados padrões de preconceito, as ferramentas de transparência podem ajudar a rastrear as suas origens e orientar ações corretivas.
As ferramentas de transparência esclarecem como os preconceitos se desenvolvem, revelando os processos internos de tomada de decisão do modelo. Estas ferramentas são inestimáveis para identificar e abordar as causas profundas dos resultados tendenciosos.
As ferramentas de visualização de atenção permitem ver em quais partes da entrada o modelo se concentra ao gerar respostas. Isto pode revelar se o modelo é excessivamente influenciado por sinais demográficos irrelevantes. Comparar padrões de atenção entre grupos pode destacar áreas de foco inadequadas.
Gradient-based attribution methods pinpoint which input elements have the greatest impact on specific outputs. For example, if a model’s recommendation for a leadership role is influenced more by gendered pronouns than by qualifications, this technique will expose the issue.
A análise contrafactual envolve a alteração sistemática dos insumos para observar mudanças nos resultados. Por exemplo, crie prompts que diferem apenas nos detalhes demográficos e analise as respostas resultantes. Esta abordagem fornece provas concretas de preconceito e ajuda a medir o seu impacto.
A análise de espaço de incorporação examina como o modelo representa conceitos internamente. Ao visualizar a incorporação de palavras, você pode identificar associações problemáticas, como vincular certas profissões predominantemente a um gênero.
Bias detection algorithms can automate parts of this process by scanning outputs for indicators like gendered language in neutral contexts or cultural assumptions in global applications. While these tools aren’t foolproof, they help flag potential issues for further human review.
Finalmente, o rastreamento da influência dos dados pode rastrear resultados tendenciosos até partes específicas dos dados de treinamento. Compreender essas conexões ajuda as equipes a refinar a curadoria de dados, ajustar o ajuste fino do modelo ou repensar estratégias de engenharia imediatas.
As plataformas centralizadas elevam as estratégias de avaliação e mitigação de preconceitos a um novo nível, simplificando e unificando processos. Depois de abordar preconceitos, essas plataformas permitem agilizar as avaliações consolidando ferramentas em um sistema. Esta abordagem elimina ineficiências, garante padrões consistentes e preenche lacunas de visibilidade.
Os fluxos de trabalho fragmentados, por outro lado, dificultam a comparação de resultados, o acompanhamento do progresso ao longo do tempo ou a manutenção de padrões de avaliação uniformes entre as equipes. Plataformas como Prompts.ai abordam essas questões reunindo mais de 35 modelos de linguagem – incluindo GPT-4, Claude, LLaMA e Gemini – em uma única interface projetada para avaliação sistemática e governança.
Uma plataforma centralizada faz mais do que apenas combinar ferramentas. Oferece acompanhamento de custos em tempo real, dando às organizações uma visão clara do impacto financeiro dos seus esforços de avaliação. Os controles de governança integrados garantem que as avaliações estejam alinhadas com os protocolos e requisitos de conformidade estabelecidos. Esta combinação de supervisão e funcionalidade transforma testes irregulares em processos repetíveis e auditáveis. A capacidade de comparar diretamente modelos e acompanhar custos aprimora ainda mais o fluxo de trabalho de avaliação.
Comparar modelos diretamente é essencial para uma avaliação LLM eficaz, mas fazê-lo manualmente em diferentes sistemas é demorado e sujeito a erros. As plataformas centralizadas simplificam esse processo, permitindo a visualização lado a lado do desempenho, facilitando a identificação de diferenças significativas entre modelos sem o incômodo de gerenciar múltiplas integrações.
Por exemplo, você pode executar prompts idênticos em vários LLMs simultaneamente e comparar seus resultados em tempo real. Isso elimina variáveis como tempo ou inconsistências imediatas que poderiam distorcer os resultados ao testar modelos separadamente. As comparações visuais destacam padrões de qualidade, consistência e relevância em diferentes arquiteturas.
Os painéis de desempenho fornecem uma visão clara das principais métricas, como tempo de resposta, uso de token e índices de qualidade para todos os modelos testados. Em vez de fazer malabarismos com planilhas, as equipes podem acessar relatórios automatizados que destacam tendências e modelos de melhor desempenho para tarefas específicas. Esses painéis geralmente incluem filtros para detalhar períodos de tempo, grupos de usuários ou categorias de prompt específicos.
A transparência de custos é outra grande vantagem. Plataformas como Prompts.ai apresentam rastreamento de FinOps em tempo real, mostrando o custo real por avaliação. Esta clareza ajuda as organizações a equilibrar o desempenho com as considerações orçamentais, permitindo decisões informadas sobre quais modelos proporcionam o melhor valor para as suas necessidades.
O teste A/B valida ainda mais o desempenho do modelo usando dados do usuário do mundo real. Este método fornece insights concretos sobre quais modelos apresentam melhor desempenho em cenários reais, orientando as decisões de seleção de modelos.
As plataformas centralizadas também simplificam o rastreamento de versões. Quando os provedores lançam atualizações, esses sistemas podem testar automaticamente novas versões em relação às linhas de base estabelecidas, alertando as equipes sobre quaisquer mudanças significativas no desempenho ou no comportamento. Isso garante uma qualidade de serviço consistente à medida que o cenário da IA evolui, ajudando as organizações a manter padrões elevados e a tomar melhores decisões.
A avaliação eficaz dos LLMs requer a contribuição de várias partes interessadas, como equipes técnicas, especialistas no domínio e responsáveis pela conformidade. Plataformas centralizadas facilitam esta colaboração através de fluxos de trabalho estruturados que capturam e documentam todas as perspectivas durante o processo de avaliação.
Os controles de acesso baseados em funções permitem que as organizações definam quem pode visualizar, modificar ou aprovar diferentes aspectos da avaliação. Por exemplo, as equipes técnicas podem se concentrar em métricas e configurações de desempenho, enquanto as partes interessadas da empresa avaliam a qualidade dos resultados e o alinhamento com as metas. Essa segmentação garante que todos contribuam com seus conhecimentos sem sobrecarregar os outros com detalhes desnecessários.
As trilhas de auditoria rastreiam quem realizou os testes, quando as alterações foram feitas e as decisões tomadas. Esses registros garantem a conformidade regulatória e apoiam a melhoria contínua. Eles também fornecem um contexto valioso ao revisar decisões ou critérios anteriores.
As ferramentas de anotação colaborativa permitem que vários revisores avaliem os mesmos resultados e comparem as suas avaliações. Este processo ajuda a identificar preconceitos subjetivos e a estabelecer padrões de qualidade confiáveis por meio de consenso. O acompanhamento da fiabilidade entre avaliadores também destaca áreas onde os processos de avaliação podem necessitar de ajustes.
Os recursos de relatórios transparentes consolidam métricas técnicas, avaliações humanas e análises de custos em resumos que podem ser compartilhados com liderança, equipes de conformidade ou auditores externos. Esses relatórios automatizados fornecem atualizações regulares sobre o desempenho do modelo e atividades de avaliação, facilitando a manutenção das partes interessadas informadas.
Os sistemas de notificação garantem que as equipes permaneçam atualizadas sobre os principais marcos, problemas de qualidade ou mudanças de desempenho sem monitoramento manual constante. Os alertas podem ser configurados para limites específicos, como quedas nos índices de qualidade ou aumentos nos indicadores de parcialidade, garantindo ações rápidas quando necessário.
Por fim, a integração com ferramentas como Slack, Microsoft Teams ou plataformas de gerenciamento de projetos incorpora a avaliação LLM nos fluxos de trabalho existentes. Ao fornecer atualizações e alertas por meio de ferramentas familiares, as plataformas centralizadas minimizam as interrupções e facilitam o alinhamento e a informação das equipes.
To create dependable LLM output systems, it’s essential to combine automated metrics with human oversight, well-defined performance standards, and ongoing bias monitoring. This balanced approach ensures both efficiency and accountability.
O processo começa com o estabelecimento de critérios de avaliação claros e adaptados às necessidades específicas. Seja elaborando respostas de suporte ao cliente ou produzindo documentação técnica, definir o que constitui um “bom” resultado desde o início reduz divergências subjetivas. Métricas objetivas como BLEU e perplexidade fornecem referências mensuráveis, mas brilham ainda mais quando combinadas com análises de especialistas que levam em conta o contexto e nuances sutis.
Auditorias regulares centradas na justiça, representação e transparência são cruciais para construir e manter a confiança. Isto é especialmente importante quando os LLMs são empregados em áreas sensíveis, como saúde, finanças ou serviços jurídicos, onde os riscos são altos e a precisão não é negociável.
Centralizar fluxos de trabalho é outra pedra angular do gerenciamento eficaz do sistema LLM. Em vez de gerenciar ferramentas, APIs e métodos de avaliação dispersos, plataformas como Prompts.ai consolidam tudo em uma interface única e simplificada. Isso permite que as organizações comparem lado a lado mais de 35 modelos de linguagem, monitorem custos em tempo real e apliquem controles de governança. Além disso, o acesso centralizado e o rastreamento transparente de FinOps podem reduzir as despesas com software de IA em até 98%.
A colaboração entre as equipes aprimora ainda mais o processo de avaliação. Quando especialistas técnicos, especialistas de domínio e responsáveis pela conformidade trabalham juntos usando fluxos de trabalho estruturados com acesso baseado em funções e trilhas de auditoria, os resultados são mais abrangentes e defensáveis. Recursos como descobertas compartilhadas, anotações colaborativas e padrões consistentes entre departamentos transformam esforços de testes fragmentados em processos confiáveis e repetíveis.
Ultimately, success in building reliable LLM output systems doesn’t hinge on the size of the budget but on the strength of the evaluation framework. Scalable, quality-driven processes that offer transparency and foster continuous improvement transform evaluation from a hurdle into a strategic advantage. By integrating these elements, organizations can ensure their LLM systems deliver consistent, trustworthy results while staying adaptable to evolving challenges.
Para encontrar o equilíbrio certo entre ferramentas automatizadas e supervisão humana, comece aproveitando as ferramentas de IA para tarefas como filtragem preliminar, detecção de possíveis problemas e realização de avaliações de rotina. Essas ferramentas são excelentes no processamento de grandes conjuntos de dados de forma rápida e consistente.
Ao mesmo tempo, a supervisão humana desempenha um papel crucial em áreas que exigem um julgamento matizado - como a descoberta de preconceitos subtis, a validação da exactidão factual e a garantia de que os resultados cumprem padrões éticos e contextuais. Esta abordagem colaborativa combina velocidade e precisão, proporcionando resultados eficientes e cuidadosamente refinados para atender às suas necessidades específicas.
Os grandes modelos linguísticos (LLMs) podem por vezes reflectir preconceitos ligados ao género, raça, normas sociais ou outros aspectos culturais. Estes preconceitos surgem frequentemente de desequilíbrios nos dados utilizados para treinar estes modelos, levando a estereótipos ou pontos de vista distorcidos nas suas respostas.
A identificação de tais preconceitos envolve examinar os resultados em busca de padrões recorrentes de injustiça, utilizar ferramentas especializadas de detecção de preconceitos ou aplicar parâmetros de referência de justiça estabelecidos. A resolução destas questões requer uma combinação de abordagens: incorporação de conjuntos de dados diversos e bem equilibrados, elaboração de instruções que promovam a neutralidade e utilização de ferramentas automatizadas especificamente concebidas para minimizar distorções nos resultados da IA. A revisão e o teste consistentes do conteúdo gerado são igualmente importantes para garantir que ele esteja alinhado com os padrões éticos e os objetivos pretendidos.
Uma plataforma centralizada desempenha um papel fundamental na avaliação dos resultados do LLM, garantindo uma avaliação consistente e eficiente do desempenho do modelo. Com todas as ferramentas e processos de avaliação alojados num único local, identificar e abordar desafios como preconceitos, imprecisões ou alucinações torna-se mais simples. Essa abordagem ajuda a manter a confiabilidade e a qualidade dos resultados.
Além disso, reunir tudo simplifica os fluxos de trabalho, automatizando tarefas rotineiras, fornecendo insights em tempo real e apoiando a validação contínua. Esses recursos não apenas economizam tempo, mas também garantem que os modelos permaneçam alinhados com os objetivos e padrões em constante mudança, reforçando a confiança e a confiabilidade em soluções baseadas em IA.
