Em destaque: Qualidade dos dados - Dimensão 4, Actualizações de dados

Qualidade dos dados 1 de junho de 2023 Ángel Agudo, Patricia Pina, Juan Diego Martin, Ron Potok, Chris Ciompi

Uma série de entrevistas com a equipa executiva do Clarity AI sobre as 8 dimensões da qualidade dos dados

Como é que Clarity AI garante que os seus dados são da mais elevada qualidade?

Clarity AI utiliza um quadro de 8 dimensões para garantir que os dados são da mais elevada qualidade. Essas dimensões são a cobertura, a atualidade , a exatidão, as actualizações de dados, a explicabilidade, a consistência, o ponto no tempo e o feedback. Nesta série de entrevistas com executivos da Clarity AI , cada uma destas dimensões é explorada e explicada. Clarity AIA equipa de especialistas da cria metodologias científicas e baseadas em evidências que, em seguida, utilizam inteligência artificial poderosa e escalável (por exemplo, aprendizagem automática) para recolher, limpar, analisar e expandir conjuntos de dados existentes para alimentar a sua plataforma tecnológica de sustentabilidade ou para integrar diretamente nos fluxos de trabalho existentes dos utilizadores.

Dimensão 4 - Actualizações de dados

Clarity AIÁngel Agudo, Diretor de Investigação e Inovação de Produtos, Patricia Pina, Diretor de Estratégia de Dados, Juan Diego Martin, e Ron Potok, Diretor de Ciência de Dados, debatem - com Chris Ciompi, Diretor de Marketing de Clarity AI- a dimensão crítica das actualizações de dados e a sua relação com a qualidade dos dados. 

Chris Ciompi: Bem-vindos, todos. Comecemos por si, Ángel. Pode definir as actualizações de dados, no que diz respeito à qualidade dos dados?

Ángel Agudo: As actualizações de dados são os processos que utilizamos para incorporar novas informações na ferramenta. Este é um aspeto crítico da qualidade dos dados: garantir que temos a frequência certa para fornecer os dados mais recentes aos clientes, para que estes possam aceder às informações mais actualizadas disponíveis.

Chris Ciompi: Entendido. Patricia, porque é que as actualizações de dados são importantes para os consumidores de dados de sustentabilidade?

Patricia Pina: A infraestrutura e os processos que permitem atualizar os dados são fundamentais para os consumidores de dados de sustentabilidade. Os nossos clientes precisam de poder aceder à informação mais exacta e mais recente que seja relevante para as suas decisões em qualquer momento. Clarity AI investiu recursos significativos para garantir que as nossas actualizações de dados podem ser implementadas com diferentes frequências, com base na procura dos clientes, sem perturbar a sua experiência e o serviço que lhes prestamos. Por exemplo, os nossos clientes precisam de saber imediatamente se há uma nova controvérsia sobre um caso de corrupção que tenha sido divulgado à imprensa, mas uma empresa só comunicará dados de GEE numa base anual. Para tal, é necessário ter a capacidade de modular as actualizações de dados de forma flexível e atempada. Outro aspeto muito importante das nossas actualizações de dados é que não precisamos de esperar que todas as empresas comuniquem um valor atualizado para o refletir no nosso produto. As empresas comunicarão em momentos diferentes, Clarity AI recolherá esses dados e disponibilizá-los-á aos nossos clientes à medida que forem publicados. Estamos continuamente a recolher e a atualizar os dados para garantir que os nossos clientes podem utilizar a melhor informação disponível em cada dia específico.

Chris Ciompi: Obrigado por isso. Muito bem, Juan Diego. Como é que o Clarity AI garante que os seus dados estão actualizados?

Juan Diego Martín: O Clarity AI tem um processo muito simplificado para, em primeiro lugar, detetar quando as empresas actualizam informações específicas nos seus relatórios e fontes públicas. Em segundo lugar, processar essa informação o mais rapidamente possível e, em terceiro lugar, ter uma camada adicional de qualidade de dados que combina IA e humanos, para garantir que esta informação é fornecida aos clientes da melhor forma possível. Tudo está ligado. Quando a empresa actualiza determinadas informações, já estamos à procura dessas informações. Normalmente, sabemos quando vão ser actualizadas: há um alerta ou sinal que nos permite recuperar essas informações o mais rapidamente possível e ingeri-las automaticamente no pipeline de processamento que utilizamos. Assim, a informação passa por modelos de IA criados pela equipa de Ciência de Dados, liderada por Ron. Depois, é incluída em controlos de qualidade de revisão específicos. Se houver algo que precise de ser revisto por um humano, temos a pessoa certa com as competências certas para rever esses dados. Depois de tudo estar feito, existe uma camada adicional que nos permite criar informações específicas que queremos incluir no produto. Portanto, foi a isto que me referi como um processo simplificado: deteção, ingestão, processamento, algoritmos humanos, processamento e entrega à ferramenta.

Chris Ciompi: Pode dizer-nos um pouco mais sobre a forma como as nossas actualizações de dados em Clarity AI são influenciadas pela inteligência artificial e como é que a IA influencia as actualizações de dados?

Ron Potok: Há de facto duas componentes. Um é a eficiência do lado da qualidade, garantindo que as actualizações de dados que fazemos são de alta qualidade e frequentes. O segundo ponto é o nosso processo automatizado de sinalização de pontos de dados que parecem suspeitos, para que nunca cheguem ao produto. Todos estes processos são automatizados. São apanhados por modelos sofisticados de aprendizagem automática, incluindo o nosso modelo de fiabilidade, de que já falámos numa conversa anterior. Tudo isso é totalmente automatizado. Praticamente em tempo real, podemos ver se um ponto de dados é suspeito ou não e assinalá-lo para posterior análise manual. Outro fator de diferenciação que temos em termos de actualizações de dados é o facto de sermos uma empresa tecnológica. Tirámos partido da IA para permitir um processo de cobertura de notícias muito mais eficiente do que muitos dos nossos concorrentes. Isto permite-nos atualizar com muita frequência o nosso módulo de notícias para ver as controvérsias ESG muito rapidamente e aumentar a frequência de atualização das controvérsias, o que é muito diferente em comparação com a maioria dos nossos concorrentes no espaço ESG. Esta capacidade de atualizar frequentemente as informações noticiosas baseia-se no nosso processo único de controvérsias de modelos linguísticos de grande dimensão, baseado em humanos e em ciclos de IA.

Chris Ciompi: Ok, vamos falar um pouco mais especificamente sobre as controvérsias e a PNL. Como é que isso está a funcionar?

Ron Potok: Todos os dias, recebemos mais de 1,4 milhões de artigos de mais de 30 000 fontes de notícias fiáveis, que são automaticamente processados através do nosso motor de notícias baseado em IA. O nosso motor de IA atribui, detecta e atribui gravidade às controvérsias ESG de forma eficiente. De seguida, os nossos analistas verificam os resultados e colocam-nos em produção. A utilização da IA torna o processo muito mais eficiente e permite-nos encontrar as agulhas no palheiro dos artigos.

Chris Ciompi: Só quero fazer um esclarecimento. Portanto, a IA está a aumentar a eficiência na procura de coisas que precisam de ser revistas por um especialista (humano) da nossa equipa.

Ron Potok: Correto.

Chris Ciompi: Obrigado por isso. Muito bem, Patricia, como é que as actualizações de dados ajudam a impulsionar a inovação de produtos em Clarity AI?

Patricia Pina: Como empresa digitalmente nativa, estamos empenhados em implementar a transparência de uma forma que esteja integrada no nosso produto digital e que possa ser acedida e auto-servida diretamente pelos nossos clientes. Aplicamos o mesmo princípio às nossas actualizações de dados. Qualquer cliente pode, a qualquer momento, navegar pelo nosso registo de actualizações de dados e perceber que alterações foram feitas em que data e quais os seus efeitos. Além disso, se os nossos clientes quiserem contestar qualquer uma das nossas avaliações ou pontos de dados, podem fazê-lo diretamente através da nossa ferramenta, que lançará automaticamente um processo de revisão e, se for considerado adequado, desencadeará uma atualização de dados. Os processos totalmente ligados de ponta a ponta, incluindo as actualizações de dados, que são possibilitadas pela tecnologia, fazem parte da nossa filosofia.

Ángel Agudo: Deixem-me só acrescentar uma coisa. A plataforma de software é composta por duas partes. Uma é a tecnologia que nos permite processar todos os dados. Assim que a informação está disponível, proporcionamos transparência, combinando uma visão de cima para baixo e de baixo para cima, e exibindo a capacidade de ajudar os clientes a compreender e a utilizar os novos dados. Transparência significa informar os clientes sempre que os dados são actualizados. Também fornecemos uma visão de cima para baixo de todas as peças que foram actualizadas de forma consistente em todos os produtos, bem como uma visão de baixo para cima que lhes permite compreender o que aconteceu em pontos de dados individuais. Também fornecemos alertas e relatórios para os ajudar a manter o controlo dos dados. Por último, fornecemos algo que permite aos clientes compreender o que motivou a atualização dos dados. Podem existir diferentes razões. Talvez seja o facto de uma empresa ter publicado um novo relatório de sustentabilidade que motiva uma atualização da informação relativa a um determinado ano. Pode ser que a empresa tenha corrigido um ponto de dados de um relatório anterior. Seja qual for a razão, existe uma capacidade que está ligada ao registo de dados. Isto não só indica que os dados foram actualizados, mas também a razão pela qual um ponto de dados foi atualizado.

Chris Ciompi: Muito bem. Deixe-me abordar um pouco o ângulo que acabou de apresentar sobre os clientes, certo? Os clientes que estão a utilizar isto, acha que vêem a mesma quantidade de valor nas três dimensões de que acabou de falar?

Ángel Agudo: Os clientes consideram a vista de cima para baixo útil porque agrega o que foi atualizado e facilita a digestão da informação. Ao mesmo tempo, precisam de ter a capacidade de aceder a pontos de dados individuais quando estão numa análise mais granular. Dar prioridade à vista de cima para baixo é muito relevante porque dá uma ideia do que foi atualizado. A capacidade de explicação granular é útil quando os clientes precisam de fazer uma análise mais aprofundada.

Chris Ciompi: Entendi. Ok, tudo bem. Obrigado a todos.

Introduza o seu endereço de correio eletrónico para ler mais

Solicite uma demonstração