Projetos de Pesquisa

 

Foto de perfil

Tiago Timponi Torrent

Lingüística, Letras e Artes

Lingüística
  • representação semântica computacional de objetos multimodais: aliando visão computacional e compreensão de língua natural através da semântica de frames
  • Este projeto tem por objetivo construir e avaliar um modelo de representação computacional da semântica de objetos multimodais (vídeos com e sem audiodescrição e textos com fotos e legendas). Baseia-se na Semântica de Frames e utiliza a FrameNet, i.e., um modelo computacional da cognição linguística no qual itens lexicais, bem como outras estruturas linguísticas, são modelados em termos de frames - ou sistemas de conceitos - que evocam. Norteia este projeto o pressuposto de que, assim como os itens linguísticos podem evocar frames, elementos visuais presentes em imagens podem também fazê-lo ou atuar de maneira complementar aos frames evocados pela língua. A metodologia de trabalho envolve a criação de um corpus multimodal anotado (“gold standard dataset”) que possa ser posteriormente empregado para tarefas de aprendizagem de máquina dedicadas à rotulação semântica automática de objetos multimodais, tanto na semiose linguística quanto em outras. Os resultados incluem a publicação e disponibilização de um "gold standard dataset" multimodal, bem como uma ferramenta computacional de identificação de frames em objetos multimodais. Do ponto de vista teórico, o projeto avança tanto no sentido de levar as análises desenvolvidas pela Semântica de Frames para outros domínios semióticos, quanto no sentido de prover os paradigmas analíticos da multimodalidade com um modelo semântico refinado e estruturado computacionalmente. Do ponto de vista tecnológico e de inovação, entrega um dataset inédito, na medida em que incorpora um modelo semântico refinado aos metadados anotados, bem como uma aplicação deste à tarefa de rotulação semântica automática. Do ponto de vista social, o dataset obtido poderá ser utilizado para treinar modelos em tradução audiovisual e acessibilidade de produtos midiáticos. O projeto formará recursos humanos altamente qualificados e promoverá o intercâmbio entre instituições brasileiras e internacionais.
  • Universidade Federal de Juiz de Fora - MG - Brasil
  • Thu Feb 03 00:00:00 BRT 2022-Fri Feb 28 00:00:00 BRT 2025