Cookies
O website necessita de alguns cookies e outros recursos semelhantes para funcionar. Caso o permita, o INESC TEC irá utilizar cookies para recolher dados sobre as suas visitas, contribuindo, assim, para estatísticas agregadas que permitem melhorar o nosso serviço. Ver mais
Aceitar Rejeitar
  • Menu
Factos & Números
000
Apresentação

Centro de Telecomunicações e Multimédia

A nossa visão é promover um mundo animado e sustentável onde a inteligência em rede permite uma interação ubíqua com o conteúdo sensorial. A missão é desenvolver sistemas e tecnologias avançadas para permitir comunicações de alta capacidade, eficientes e seguras, extração de conhecimento dos média e aplicações multimédia ubíquas imersivas.

No CTM trabalhamos em quatro áreas principais de investigação: Tecnologias Óticas e Eletrónicas, Redes Sem Fios, Tecnologias Multimédia e de Comunicações, e Processamento de Informação e Reconhecimento de Padrões.

Últimas Notícias
Comunicações

Europa discute oportunidades de colaboração na área de comunicações sem fios em alta frequência

Ambientes de propagação inteligentes, melhorias no processamento de sinal para a sexta geração de comunicações móveis e desenvolvimentos de rede e localização orientados para 6G foram alguns dos temas em debate num evento organizado pelos projetos europeus TERRAMETA, coordenado pelo INESC TEC, 6G-SHINE e TIMES, em colaboração com o RESTART-IN – um PRR Italiano.

06 março 2024

Inteligência Artificial

Investigadores INESC TEC no primeiro protótipo desenvolvido em Portugal que aplica IA ao diagnóstico colorretal

O trabalho que levou ao primeiro protótipo que aplica Inteligência Artificial (IA) ao diagnóstico colorretal totalmente desenvolvido por portugueses contou com investigadores do INESC TEC e do laboratório de Anatomia e Patologia Molecular (IMP Diagnostics). O trabalho foi publicado na reconhecida revista científica internacional npj Precision Oncology (https://www.nature.com/articles/s41698-024-00539-4).

05 março 2024

Investigadores do INESC TEC lideram discussão sobre comunicações sem fios e visão computacional na GLOBECOM

Quase a completar o seu primeiro ano de duração, o projeto CONVERGE, coordenado pelo INESC TEC, já deu cartas numa das principais conferências da IEEE Communications Society, a GLOBECOM, na Malásia, com a organização de um painel. “Convergence of wireless communications and computer vision: a new paradigm created by the CONVERGE project” procurou debater as novas oportunidades e desafios potenciais que podem ser antecipados pela utilização de ferramentas que combinam rádio com visão computacional.

23 janeiro 2024

“Sayonara, Porto”: investigadores do INESC TEC voam até ao Japão para estágio em instituto de informática

Dois investigadores do INESC TEC começam este mês um estágio no National Institute of Informatics, em Tóquio. Ao saírem da “zona de conforto”, esperam recolher “pontos de vista diferentes”, métodos de trabalho e pistas para aplicarem nos projetos de doutoramento.  

23 janeiro 2024

Investigadora do INESC TEC colabora com grupo alemão em estudo sobre personificação de Modelos de Linguagem de Grande Escala

O que é que acontece quando se pede a Modelos de Linguagem de Grande Escala (em inglês, Large Language Models), como o ChatGPT, por exemplo, que representem um certo papel, num determinado contexto? Isabel Rio-Torto, investigadora do INESC TEC, colaborou com o grupo de Explainable Machine Learning (EML) da Universidade de Tuebingen, na Alemanha, num estudo que concluiu que a personificação dos modelos tem impacto no desempenho, mas também pode revelar viés. O estudo foi aceite na edição de 2023 da NeurIPS - Conference on Neural Information Processing Systems.

08 janeiro 2024

187

Projetos Selecionados

AICare4U

AI-based Robotic Solution Addressing Compensatory Patterns for Upper Limb Rehabilitation

2024-2025

AI4LUNGS

AI-BASED PERSONALISED CARE FOR RESPIRATORY DISEASE USING MULTI-MODAL DATA IN PATIENT STRATIFICATION

2024-2027

PHASE IV AI

Privacy compliant health data as a service for AI development

2023-2026

PFAI4_4eD

Programa de Formação Avançada Industria 4 - 4a edição

2023-2023

UNIFY

Compilation Abstraction and Hardware Adaptation for Specialized and General-Purpose Computing Unification

2023-2026

CELLO

The sound of cells: An acoustic platform aiming towards biophysical cell fingerprints for label-free precision medicine

2023-2026

LUCCA

AI-based Models for Lung Cancer Characterization: a Multimodal and Causal Approach

2023-2024

TORIS

Towards fully printed reconfigurable intelligent surfaces

2023-2024

Shielding

Medidas de shielding de materiais

2023-2023

WATSON

A holistic framework with Anticounterfeit and Intelligence-based technologies that will assist food chain stakeholders in rapidly identifying and preventing the spread of fraudulent practices

2023-2026

CONVERGE

Telecommunications and computer vision convergence tools for research infrastructures

2023-2026

CAGING

Causality-driven Generative Models for Privacy-preserving Case-based Explanations

2023-2024

TERRAMETA

Terahertz reconfigurable metasurfaces for ultra-high rate wireless communications

2023-2025

EADIGIFOLK

An European and Ibero-American approach for the digital collection, analysis and dissemination of folk music

2023-2026

A-IQ Ready

Artificial Intelligence using Quantum measured Information for realtime distributed systems at the edge

2023-2025

SuperIoT

Truly sustainable printed electronics-based IoT combining optical and radio wireless technologies

2023-2025

AEROGANP

Creación de un eje transfronterizo de investigación y transferencia de conocimiento en el sector aeronáutico y espacial en la Eurorregión Galicia-Norte de Portugal

2023-2026

A-MoVeR

Mobilizing Agenda for the Development of Products & Systems towards an Intelligent and Green Mobility

2022-2025

OVERWATCH

Integrated holographic management map for safety and crisis events

2022-2025

Vision2Control

Controlo Qualidade Rolamentos por Visão

2022-2023

NEXUS

Innovation Pact - Digital and Green Transition

2022-2025

AURORA

Deteção de atividade no interior do veículo

2022-2023

NewSpacePortugal

Agenda New Space Portugal

2022-2025

Produtech_R3

Agenda Mobilizadora da Fileira das Tecnologias de Produção para a Reindustrialização

2022-2025

SUSTAINABLE PLASTICS

Agenda Mobilizadora para os Plásticos Sustentáveis

2022-2025

IWOW2022

IWOW2022 - NEWFOCUS COST action meeting and workshop

2022-2022

CINDERELLA

Clinical Validation of an AI-based approach to improve the shared decision-making process and outcomes in Breast Cancer Patients proposed for Locoregional treatment

2022-2026

PFAI4_3ed

Programa de Formação Avançada Industria 4 - 3a edição

2022-2022

DivaX

Services for company Europeanisation

2022-2022

ABIS

Automated Biometric Identification System

2022-2022

FORM_I40

Formação Indústria 4.0

2022-2022

THEIA

Automated Perception Driving

2022-2023

CIRCUMSTANCE

Circulating Microbial Signatures for Early Diagnosis of Cancer

2022-2024

OpenMinds

Synchronising creative minds for social cohesion and radical inclusion

2021-2023

HfPT

Health from Portugal

2021-2025

vCardID4

Digital fingerprint enhanced model - 4

2021-2022

WaveCorkCal

Calibração do higrómetro de microondas

2021-2023

CholdaDigital

Consultoria Avançada em Sistemas de Informação e Redes de Comunicações para a Quinta da Cholda

2021-2022

CadPath

Computer-Aided Diagnosis in Pathology

2021-2022

MATinMOL

Ondas de matéria em Redes Moiré

2021-2025

5GforUtilities

Tecnologia Celular 5G

2021-2022

DECARBONIZE

DEsenvolvimento de estratégias e políticas para aplicações de energia e não-energia para a neutralidade CARBÓNIca das cidades através da digitaliZação para os cidadãos e a sociedadE

2021-2023

Training4DS

Formação Avançada em Data Science - Altice Labs

2020-2020

PFAI4.0

Programa de Formação Avançada Industria 4.0

2020-2021

iiLab

Ampliação da Infraestrutura Tecnológica do INESC TEC para a Transformação Digital da Indústria

2020-2023

FLY_PT

Mobilizar a indústria aeronáutica nacional para a disrupção no transporte aéreo urbano do futuro

2020-2023

Continental FoF

Fábrica do Futuro da Continental Advanced Antenna

2020-2023

TAMI

Transparent Artificial Medical Intelligence

2020-2023

WiFi4DSO

Tecnologia Wi-Fi aplicada a cenários de um DSO

2019-2019

LeGeM

Learning Representations and Generative Models for 3D Breast Data

2019-2021

CorkNetmon

Network Infrastructure Monitoring for Remote Cork Manufacturing

2019-2020

Inphinit

Bolsa de Doutoramento ”LA CAIXA” Inphinit

2019-2022

SLID

Invitation to collaborate

2019-2022

ProLab

Consultoria profissional com recurso ao laboratório de electrónica

2019-2019

InterConnect

Interoperable Solutions Connecting Smart Homes, Buildings and Grids

2019-2024

TenisApp2

Aplicação móvel para análise de jogos de ténis - 2

2019-2021

NFCAD

Near Field Contact Antenna Development

2019-2020

EuConNeCts4

European Conferences on Networks and Communications

2019-2022

SCA

Serviço de caracterização antenas

2019-2019

RESPONDRONE

NOVEL INTEGRATED SOLUTION OF OPERATING A FLEET OF DRONES WITH MULTIPLE SYNCHRONIZED MISSIONS FOR DISASTER RESPONSES

2019-2022

STRx

Sistema de transmissão e receção de sinal de orientação eletrónica para a próxima geração de constelações de satélites (LEO e MEO).

2019-2022

InterCork

Remote Cork Manufacturing

2019-2019

CLOUD4CANDY

Cloud for CANDY

2019-2019

MetroRec

Avaliação do sistema gravação vídeo do Metro do Porto

2019-2019

Evo3DModel

Consultoria para melhoria do sistema INSIGHT

2019-2020

OpenInnoTrain

Research Translation and Applied Knowledge Exchange in Practice through University-Industry-Cooperation

2019-2024

FollicleCounter

Prestação de serviços de investigação e desenvolvimento em matéria de processamento de imagem para maior fiabilidade de aferição dos folículos implantados

2018-2021

NB-IoT

Consultoria no âmbito da tecnolofia Narrowband-internet of Things

2018-2019

XPERIMUS

Experimentação em música na cultura portuguesa: História, contextos e práticas nos séculos XX e XXI

2018-2022

Blueenergy

Colheita de energia azul utilizando sistemas híbridos triboeléctricos/ fotovoltaicos para alimentar Veículos Autónomos Subaquáticos

2018-2020

AUTOMOTIVE

Detecção automática multimodal de sonolência para veículos inteligentes

2018-2021

GROW

Comunicações subaquáticas sem fios de longo alcance e banda larga

2018-2021

HELP-MD

O poder emocional e curativo da música e da dança

2018-2022

NeurOxide

Integração de transístores de filme fino e memristors à base de óxidos em redes neuromórficas

2018-2022

PEPCC

Eficiência energética e desempenho para sistemas embarcados e de HPC com CGRAs customizados

2018-2021

LUCAS

Rastreio do cancro do pulmão - uma metodologia não invasiva para o diagnóstico precoce

2018-2022

HEMOSwimmers

Otimização da hemodinâmica entorno de microrobôs nadadores

2018-2022

CLARE

Sistema de apoio ao rastreio do cancro cervical

2018-2021

ENDURANCE

Comunicações e energia sem fios subaquática contribuindo para a presença de longo

2018-2020

S-MODE

Despiste da contaminação por antibióticos através de dispositivos móveis

2018-2021

UnWSNet

Underwater Wireless Sensor Networks

2018-2018

SIMBED

Fed4fire testbed for experimentation

2018-2019

FotoInMotion

Repurposing and enriching images for immersive storytelling through smart digital tools

2018-2020

ConnectedRefinery

Rede de comunicações sem fios para as instalações da Galp Energia em Leixões

2018-2019

5G

Componentes e Serviços para Redes 5G

2018-2021

Arquitetura_IoT

Consultoria sobre a arquitetura de referência para implementação serviços de informação baseados em IoT

2017-2018

CompMash

Music compatibility models for interactive mashup applications

2017-2019

CHIC

Cooperative Holistic view on Internet and Content

2017-2020

UGREEN

Otimização do Consumo Energético de Redes LTE-U e Wi-Fi em Cenários de Coexistência

2017-2019

SURGEONMATE

Processamento de vídeo para análise de cirugias

2017-2017

TERAPOD

Terahertz based Ultra High Bandwidth Wireless Access Networks

2017-2021

TEC4Sea

Modular Platform for Research, Test and Validation of Technologies supporting a Sustainable Blue Economy

2017-2022

ROMOVI

ROMOVI: Robô Modular e cooperativo para Vinhas de encosta

2017-2019

BCCT.Plan

BCCT.plan: Ferramenta 3D para o planeamento do tratamento conservador do cancro da mama

2016-2020

WI-GREEN

WI-GREEN .: Otimização do consumo energético de redes Wi-Fi sensível aos padrões de tráfego

2016-2018

RAWFIE

Road-, Air- and Water-based Future Internet Experimentation

2016-2019

Cloud-Setup

PLATAFORMA DE PREPARAÇÃO DE CONTEÚDOS AUDIOVISUAIS PARA INGEST NA CLOUD

2016-2019

EVOXANT

Evolução bacteriana para além dos isolados em cultura - Xanthomonas arboricola pv. juglandis como paradigma

2016-2020

WISE

Redes de Comunicações em Malha formadas por Veículos Aéreos Sensíveis ao Tráfego

2016-2019

MareCom

Redes e serviços marítimos comunitários

2016-2018

CORAL-TOOLS

CORAL - Sustainable Ocean Exploitation: Tools and Sensors

2016-2018

STRONGMAR-CRAS

STRengthening MARritime Technology Research Center

2016-2018

BLUECOM+

Ligando Humanos e Sistemas em Zonas Remotas do Oceano através de Comunicações de Banda Larga e Baixo Custo

2015-2017

ENDURE

Enabling Long-Term Deployments of Underwater Robotic Platforms in Remote Oceanic Locations

2015-2017

FOUREYES

TEC4Growth - RL FourEyes - Intelligence, Interaction, Immersion and Innovation for media industries

2015-2019

NanoStima-RL5

NanoSTIMA - Advanced Methodologies for Computer-Aided Detection and Diagnosis

2015-2019

NanoStima-RL1

NanoSTIMA - Macro-to-Nano Human Sensing Technologies

2015-2019

SMILES

TEC4Growth - RL SMILES - Smart, Mobile, Intelligent and Large scale Sensing and analytics

2015-2019

VAMOS

Viable Alternative Mine Operating System

2015-2019

SCREEN

Space Cognitive Radio for Electromagnetic Environment maNagement

2015-2016

iBROW

Innovative ultra-BROadband ubiquitous Wireless communications through terahertz transceivers

2015-2018

AnyPLACE

Adaptable Platform for Active Services Exchange

2015-2018

SmarterEMC2

Smarter Grid: Empowering SG Market Actors through Information and Communication Technologies

2015-2017

SEAD

Projeto Analógico e Misto Estatisticamente Otimizado

2014-2016

MDX

Modelos de Simulação e Teste de circuitos com MCUs

2014-2016

Unisat

Serviços de banda-larga em simultâneo com receção de televisão por satélite

2014-2014

TWAVE

Ondas gémeas conjugadas em fase para desbloquear o potencial dos futuros sistemas suportados em multiplexagem por divisão espacial

2014-2015

HiperWireless

Comunicações Micro Ondas Ponto Multiponto na Banda Hiperlan Livre (17GHZ)

2014-2015

PGLobal

Desenvolvimento de software para ser integrado numa plataforma de recolha automática e selecção de conteúdos de jornais participantes de vários países

2014-2015

SUNNY

Rede de Sensores Aéreos Inteligentes para a Deteção de Embarcações Usadas para Fins Criminosos e Entradas Irregulares Além-fronteiras

2014-2018

PCSA

Caracterização de locais com base em sensores e interações

2013-2014

SIVIC

Sistema Portátil Integrado de Vigilância Cardiovascular

2013-2015

Creation

Transceptores de rádio energeticamente eficientes para transmissão de dados

2013-2016

TDT

Monitorização do sinal de televisão digital terrestre (TDT)

2013-2014

PICTURE

Informação combinada acerca de Pacientes para Avaliação de Resultados Cirúrgicos do Cancro da Mama

2013-2016

Confine

Infraestrutura Experimental de Redes Comunitárias para a Internet do Futuro

2013-2015

MAT

Arte e Tecnologia na área dos Media

2013-2015

Sensing

Sensores de Rede para Monitorização de Sistemas Críticos

2013-2015

SmartGrids

Redes Elétricas Inteligentes

2013-2015

Cooperation

Cooperação e Perceção para uma Maior Autonomia

2013-2015

ASSIST

Plataforma para estatísticas de futsal amador

2012-2013

MOGTIDT

Estação de captura 3D

2012-2012

MTGrid

Infraestrutura de Comunicações Multi-Tecnologia para Redes Elétricas Inteligentes

2012-2015

RETAIL_PRO

Plataforma Integrada de Gestão Estratégica de Ambientes de Retalho

2012-2015

WiSAT

Dispositivos passivos em guia de onda na banda S e Ka

2012-2012

SARA

Sistema de Gestão de Ativos de Redes Rodoviárias

2012-2015

CPT

Transmissor Cartesiano Polar

2012-2014

MC-WMNs

Redes em Malha Múltiplas baseadas em Contexto (MC-WMNs)

2012-2015

SENSEIVER

Soluções eficientes e de baixo custo baseadas em sensores LTCC e emissores-recetores IR-UWB para um ambiente saudável e sustentável

2011-2015

MIRes

Roadmap para a Investigação em Informação Musical

2011-2013

AdChrono

Otimização automática de publicidade online

2011-2013

3dBCT

Modelos 3D para Avaliação e Previsão do Resultado Estético em Intervenções por Cancro da Mama

2011-2014

CASA

Plataforma Computacional baseada na Análise de Ambientes Auditivos para a Segregação de Eventos Sonoros em Sinais Musicais

2011-2014

SHAKEIT

Mecanismos do Groove em Música e aplicações

2011-2013

MultiRadioAccess

Agregação de redes de acesso HSPA e WiFi para disponibilização de débito superior ao das redes individuais

2011-2011

Steering

Condução da luz em guias de onda não lineares com interacções ressonantes

2011-2014

CNG

Conteúdos de Nova Geração aplicáveis nos domínios da Educação e da Formação Profissional

2011-2014

AAL4ALL

Assistência à Autonomia no Domicílio para todos

2011-2015

SUM

Observação e compreensão da dinâmica do movimento humano

2011-2013

User-Tracking2.0

"User-Tracking" de tráfego Web

2010-2011

SELF-PVP

Gestão auto-organizada de potência numa central de produção de energia fotovoltaica

2010-2014

ImTV

Sistemas imersivos de televisão para comunidades de criadores e consumidores de conteúdos

2010-2014

NeTS

Operação e Gestão de Redes de Próxima Geração

2010-2013

EscolinhasCriativas

Escolinhas Criativas

2010-2013

Convergence

Abordagem inovadora centrada em conteúdos para complementar e melhorar a arquitectura actual da Internet

2010-2013

SafeHomeHealthCare

Espaços inteligentes para a saúde em casa sem interferência usando algoritmos de pesquisa e reflexão de meta-realidade

2010-2013

OSP

Processamento Óptico de Sinal usando Fibras altamente Não-Lineares

2010-2013

ProLimb

Sensorização electrónica para a profilaxia de patologias dos membros inferiores

2010-2013

ContextAware

Serviços Multimédia Inteligentes baseados no contexto

2010-2011

REIVE

Redes Eléctricas Inteligentes com Veículos Eléctricos

2010-2012

Alicante

Acesso ubíquo a serviços multimédia com base no contéudo

2010-2013

P3.net

Plataforma noticiosa on-line de nova geração para jovens

2010-2012

LUL

Projeto piloto de apoio à qualidade de vida de pessoas idosas

2010-2012

Hotel3.0

Plataforma Web3.0 para o mercado hoteleiro

2010-2012

WOWI

Interfaces electro-ópticas para redes de acesso picocelulares

2010-2013

RobVigil

Robô vigilante colaborativo inteligente para a área da segurança

2010-2012

Daphne

Redes fotónicas para a aviação

2009-2013

SWIOP

Sistema Web Inteligente de Apoio à Organização Pessoal

2009-2011

SITMe

Serviços Integrados para Transportes Metropolitanos

2009-2012

Mobiles

Mobilidade Eléctrica Sustentada - soluções para a logística associada ao carregamento das baterias dos veículos eléctricos

2009-2012

V-SAT

Dispositivos passivos para aplicações VSAT (Very Small Aperture Terminal)

2009-2009

PortalDouro

Portal de turismo para a região do Douro

2009-2011

KINETIC

Sistemas composicionais dinâmicos e adaptativos controlados por interfaces

2009-2011

ASP-RedesDomesticas

Soluções de Autenticação, Segurança e Privacidade (ASP) para redes domésticas

2009-2010

MuMoMgt

Gestão de mobilidade e multicast em redes de acesso heterogéneas

2009-2012

ReCoop

Redes Cooperativas sem fios

2009-2012

SemanticPACS

Sistema de Comunicação e Arquivamento de Imagens Clínicas com Motor de Pesquisa Semântica

2009-2011

Palco3.0

Sistema web inteligente de apoio à gestão de uma rede social na área da música

2008-2011

AHRS

Sistema Inercial de Orientação baseado em tecnologia MEMS

2008-2010

GeCLIFmcast

Gestão de sessões multicast com origem nos clientes

2008-2009

DR-Vids

Gestão dinâmica de recursos lógicos reconfiguráveis para segmentação foreground/background de vídeo em tempo real

2007-2010

Vector

Compilação e Síntese de Algoritmos para Processamento de Imagem em Matlab para Sistemas Vectoriais em FPGAs

2007-2011

OMR

Sistema de reconhecimento óptico de pautas musicais manuscritas

2007-2010

BCCT

Método objectivo avançado para a avaliação do resultado estético de cirurgias mamárias

2007-2010

ROFWDM

Projeto e optimização de sistemas WDM Fibra-rádio

2007-2010

EDCine

Tecnologias avançadas para cinema digital

2007-2009

VISNETII

Tecnologias para serviços audiovisuais em rede

2006-2009

Equipa
002

Laboratórios

Laboratório de Computação Musical e Sonora

Laboratório de Tecnologias Óticas e Eletrónicas

Publicações

2024

A Machine Learning App for Monitoring Physical Therapy at Home

Autores
Pereira, B; Cunha, B; Viana, P; Lopes, M; Melo, ASC; Sousa, ASP;

Publicação
SENSORS

Abstract
Shoulder rehabilitation is a process that requires physical therapy sessions to recover the mobility of the affected limbs. However, these sessions are often limited by the availability and cost of specialized technicians, as well as the patient's travel to the session locations. This paper presents a novel smartphone-based approach using a pose estimation algorithm to evaluate the quality of the movements and provide feedback, allowing patients to perform autonomous recovery sessions. This paper reviews the state of the art in wearable devices and camera-based systems for human body detection and rehabilitation support and describes the system developed, which uses MediaPipe to extract the coordinates of 33 key points on the patient's body and compares them with reference videos made by professional physiotherapists using cosine similarity and dynamic time warping. This paper also presents a clinical study that uses QTM, an optoelectronic system for motion capture, to validate the methods used by the smartphone application. The results show that there are statistically significant differences between the three methods for different exercises, highlighting the importance of selecting an appropriate method for specific exercises. This paper discusses the implications and limitations of the findings and suggests directions for future research.

2024

Classification of Pulmonary Nodules in 2-[<SUP>18</SUP>F]FDG PET/CT Images with a 3D Convolutional Neural Network

Autores
Alves, VM; Cardoso, JD; Gama, J;

Publicação
NUCLEAR MEDICINE AND MOLECULAR IMAGING

Abstract
Purpose 2-[F-18]FDG PET/CT plays an important role in the management of pulmonary nodules. Convolutional neural networks (CNNs) automatically learn features from images and have the potential to improve the discrimination between malignant and benign pulmonary nodules. The purpose of this study was to develop and validate a CNN model for classification of pulmonary nodules from 2-[F-18]FDG PET images.Methods One hundred thirteen participants were retrospectively selected. One nodule per participant. The 2-[F-18]FDG PET images were preprocessed and annotated with the reference standard. The deep learning experiment entailed random data splitting in five sets. A test set was held out for evaluation of the final model. Four-fold cross-validation was performed from the remaining sets for training and evaluating a set of candidate models and for selecting the final model. Models of three types of 3D CNNs architectures were trained from random weight initialization (Stacked 3D CNN, VGG-like and Inception-v2-like models) both in original and augmented datasets. Transfer learning, from ImageNet with ResNet-50, was also used.Results The final model (Stacked 3D CNN model) obtained an area under the ROC curve of 0.8385 (95% CI: 0.6455-1.0000) in the test set. The model had a sensibility of 80.00%, a specificity of 69.23% and an accuracy of 73.91%, in the test set, for an optimised decision threshold that assigns a higher cost to false negatives.Conclusion A 3D CNN model was effective at distinguishing benign from malignant pulmonary nodules in 2-[F-18]FDG PET images.

2024

Active Supervision: Human in the Loop

Autores
Cruz, RPM; Shihavuddin, ASM; Maruf, MH; Cardoso, JS;

Publicação
PROGRESS IN PATTERN RECOGNITION, IMAGE ANALYSIS, COMPUTER VISION, AND APPLICATIONS, CIARP 2023, PT I

Abstract
After the learning process, certain types of images may not be modeled correctly because they were not well represented in the training set. These failures can then be compensated for by collecting more images from the real-world and incorporating them into the learning process - an expensive process known as active learning. The proposed twist, called active supervision, uses the model itself to change the existing images in the direction where the boundary is less defined and requests feedback from the user on how the new image should be labeled. Experiments in the context of class imbalance show the technique is able to increase model performance in rare classes. Active human supervision helps provide crucial information to the model during training that the training set lacks.

2024

Explaining Bounding Boxes in Deep Object Detectors Using Post Hoc Methods for Autonomous Driving Systems

Autores
Nogueira, C; Fernandes, L; Fernandes, JND; Cardoso, JS;

Publicação
SENSORS

Abstract
Deep learning has rapidly increased in popularity, leading to the development of perception solutions for autonomous driving. The latter field leverages techniques developed for computer vision in other domains for accomplishing perception tasks such as object detection. However, the black-box nature of deep neural models and the complexity of the autonomous driving context motivates the study of explainability in these models that perform perception tasks. Moreover, this work explores explainable AI techniques for the object detection task in the context of autonomous driving. An extensive and detailed comparison is carried out between gradient-based and perturbation-based methods (e.g., D-RISE). Moreover, several experimental setups are used with different backbone architectures and different datasets to observe the influence of these aspects in the explanations. All the techniques explored consist of saliency methods, making their interpretation and evaluation primarily visual. Nevertheless, numerical assessment methods are also used. Overall, D-RISE and guided backpropagation obtain more localized explanations. However, D-RISE highlights more meaningful regions, providing more human-understandable explanations. To the best of our knowledge, this is the first approach to obtaining explanations focusing on the regression of the bounding box coordinates.

2024

Intrinsic Explainability for End-to-End Object Detection

Autores
Fernandes, L; Fernandes, JND; Calado, M; Pinto, JR; Cerqueira, R; Cardoso, JS;

Publicação
IEEE ACCESS

Abstract
Deep Learning models are automating many daily routine tasks, indicating that in the future, even high-risk tasks will be automated, such as healthcare and automated driving areas. However, due to the complexity of such deep learning models, it is challenging to understand their reasoning. Furthermore, the black box nature of the designed deep learning models may undermine public confidence in critical areas. Current efforts on intrinsically interpretable models focus only on classification tasks, leaving a gap in models for object detection. Therefore, this paper proposes a deep learning model that is intrinsically explainable for the object detection task. The chosen design for such a model is a combination of the well-known Faster-RCNN model with the ProtoPNet model. For the Explainable AI experiments, the chosen performance metric was the similarity score from the ProtoPNet model. Our experiments show that this combination leads to a deep learning model that is able to explain its classifications, with similarity scores, using a visual bag of words, which are called prototypes, that are learned during the training process. Furthermore, the adoption of such an explainable method does not seem to hinder the performance of the proposed model, which achieved a mAP of 69% in the KITTI dataset and a mAP of 66% in the GRAZPEDWRI-DX dataset. Moreover, our explanations have shown a high reliability on the similarity score.

Factos & Números

2Capítulos de livros

2020

19Artigos em revistas indexadas

2020

15Docentes do Ensino Superior

2020

Contactos