Cookies
O website necessita de alguns cookies e outros recursos semelhantes para funcionar. Caso o permita, o INESC TEC irá utilizar cookies para recolher dados sobre as suas visitas, contribuindo, assim, para estatísticas agregadas que permitem melhorar o nosso serviço. Ver mais
Aceitar Rejeitar
  • Menu
Apresentação

Robótica Industrial e Sistemas Inteligentes

É no Centro de Robótica Industrial e Sistemas Inteligentes que florescem soluções inovadoras para alavancar a robótica no contexto industrial, agrícola e florestal e impulsionar a transformação digital da indústria.

Seguimos uma abordagem prática – da conceção à implantação – para ensaiar a navegação e localização de robôs móveis, testar avanços na visão industrial 2D/3D e deteção avançada, sem descurar a robótica industrial e colaborativa, e interfaces humano-robô.

O nosso TRIBE LAB é terreno fértil para ideias inovadoras sobre a agricultura do futuro. Ali desenvolvemos protótipos e tecnologia de excelência em robótica agrícola e IoT: com protótipos, sensores avançados (LiDAR, câmaras AI) e ferramentas de prototipagem rápida, aceleramos o desenvolvimento de soluções para o setor agroflorestal. Marcamos ainda presença no iiLab, onde unimos investigação aplicada, demonstração tecnológica e testes em ambiente controlado, promovendo a integração de tecnologias emergentes na indústria. Desde células robóticas inteligentes e sistemas ciberfísicos até à análise de dados e IA, é um espaço de inovação onde as empresas podem experimentar e validar soluções para a fábrica do futuro.

Com uma equipa multidisciplinar e alinhado com agendas europeias, o nosso trabalho de investigação combina ciência fundamental e aplicação com impacto no desenho de soluções para a indústria 4.0, promovendo a competitividade e a transformação digital do setor.

notícias
176

Projetos em destaque

LOCPLANT

Sistema de georeferenciação de precisão de pontos de plantação

2025-2025

LTDSupport

Apoio ao desenvolvimento de um laboratório para a transição digital

2025-2025

SIM_AMRs

Avaliação de frota de veículos autónomos no processo de logística interna do IKEA

2025-2025

iBot4CRMs

AI-powered self-learning robots for high-performance waste valorization and Critical Raw Materials recovery

2024-2028

sensewater

Prestação de Serviços de Consultoria Avançada à empresa TIS para o desenvolvimento de sensorização de humidade em contexto de transporte de biomassa e de madeira de eucalipto

2024-2025

PFA_DIG_SHOPFLOOR_1a

Programa de Formação Avançada - Digitalização Shopfloor - 1.ª edição

2024-2024

RLSENSEDEMO

Montagem de piloto para demonstração de sistema de sensorização de ripagem no contexto de produção florestal da empresa NAVIGATOR

2024-2025

PFAI4_5eD

Programa de Formação Avançada Industria 4 - 5a edição

2024-2024

TestBed5G_2

Piloto TestBed AMR 5G para Controlo Remoto

2024-2025

AICare4U

AI-based Robotic Solution Addressing Compensatory Patterns for Upper Limb Rehabilitation

2024-2026

RENEE

FLEXIBLE REMANUFACTURING USING AI AND ADVANCED ROBOTICS FOR CIRCULAR VALUE CHAINS IN EU INDUSTRY

2024-2027

AdvisoryAR

Advisory on AR Technology

2023-2023

BeamAutoLogSim

Evaluation of automated logistic scenarios for a structural steel production line using Simulation

2023-2025

Works_TechAgrob

Proposta de prestação de serviços para Organização Conjunta Workshop Robótica para a Viticultura

2023-2023

PEER

THE HYPER EXPERT COLLABORATIVE AI ASSISTANT

2023-2027

ARTURO

Proposta de Prestação de Serviços para Estudo da Adequabilidade de uma Solução Inovadora de Realidade Aumentada para Suporte ao Operador Durante Processo de Montagem de Estruturas Metálicas

2023-2025

PFAI4_4eD

Programa de Formação Avançada Industria 4 - 4a edição

2023-2023

Estaleiro40

Consultoria avançada para digitalização dos processos de receção e gestão do estaleiro da Amorim Florestal

2023-2025

DIH4TAKING2

DIHs for boosTing AI picK&place enabling flexIble operatioNs in manufacturinG

2023-2023

WATSON

A holistic framework with Anticounterfeit and Intelligence-based technologies that will assist food chain stakeholders in rapidly identifying and preventing the spread of fraudulent practices

2023-2026

BOWI_ARRobot

Improved automation system sales and deployment using augmented reality

2023-2023

BLOCKCHAINPT

BLOCKCHAIN.PT - AGENDA “DESCENTRALIZAR PORTUGAL COM BLOCKCHAIN”

2023-2025

NGS

Agenda Mobilizadora das Baterias

2023-2025

InsectERA

A ERA da indústria dos insetos

2023-2025

MomaFlex

Development of Intelligent Middleware to enable collaborative robots to make real-time decisions in manufacturing plants

2023-2024

AI4ENGINE

AI for wEaviNG kpIs moNitoring and prEdiction

2023-2023

Lever_AdDP

Monitorização de 3 infraestruturas com recurso a imagens SAR

2022-2023

tExtended

Knowledge Based Framework for Extended Textile Circulation

2022-2026

Vine&Wine_PT

Vine and Wine Portugal - Driving Sustainable Growth Through Smart Innovation

2022-2025

SFT-EDIH

Smart Sustainable Farms, Foods & Trade - European Digital Innovation Hub

2022-2025

GreenAuto

GreenAuto: Green innovation for the Automotive Industry

2022-2025

PhenoBot-LA8.1

PhenoBot Fotónica Inteligente para Fenotipagem de Culturas Agro-Alimentares - LA 8.1 Agricultura de Precisão

2022-2025

PhenoBot-LA8.3

PhenoBot Fotónica Inteligente para Fenotipagem de Culturas Agro-Alimentares - LA 8.3 Tecnologia

2022-2025

PhenoBot-LA8.4

PhenoBot Fotónica Inteligente para Fenotipagem de Culturas Agro-Alimentares - LA 8.4 Dados

2022-2025

PhenoBot-LA8.5

PhenoBot - Fotónica Inteligente para Fenotipagem de Culturas Agro-Alimentares - LA 8.5 Conhecimento

2022-2025

AgendaTransform

Agenda para a transformação digital do setor florestal para uma economia resiliente e hipocarbónica

2022-2025

GIATEX

Gestão Inteligente da Água na ITV

2022-2025

Vision2Control

Controlo Qualidade Rolamentos por Visão

2022-2023

TF_Competition

iiLab Learning Factory Network

2022-2022

FARO

Desenvolvimento, Industrialização e Licenciamento de uma Nova Solução para o Ensinamento por Demonstração de Robôs Industriais

2022-2023

Wine4Cast-LA8.1

Previsão espácio-temporal da produtividade vitivinícola para usabilidade multi-ator: integração de sensores ótico-fotónicos remotos, inteligência artificial e cenários climáticos

2022-2025

Wine4Cast-LA8.3

Previsão espácio-temporal da produtividade vitivinícola para usabilidade multi-ator: integração de sensores ótico-fotónicos remotos, inteligência artificial e cenários climáticos

2022-2025

Wine4Cast-LA8.4

Previsão espácio-temporal da produtividade vitivinícola para usabilidade multi-ator: integração de sensores ótico-fotónicos remotos, inteligência artificial e cenários climáticos

2022-2025

Wine4Cast-LA8.5

Previsão espácio-temporal da produtividade vitivinícola para usabilidade multi-ator: integração de sensores ótico-fotónicos remotos, inteligência artificial e cenários climáticos

2022-2025

Produtech_R3

Agenda Mobilizadora da Fileira das Tecnologias de Produção para a Reindustrialização

2022-2025

OptiLog7Fluxos

Otimização do sistema logístico da área Litografia para 7 fluxos de produção

2022-2023

BioShoes4All

Projeto Integrado BioShoes4All

2022-2025

BE@T

Bioeconomia para Fileira Têxtil e Vestuário

2022-2025

TEXPACT

Pacto de Inovação para a Digitalização do Têxtil e Vestuário

2022-2025

Fundicao4

Workshop Industria 4.0 para o Setor da Fundição

2022-2022

Waste2BioComp

Converting organic waste into sustainable bio-based components

2022-2025

PFAI4_3ed

Programa de Formação Avançada Industria 4 - 3a edição

2022-2022

FORM_I40

Formação Indústria 4.0

2022-2022

AI4RWeld

AI for Robotic Welding Parametrization and Inspection

2022-2023

OmicBots

High-Throughput Integrative Omic-Robots Platform for a Next Generation Physiology-based Precision Viticulture

2022-2026

IMMC

Industrial Mobile Manipulator Challenge

2022-2022

Hi_reV

Recuperação do Setor de Componentes Automóveis

2022-2025

HfPT

Health from Portugal

2021-2025

InOlive

Sistema de monitorização inteligente para prevenção de pragas e doenças no olival

2021-2023

SMARTDRYING

Sistema Inteligente para Secagem de Lamas de ETAR em Estufa

2021-2023

Zypho 4.0

Desenvolvimento de soluçôes inteligentes de recuperação, armazenamento e gestão de energia térmica em edificios de serviços

2021-2023

OptiLog

Otimização do sistema logístico da área Litografia

2021-2022

AR4Steel

Sistema de Realidade Aumentada Projetada para a Industria da Construção Metálica

2021-2022

SPIN

Solução de Pulverização de Precisão Inteligente

2021-2023

REDVILE

AR/VR for Training and Learning

2021-2022

iFishCan

Intelligent waste & loss monitoring test bed for the Fish Can industry

2021-2022

SCORPION

Cost effective robots for smart precision spraying

2021-2023

MirrorLabs2

Creating similar learning environment for students all over Europe for human-robot coproduction

2021-2021

MARI4_YARD

User-centric solutions for a flexible and modular manufacturing in small and medium-sized shipyards

2020-2024

SMARTCUT

Diagnóstico e Manutenção Remota e Simuladores para Formação de operação e manutenção de Máquinas Florestais

2020-2023

RDH4COVID

Solução Robótica Autónoma com Reboque para a Desinfeção de Superfícies Para

2020-2023

AI_REGIO

Regions and DIHs alliance for AI-driven digital transformation of European Manufacturing SMEs

2020-2023

PFAI4.0

Programa de Formação Avançada Industria 4.0

2020-2021

BetterFactory

Grow your manufacturing business’ — ‘Better Factory'

2020-2024

NOVATERRA

INTEGRATED NOVEL STRATEGIES FOR REDUCING THE USE AND IMPACT OF PESTICIDES, TOWARDS SUSTAINABLE MEDITERRANEAN VINEYARDS AND OLIVE GROVES

2020-2025

iiLab

Ampliação da Infraestrutura Tecnológica do INESC TEC para a Transformação Digital da Indústria

2020-2023

Trilogy

Robotics, Welding and Knowledge, for the future of robotic welding

2020-2021

VINCI7D

Impressão funcional robotizada em peças com geometrias complexas

2020-2024

MetalCut40

Desenvolvimento de sistemas periféricos funcionais a integrar numa célula robotizada para corte por plasma

2020-2022

INCAFO

Identificação de Castas através da folha

2020-2023

SIAP

Sistema de Inteligência Artificial para Deteção e Alerta de Riscos sobre o Património

2020-2022

Continental FoF

Fábrica do Futuro da Continental Advanced Antenna

2020-2023

PRODUTECH4SC

PRODUTECH sustentável & circular - soluções inovadoras, sustentáveis e circulares com impacto na fileira das tecnologias de produção

2020-2023

Replant

Implantação de estratégias colaborativas para a gestão integrada da floresta e do fogo

2020-2023

XWeld

Planning, Accuracy and 3D sensing for full automation robotic welding

2020-2021

SMARTFARM40

Soluções inteligentes para uma agricultura sustentável, preditiva e autónoma

2020-2023

PAC

Portugal AutoCluster for the Future

2020-2023

SMARTAGEING

Sistema de Apoio à Decisão para o Envelhecimento de Vinho do Porto Branco

2020-2023

RADAR

RADAR - Robô Autónomo para Desinfeção em Ambiente hospitalar

2020-2020

PNEUMA

PNEUMA - Sistema de ventilação com recurso a um balão auto-insuflável

2020-2020

Agrobit

Mowing Robot

2020-2021

PRySM

PRecision Sprayer Ground Robot

2020-2022

SAFECoating

Safety Enhanced Collaborative Robotic Coating Cell

2020-2021

ROBOCARE

Plataformas Robóticas para Culturas Protegidas de Precisão Inteligentes

2020-2024

CPPS101

Cyber-physical production systems

2020-2020

MirrorLabs

Creating similar learning environment for students all over Europe for human-robot coproduction

2020-2020

CrossLOG

Concretização de sistema físico e software para paletização mista automática em centros logísticos cross-docking para cadeias de valor responsive demand-driven

2019-2023

STEEL40

STEEL40 - Proposta de Prestação de Serviços Consultoria Especializada em Tecnologia Industrial

2019-2019

SMARTPVD

Novas soluções inteligentes para aplicação e utilização de revestimentos em PVD

2019-2022

T4CDTKC

Training 4 Cotec, Digital Transformation Knowledge Challenge - Elaboração de Programa de Formação “CONHECER E COMPREENDER O DESAFIO DAS TECNOLOGIAS DE TRANSFORMAÇÃO DIGITAL”

2019-2021

DEMETER

Building an Interoperable, Data-Driven, Innovative and Sustainable European Agri-Food Sector

2019-2023

PIVOTBOT

Pivot robotizado para realização de operações agrícolas

2019-2021

Jales

TRABALHOS DE INTERFEROMETRIA SAR NA ÁREA MINEIRA DE JALES

2019-2019

AgRoBoFood

Business-Oriented Support to the European Robotics and Agri-food Sector, towards a network of Digital Innovation Hubs in Robotics

2019-2024

Rosin

Active managed Buildings with Energy performaNce Contracting

2019-2020

Smart-Fertilizers

Espalhadores e Cisternas inteligentes

2019-2023

SAFE

Sistema de Monitorização e Alerta Florestal

2019-2022

ROBOTICA2019

ROBOTICA2019

2019-2019

PBA

Unified Framework for Mobile Robots

2018-2019

HORSE

Collaborative Robotics for Industrial Coating Cells

2018-2020

Refinacao4.0

Serviços de consultoria especializada para desenvolvimento e operacionalização de provas de conceito

2018-2019

MetBots

Robots para metabolómica utilizando inteligência artificial com autoaprendizagem em agricultura de precisão.

2018-2021

SAFER

Verificação de segurança para software robótico

2018-2021

GOTECFOR

Tecnologia para a mobilização e aproveitamento de Biomassa Florestal na agroindústria

2018-2020

COBOTIS

Interação homem-robô para a robótica colaborativa

2018-2022

COATING4.0

ANALYSIS AND DESIGN OF AN INNOVATIVE REMOTE PROCESS MANAGEMENT AND MONITORING SOLUTION (4.0)

2018-2019

FED

Ferradura, programação intuitiva para aplicações de soldadura robotizada

2018-2019

DIVA

Boosting innovative DIgitech Value chains for Agrofood, forestry and environment

2018-2021

FDControlo

Importância dos hospedeiros alternativos (plantas, insetos, vitis abandonada) na dispersão da doença da flavescência dourada (FD) da vinhda e das populações de scapholdeus titanus nas sub-regiões vitivinículas do Cávado e do Lima

2018-2022

DroneTool

Service to develop a prototype of a drone end-effector for leaf harvesting

2017-2019

Fasten

Flexible and Autonomous Manufacturing Systems for Custom-Designed Products

2017-2021

FAMEST

Calçado e tecnologias avançadas de materiais, equipamentos e software

2017-2021

PRODUTECH_SIF

Soluções para a Indústria de Futuro

2017-2022

Water4Ever

Optimização na utilização da água na agricultura para preservação do solo e recursos hídricos

2017-2020

RIDDIG

Fábrica Digital

2017-2019

SistemaDPA

Sistema DPA para Espalhador de Estrume (sem ISOBUS) e Análise Química (NIR sensor) para Cisterna em Ambiente ISOBUS.

2017-2018

MANUFACTUR4.0

Desenvolvimento e implementação de tecnologias inteligentes e inovadoras nos setores industriais naval e metalomecânico

2017-2020

AGRINUPES

Integrated monitoring and control of water, nutrients and plant protection products towards a sustainable agricultural sector

2017-2020

Palcus

Sistema de Controlo de Máquinas Cénicas

2017-2017

ROMOVI

ROMOVI: Robô Modular e cooperativo para Vinhas de encosta

2017-2019

ScalABLE4.0

Scalable automation for flexible production systems

2017-2020

UnVirtual

Serviço de engenharia e desenvolvimento de robôs para jogo Unvirtual

2017-2018

BIOTECFOR

Bionegócios e Tecnologia para a valorização eficiente dos recursos florestais endógenos no Norte de Portugal e Galiza

2017-2020

DM4Manufacturing

Aligning Manufacturing Decision Making with Advanced Manufacturing Technologies

2016-2021

SmartFarming

Ferramenta avançada para operacionalização da agricultura de precisão

2016-2018

AdaptPack

Desenvolvimento de sistemas robóticos de paletização adaptativos e modulares de elevada flexibilidade

2016-2019

ATM

Advanced tools management

2016-2018

Inspectum

Sistema de Visão Artificial para Inspeção de Marcações Típicas em Pneus

2016-2017

TRiHo

RDH - Robot de Distribuição Hospitalar

2016-2019

PrecisionCork

PRECISIONcork - Medida e Controlo em Linha de Parâmetros Chave de Processo e de Qualidade de Produto

2016-2018

ColRobot

Collaborative Robotics for Assembly and Kitting in Smart Manufacturing

2016-2019

TEXTILPRINT

Desenvolvimento e programação de um novo sensor de resina, programação de cabeças de impressão, apoio ao desenvolvimento de software de monitorização e diagnóstico remoto a instalar nas máquinas de impressão textil

2016-2018

CoopWeld

Robótica colaborativa para soldadura de componentes em construção metálica

2015-2017

MarineEye

MarinEye - A prototype for multitrophic oceanic monitoring

2015-2017

BLUECOM+

Ligando Humanos e Sistemas em Zonas Remotas do Oceano através de Comunicações de Banda Larga e Baixo Custo

2015-2017

ENDURE

Enabling Long-Term Deployments of Underwater Robotic Platforms in Remote Oceanic Locations

2015-2017

iMAN

TEC4Growth - RL iMAN - Intelligence for advanced Manufacturing systems

2015-2019

Submarino_Whale

Elaboração do projeto técnico de um dispositivo de controlo pneumático para equilíbrio hidrostático de um submersível

2015-2015

VAMOS

Viable Alternative Mine Operating System

2015-2019

AutoClassII

Automatic Classification and Quality Control for Car Tires

2015-2018

FOCUS

Avanços nos sistemas de Automação e Controlo Florestal na Europa

2014-2016

CLARISSA

The European Robotics Initiative for Strengthening the Competitiveness of SMEs in Manufacturing by integrating aspects of cognitive systems

2014-2016

SCAN

Sistema de Calibração de Aquacultura

2014-2015

TURTLE

Sistema Autónomo de Apoio a Operações Subaquáticas

2014-2015

SUNNY

Rede de Sensores Aéreos Inteligentes para a Deteção de Embarcações Usadas para Fins Criminosos e Entradas Irregulares Além-fronteiras

2014-2018

STAMINA

Robótica Sustentável e Fiável para a Manipulação de Peças em Ambientes Fabris

2013-2017

CARLoS

Robô Cooperativo para Produção em Espaços Amplos

2013-2015

OCHERA

Controlo Ótimo: Aplicações em Saúde, Energia e Robótica

2013-2015

ROBARQ

Tecnologia Robótica para um Projeto e Construção Não-Standard em Arquitectura

2013-2015

RoboNoise

Aquisição de dados acústicos por meio de um glider

2013-2013

SmartManufacturing

Produção e Logística Inteligentes

2013-2015

Cooperation

Cooperação e Perceção para uma Maior Autonomia

2013-2015

ICARUS-CRIIS

Componentes Integradas para Operações de Busca e Salvamento com Veículos não Tripulados

2012-2015

SUB.2-CRIIS

Veículo submarino com capacidade de propulsão, energia transportada a bordo e sistemas eletrónicos e computacionais, capaz de operar autonomamente e sem qualquer ligação com o operador

2012-2015

AutoClass

Classificação Automática e Controlo de Qualidade em Pneus de Automóveis

2012-2014

COGNAT

Navegação de Planador Subaquático para Tomografia Acústica

2011-2013

PRODUTECH_PTI

Novos processos e tecnologias inovadores para a fileira das tecnologias de produção

2011-2014

PACRI

Programação de alto nível para células robóticas industriais: captura de movimentos do corpo humano

2011-2014

Lajeado

Sistema Inteligente de Supervisão Georreferenciada de reservatório através de veículo autónomo

2010-2014

SIIARI

Sistema para o Incremento da Inteligência Artificial em Robótica Industrial

2010-2012

SIIARI-ROB

Sistema para o Incremento da Inteligência Artificial em Robótica Industrial

2010-2012

TRIMARES

Veículo submarino para monitorização de barragens no Brasil

2010-2011

INSTEAD

Sistemas Inteligentes para detecção de falhas em processos multidimensionais

2010-2013

CRO

Controlo coordenado do movimento de multi-robots baseado na percepção

2010-2012

RobVigil

Robô vigilante colaborativo inteligente para a área da segurança

2010-2012

WWECO

Avaliação do Impacto Ambiental e Modelização de Descargas de Águas Residuais usando Observações Bio-ópticas de Veículos Submarinos

2009-2011

Equipa
Publicações

CRIIS Publicações

Ler todas as publicações

2025

Human-in-the-loop Multi-objective Bayesian Optimization for Directed Energy Deposition with in-situ monitoring

Autores
Sousa, J; Sousa, A; Brueckner, F; Reis, LP; Reis, A;

Publicação
ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING

Abstract
Directed Energy Deposition (DED) is a free-form metal additive manufacturing process characterized as toolless, flexible, and energy-efficient compared to traditional processes. However, it is a complex system with a highly dynamic nature that presents challenges for modeling and optimization due to its multiphysics and multiscale characteristics. Additionally, multiple factors such as different machine setups and materials require extensive testing through single-track depositions, which can be time and resource-intensive. Single-track experiments are the foundation for establishing optimal initial parameters and comprehensively characterizing bead geometry, ensuring the accuracy and efficiency of computer-aided design and process quality validation. We digitized a DED setup using the Robot Operating System (ROS 2) and employed a thermal camera for real-time monitoring and evaluation to streamline the experimentation process. With the laser power and velocity as inputs, we optimized the dimensions and stability of the melt pool and evaluated different objective functions and approaches using a Response Surface Model (RSM). The three-objective approach achieved better rewards in all iterations and, when implemented in areal setup, allowed to reduce the number of experiments and shorten setup time. Our approach can minimize waste, increase the quality and reliability of DED, and enhance and simplify human-process interaction by leveraging the collaboration between human knowledge and model predictions.

2025

Artificial Intelligence for Control in Laser-Based Additive Manufacturing: A Systematic Review

Autores
Sousa, J; Brandau, B; Darabi, R; Sousa, A; Brueckner, F; Reis, A; Reis, LP;

Publicação
IEEE ACCESS

Abstract
Laser-based additive manufacturing (LAM) offers the ability to produce near-net-shape metal parts with unparalleled energy efficiency and flexibility in both geometry and material selection. Despite advantages, these processes are inherently, as they are characterized by multiphysics interactions, multiscale phenomena, and highly dynamic behaviors, making their modeling and optimization particularly challenging. Artificial intelligence (AI) has emerged as a promising tool for enhancing the monitoring and control of additive manufacturing. This paper presents a systematic review of AI applications for real-time control of laser-based manufacturing processes, analyzing 16 relevant articles sourced from Scopus, IEEE Xplore, and Web of Science databases. The primary objective of this work is to contribute to the advancement of autonomous manufacturing systems capable of self-monitoring and self-correction, ensuring optimal part quality, enhanced efficiency, and reduced human intervention. Our findings indicate that 62.5 % of the 16 analyzed studies have deployed AI-driven controllers in real-world scenarios, with over 56 % using AI for control strategies, such as Reinforcement Learning. Furthermore, 62.5 % of the studies employed AI for process modeling or monitoring, which was integral to the development or data pipelines of the controllers. By defining a groundwork for future developments, this review not only highlights current advancements but also hints future innovations that will likely include AI-based controllers.

2025

Spray Quality Assessment on Water-Sensitive Paper Comparing AI and Classical Computer Vision Methods

Autores
Simoes, I; Sousa, AJ; Baltazar, A; Santos, F;

Publicação
AGRICULTURE-BASEL

Abstract
Precision agriculture seeks to optimize crop yields while minimizing resource use. A key challenge is achieving uniform pesticide spraying to prevent crop damage and environmental contamination. Water-sensitive paper (WSP) is a common tool used for assessing spray quality, as it visually registers droplet impacts through color change. This work introduces a smartphone-based solution for capturing WSP images within vegetation, offering a tool for farmers to assess spray quality in real-world conditions. To achieve this, two approaches were explored: classical computer vision techniques and machine learning (ML) models (YOLOv8, Mask-RCNN, and Cellpose). Addressing the challenges of limited real-world data and the complexity of manual annotation, a programmatically generated synthetic dataset was employed to enable sim-to-real transfer learning. For the task of WSP segmentation within vegetation, YOLOv8 achieved an average Intersection over Union of 97.76%. In the droplet detection task, which involves identifying individual droplets on WSP, Cellpose achieved the highest precision of 96.18%, in the presence of overlapping droplets. While classical computer vision techniques provided a reliable baseline, they struggled with complex cases. Additionally, ML models, particularly Cellpose, demonstrated accurate droplet detection even without fine-tuning.

2025

Gen-JEMA: enhanced explainability using generative joint embedding multimodal alignment for monitoring directed energy deposition

Autores
Ferreira, J; Darabi, R; Sousa, A; Brueckner, F; Reis, LP; Reis, A; Tavares, RS; Sousa, J;

Publicação
Journal of Intelligent Manufacturing

Abstract
This work introduces Gen-JEMA, a generative approach based on joint embedding with multimodal alignment (JEMA), to enhance feature extraction in the embedding space and improve the explainability of its predictions. Gen-JEMA addresses these challenges by leveraging multimodal data, including multi-view images and metadata such as process parameters, to learn transferable semantic representations. Gen-JEMA enables more explainable and enriched predictions by learning a decoder from the embedding. This novel co-learning framework, tailored for directed energy deposition (DED), integrates multiple data sources to learn a unified data representation and predict melt pool images from the primary sensor. The proposed approach enables real-time process monitoring using only the primary modality, simplifying hardware requirements and reducing computational overhead. The effectiveness of Gen-JEMA for DED process monitoring was evaluated, focusing on its generalization to downstream tasks such as melt pool geometry prediction and the generation of external melt pool representations using off-axis sensor data. To generate these external representations, autoencoder (AE) and variational autoencoder (VAE) architectures were optimized using Bayesian optimization. The AE outperformed other approaches achieving a 38% improvement in melt pool geometry prediction compared to the baseline and 88% in data generation compared with the VAE. The proposed framework establishes the foundation for integrating multisensor data with metadata through a generative approach, enabling various downstream tasks within the DED domain and achieving a small embedding, allowing efficient process control based on model predictions and embeddings. © The Author(s) 2025.

2025

Efficient multi-robot path planning in real environments: a centralized coordination system

Autores
Matos, DM; Costa, P; Sobreira, H; Valente, A; Lima, J;

Publicação
INTERNATIONAL JOURNAL OF INTELLIGENT ROBOTICS AND APPLICATIONS

Abstract
With the increasing adoption of mobile robots for transporting components across several locations in industries, congestion problems appear if the movement of these robots is not correctly planned. This paper introduces a fleet management system where a central agent coordinates, plans, and supervises the fleet, mitigating the risk of deadlocks and addressing issues related to delays, deviations between the planned paths and reality, and delays in communication. The system uses the TEA* graph-based path planning algorithm to plan the paths of each agent. In conjunction with the TEA* algorithm, the concepts of supervision and graph-based environment representation are introduced. The system is based on ROS framework and allows each robot to maintain its autonomy, particularly in control and localization, while aligning its path with the plan from the central agent. The effectiveness of the proposed fleet manager is demonstrated in a real scenario where robots operate on a shop floor, showing its successful implementation.