Visión

Scientific Reports volumen 13, número de artículo: 12741 (2023) Citar este artículo

117 Accesos

3 altmétrico

Detalles de métricas

La limpieza es una tarea rutinaria fundamental en la vida humana que ahora queda entregada a tecnologías de vanguardia como la robótica y la inteligencia artificial. Se han desarrollado varios robots limpiadores de suelos con diferentes funcionalidades de limpieza, como aspirar y fregar. Sin embargo, pueden ocurrir fallas cuando un robot intenta limpiar un tipo de suciedad incompatible. Estas situaciones no sólo reducirán la eficiencia del robot sino que también provocarán graves daños a los robots. Por lo tanto, el desarrollo de métodos eficaces para clasificar las tareas de limpieza realizadas en diferentes regiones y asignarlas al agente de limpieza respectivo se ha convertido en un campo de investigación de tendencia. Este artículo propone un sistema basado en visión que emplea algoritmos YOLOv5 y DeepSORT para detectar y clasificar la suciedad para crear un mapa de distribución de suciedad que indique las regiones que se asignarán para diferentes requisitos de limpieza. Este mapa sería útil para un marco de limpieza colaborativo para implementar cada robot de limpieza en su región respectiva para lograr una operación ininterrumpida y energéticamente eficiente. El método propuesto se puede ejecutar con cualquier robot móvil y sobre cualquier superficie y suciedad, logrando una alta precisión del 81,0%, para la indicación de suciedad en el mapa de distribución de suciedad.

La limpieza suele considerarse un trabajo monótono que se realiza principalmente en ambientes sucios y desfavorables1. Incluso puede estar asociado con objetos y lugares peligrosos o causar trastornos traumáticos acumulativos en el trabajo humano2. La limpieza es una tarea esencial para mantener el nivel de vida. Por ello, en los últimos tiempos los robots de limpieza se han puesto a la vanguardia como una solución ideal para este problema3. Los avances en robots de limpieza durante los últimos 20 años se han centrado en potenciar su autonomía para mejorar su rendimiento. Se han desarrollado muchos dispositivos robóticos de limpieza para limpiar suelos4, fachadas5, piscinas6, conductos de ventilación7 y escaleras8. Todos estos robots vienen con mecanismos únicos y estrategias de autonomía específicamente optimizadas para sus respectivas tareas de limpieza.

Sin embargo, los robots de limpieza para fachadas, tuberías, conductos de ventilación y alcantarillado aún no se fabrican en masa. Estos sistemas están especialmente optimizados para los requisitos y la geometría de la superficie u objeto a limpiar y se utilizan exclusivamente en entornos profesionales y no en el sector residencial3. Sin embargo, dispositivos como los robots de limpieza de pisos han creado mercados masivos con ingresos significativos. El mercado mundial de robots de limpieza se valoró en 8.340 millones de dólares en 2021, con una tasa de crecimiento anual compuesta del 22,7%9. Por ejemplo, los robots aspiradores para uso doméstico se encuentran entre los sistemas robóticos más vendidos en todo el mundo. La cobertura de área10, el uso de energía11, el tiempo de cobertura12, la confiabilidad y seguridad13 y la comodidad humana14 son las características más esperadas de los robots de limpieza.

Aspirar, fregar y trapear en húmedo son tareas distintas que realizan los robots de limpieza de pisos. Implementar el robot adecuado para cada tarea de limpieza puede mejorar la eficiencia15. Para mejorar la eficiencia de la limpieza se puede utilizar un marco que permita operaciones coordinadas entre varios robots, como robots aspiradores, robots trapeadores y robots fregadores, para abordar diferentes requisitos de limpieza. Este tipo de marco se denomina marco de limpieza colaborativa en el alcance de este documento. Además, un marco de limpieza colaborativo puede evitar fallos y posibles daños a los robots o al medio ambiente como resultado del empleo de robots de limpieza incompatibles para tareas específicas. Por ejemplo, un robot aspirador que intenta absorber líquidos o un robot de limpieza húmedo que encuentra suciedad sólida puede provocar resultados no deseados.

En este sentido, un marco de limpieza colaborativo con un conjunto de robots de limpieza heterogéneos debería ser capaz de identificar los requisitos de limpieza en cada ubicación de un entorno de interés. Se puede introducir la función de un robot de inspección en un marco de limpieza colaborativo para satisfacer esta necesidad. Aquí, el robot de inspección identifica los requisitos de limpieza para cada área y guía el agente de limpieza respectivo a las ubicaciones identificadas, evitando al mismo tiempo una cobertura innecesaria para garantizar la eficiencia y confiabilidad. Por ejemplo, un robot de ciclomotor se envía a lugares con derrames de líquidos mientras que el robot aspirador se envía a lugares con polvo. Esta estrategia garantiza un uso eficiente de la energía y evita posibles daños al robot aspirador debido al líquido. Este tipo de robot de inspección puede tener un diseño simple con bajo consumo de energía y sólo debe estar equipado con un sistema para inspeccionar el medio ambiente. Sin embargo, este tipo de concepto aún no se ha realizado plenamente y en la literatura sólo se pueden encontrar algunos conceptos de apoyo. Por ejemplo, Ramalingam et al.16 propusieron un sistema basado en circuito cerrado de televisión (CCTV) para guiar a un robot para una limpieza selectiva. Aquí se detecta la ubicación de la suciedad y las actividades humanas, y se creará una ruta óptima para que el robot limpie las manchas, lo que dará como resultado una mayor eficiencia. Sin embargo, el sistema no pudo considerar diferentes tipos de suciedad ni el uso de un conjunto de robots con diferentes funciones de limpieza.

Para que este concepto tenga éxito, el sistema de percepción del robot de inspección debe ser capaz de clasificar la suciedad y crear un mapa de distribución de la suciedad del entorno que pueda utilizarse para guiar el conjunto de robots de limpieza con diferentes funciones de limpieza. En los últimos tiempos, los requisitos de percepción en la robótica móvil se han cumplido en su mayor parte con visión por ordenador e inteligencia artificial (IA)17. Se han realizado multitud de investigaciones para clasificar los tipos de suciedad disponibles en un suelo para mejorar el rendimiento de los robots de limpieza. Entre ellos, se pueden encontrar desarrollos de sistemas de separación de barro y suciedad18, separación de suciedad líquida y sólida19, detección de manchas20 y clasificación del tipo de suciedad en entornos de oficina21. Sin embargo, el alcance de gran parte del trabajo se limita a la clasificación de la suciedad, y no se ha discutido la creación de mapas de distribución de la suciedad para ser utilizados por un conjunto de robots de limpieza con capacidades heterogéneas.

Este artículo propone un método novedoso de mapeo de distribución de suciedad, que está diseñado específicamente para su uso en un marco de limpieza colaborativa con un conjunto de robots heterogéneos que tienen características de limpieza únicas. El método de mapeo propuesto se desarrolla utilizando los algoritmos YOLOv5 y DeepSORT para detectar, clasificar y rastrear la suciedad, lo que posteriormente crea un mapa que indica las regiones a asignar para los diferentes requisitos de limpieza. Aspirar, trapear y fregar se consideran requisitos de limpieza en este trabajo. Se espera que este mapa sea utilizado por un marco de limpieza colaborativo con un conjunto de robots de limpieza heterogéneos, cada uno con características de limpieza únicas. Por lo tanto, el trabajo propuesto en este artículo contribuiría al desarrollo del campo de la limpieza de pisos asistida por robots, ya que en la literatura no se ha informado sobre el mapeo de la distribución de la suciedad en las tres categorías de sólido, líquido y manchas. La metodología seguida para lograr el objetivo propuesto se presenta en la Sección “Método”. La Sección “Resultados y discusión”, analiza la validación experimental del sistema propuesto. Las conclusiones del trabajo se dan en la Sección “Conclusión”.

En la Fig. 1 se muestra una descripción general del concepto de un marco de limpieza colaborativo con un conjunto de robots heterogéneos que tienen funciones de limpieza únicas. Este tipo de marco de limpieza colaborativo con un conjunto de robots heterogéneos requiere conocer la distribución de la suciedad en el entorno. junto con los tipos de suciedad asignados a los robots para una limpieza eficiente y efectiva. Por ejemplo, el robot fregador se asignará a la suciedad líquida, el robot fregador se enviará a las manchas y el robot aspirador se encargará de limpiar la suciedad sólida. Esta estrategia evitaría posibles daños en caso de utilizar robots incompatibles (por ejemplo, uso de un robot aspirador en caso de derrame de líquido). En este sentido, un robot de inspección dedicado a la creación de mapas debe crear un mapa que indique las ubicaciones de suciedad en un área seleccionada con la clase correspondiente (suciedad sólida, derrames líquidos y marcas de manchas). Por lo tanto, dentro del alcance de este trabajo se aborda el desarrollo del método de mapeo de suciedad (etiquetado con clases de suciedad) para el robot de inspección para lograr el objetivo de un marco de limpieza colaborativo con un conjunto de robots heterogéneos.

Descripción general del método de mapeo de suciedad propuesto en un marco de limpieza colaborativa con un conjunto de robots heterogéneos. El desarrollo del método de mapeo de suciedad para el robot de inspección se aborda dentro del alcance de este documento.

El sistema propuesto utiliza YOLOv5 para detectar y clasificar la suciedad. Se elige el modelo YOLOv5 para este trabajo ya que YOLOv5 es un modelo de detección de objetos rápido, preciso y liviano que es ideal para aplicaciones que requieren tanto detección como seguimiento de objetos22,23. Uno de los puntos fuertes de los clasificadores basados ​​en redes neuronales convolucionales profundas como YOLOv5 para la detección de objetos es su capacidad para aprender características automáticamente a partir de los datos de la imagen de entrada durante el entrenamiento. Esto significa que no es necesario proporcionar funciones manualmente para la red. Además, YOLOv5 ocupa menos memoria que otros modelos, lo que lo hace adecuado para su implementación en dispositivos con recursos limitados, como robots móviles. Se ha implementado un método de seguimiento para evitar la detección repetitiva del mismo objeto mientras el robot navega. Además, el uso de un rastreador puede mejorar la detección y la tasa de detección. Por lo tanto, DeepSORT se utiliza para el seguimiento donde las detecciones exitosas realizadas por el algoritmo YOLOv5 se introducen en el algoritmo DeepSORT para rastrear y asignar una identidad única.

"Sólo miras una vez", también conocido como YOLO, es un algoritmo común de detección de objetos de una sola etapa. El algoritmo YOLO es capaz de identificar objetos en una imagen determinada en función de las clases definidas. El algoritmo genera los cuadros delimitadores alrededor de los objetos detectados, la clase de cada objeto y la puntuación de confianza de la detección. Según la literatura, la velocidad de inferencia de las redes YOLOv5 tiene la capacidad de usarse en la detección de objetos en tiempo real con buena precisión22,23. Esta capacidad ha sido confirmada por numerosas aplicaciones de detección, como la monitorización ambiental24 y el procesamiento de control de calidad25. Esta alta velocidad de inferencia se logra gracias a su diseño único26,27. La arquitectura de YOLOv5 se muestra en la Fig. 2. Se puede dividir en tres segmentos: columna vertebral, cuello y cabeza. La red Cross Stage Partial (CSPnet) es la columna vertebral de la arquitectura YOLOv5 y es la principal responsable de la extracción de características informativas para ayudar en la detección de objetos. Esto ayuda a reducir la resolución espacial de la imagen y aumenta la resolución de su característica (canal). Utiliza agrupación entre canales28 para comprimir los mapas de características durante el proceso de generación de la pirámide de características. Por lo tanto, es capaz de reducir el uso de memoria en un 75%29 al extraer funciones, junto con su bajo requisito computacional, y sirve como un extractor de funciones eficaz para nuestro sistema de mapeo de suciedad. El segmento del cuello realiza la fusión de rasgos. La sección principal de la arquitectura YOLOv5 se compone de tres capas de convolución que predicen la ubicación de los cuadros delimitadores, las puntuaciones de predicción y las clases de objetos. Luego, esta información se pasa al algoritmo DeepSORT.

Arquitectura de YOLOv5.

DeepSORT es un paso adelante respecto al algoritmo tradicional de seguimiento simple en línea y en tiempo real (SORT)30. Se utiliza para rastrear objetos entre dos fotogramas sucesivos. En la Fig. 3 se ofrece una descripción general del algoritmo DeepSORT. DeepSORT utiliza el algoritmo húngaro31 junto con SORT para distinguir entre objetos detectados en cuadros consecutivos y, por lo tanto, puede asignar una identidad única a cada objeto detectado. Luego se utiliza el filtrado de Kalman32 para predecir las posiciones futuras de los objetos detectados. Durante la gestión de seguimiento, los seguimientos de objetos que cumplen determinadas condiciones, como la falta de detección correspondiente para un número determinado de fotogramas, una alta incertidumbre o una baja confianza durante una duración determinada, o que exceden una antigüedad máxima de seguimiento, se eliminan para garantizar seguimientos precisos y relevantes. Robustez ante oclusiones y ruido en los datos de detección. Además, con la adición del aprendizaje profundo, es capaz de minimizar los cambios de identidad a medida que el objeto se mueve en fotogramas consecutivos. En este trabajo, las coordenadas del cuadro delimitador de los objetos de tierra detectados por YOLOv5 se pasan a DeepSORT con el marco para su seguimiento. Según las coordenadas del cuadro delimitador y la apariencia del objeto, DeepSORT asigna a cada suciedad un número de identificación único y realiza el seguimiento. Los resultados del algoritmo DeepSORT se utilizan para crear mapas de distribución de suciedad.

Descripción general del algoritmo DeepSORT de seguimiento de objetos.

Para entrenar el modelo propuesto, combinamos conjuntos de datos de suciedad disponibles públicamente con nuestros propios datos nuevos para producir un conjunto de datos que se utilizará. El trabajo33 demostró la eficacia del uso de datos sintéticos para entrenar un modelo de detección de suciedad. Por lo tanto, utilizamos el conjunto de datos generado sintéticamente proporcionado en 33 como parte de nuestro conjunto de datos. También combinamos el conjunto de datos ACIN34, ya que consta de imágenes reales con condiciones de iluminación severas, patrones de piso complejos e imágenes borrosas para proporcionar un conjunto de datos más sólido. Además, como el conjunto de datos de ACIN solo constaba de unos pocos cientos de imágenes, también recopilamos nuestros propios datos con una cámara RGB en varios patrones de piso, ángulos y condiciones de iluminación para crear un conjunto de datos bien equilibrado. Después de combinar nuestro conjunto de datos con los conjuntos de datos disponibles públicamente (es decir, el conjunto de datos sintéticos in33 y el conjunto de datos ACIN), aplicamos técnicas de aumento de datos como volteos y rotaciones para diversificar aún más nuestro conjunto de datos. Este aumento puede reducir la tasa de aprendizaje de CNN y reducir el ajuste excesivo. Además, las imágenes capturadas se redimensionaron a 460 \(\times\) 460 píxeles para reducir la carga informática en la etapa de entrenamiento. Esto da como resultado un conjunto de datos etiquetados de 2858 imágenes con las distintas clases de suciedad (es decir, sólida, líquida y mancha). Este conjunto de datos se dividió en entrenamiento, validación y prueba en una proporción de 70:20:10, respectivamente, para determinar la efectividad como se sugiere en 35,36.

Transfer Learning37 se implementó congelando la columna vertebral, aprovechando los pesos previamente entrenados en el conjunto de datos COCO. Por lo tanto, sólo se modifica la última capa del cabezal del detector para detectar sólidos, líquidos y manchas. El optimizador utilizado fue el Stochastic Gradient Descent (SGD)38 con una caída de 0,0005 y una tasa de aprendizaje de 0,01. El tamaño del lote se estableció en 16 y los modelos se entrenaron para 50 épocas, guardando los mejores pesos. La capacitación se realizó con una GPU Nvidia GeForce GT 730 y una CPU Intel(R) Core(TM) i5-8400 a 2,80 GHz y 2,81 GHz.

Los sistemas de seguimiento y detección visual entrenados se implementan en una plataforma de robot móvil para crear un mapa que indica la distribución de suciedad del entorno seleccionado junto con el tipo de suciedad. Aquí, la transformación de las coordenadas del sensor de la cámara al marco mundial es esencial para obtener las coordenadas globales de la ubicación del terreno. Posteriormente, estas coordenadas se transfieren al mapa para indicar el tipo de suciedad en el lugar respectivo.

Transformación de las coordenadas de visualización de la cámara al sistema de coordenadas mundial.

Esta transformación se puede explicar con la ayuda de la Fig. 4. La proyección del objeto en el sensor de la cámara \((x_{s},y_{s})\) se puede transformar en \((x_{real},y_{real })\) coordenadas, que son con respecto al marco de la cámara, usando las Ecs. (1) y (2). Aquí, los ángulos \(\alpha\) y \(\alpha '\) representan el campo de visión de la cámara en los planos vertical y horizontal, respectivamente. Las variables representadas por \(\beta\) y \(\beta '\) son redundantes de la ecuación. Sin embargo, se ha indicado en el diagrama por conveniencia. Las variables a y b denotan respectivamente la longitud y el ancho del sensor de la cámara en píxeles, mientras que \(\theta\) representa el ángulo del eje central de la cámara con respecto a la línea vertical. La altura a la cámara desde el suelo está representada por h.

Después de transformar las coordenadas de tierra con respecto al origen de la cámara (\(O_{c}\)), se realizó otra transformación lineal para obtener las coordenadas con respecto al origen del robot (\(O_{r}\)). Finalmente, utilizando los datos de odometría del robot con respecto al origen del mapa, se obtuvieron las ubicaciones de suciedad con respecto al origen del mapa (\(O_{m}\)). La ecuación (3) se puede utilizar para transformar el punto P en el suelo desde el marco de la cámara al marco del mapa.

Para crear el mapa, el robot de inspección debe navegar de forma autónoma en un patrón de movimiento de bustrofedón para inspeccionar completamente el área seleccionada con la dimensión \(L_{m} \times W_{m}\) como se muestra en la Fig. 5. Durante Se registran el movimiento, la ubicación del robot y la información sobre la suciedad identificada. La identificación solo se realiza cuando el robot está estacionario en cada punto de ruta. La distancia entre los puntos de ruta se selecciona para minimizar la superposición de cobertura. Después de la inspección completa, se creó el mapa de tierra utilizando las transformaciones de coordenadas mencionadas anteriormente.

Estrategia de inspección propuesta.

Para este trabajo se utilizó el robot hTetro en configuración cuadrada sin herramientas de limpieza. El robot mide 50 cm de largo y ancho total con una altura de 10 cm y es capaz de realizar movimientos holonómicos utilizando ruedas mecanum impulsadas por motores de CC con engranajes equipados con codificadores.

El robot se controla de forma autónoma mediante el sistema operativo de robot (ROS) y se desarrolló con dos controladores: un controlador primario para la locomoción del robot y un controlador secundario para el seguimiento de la suciedad (consulte la Fig. 6). El controlador principal consta de tres componentes que permiten la navegación autónoma en un entorno predefinido. Esta arquitectura implica recuperar retroalimentación de los sensores, calcular el mejor camino posible y emitir comandos de control a los motores para que sigan el camino. Se utiliza un controlador Raspberry Pi3 para implementar el controlador principal. El robot utiliza un mapa de navegación predefinido para crear la ruta global, que se crea utilizando LIDAR (RP-LIDAR A3) y el paquete hector SLAM ROS. El robot crea su camino local utilizando la retroalimentación del sensor LIDAR para evitar obstáculos dinámicos en su entorno. Los codificadores de rueda, el sensor LIDAR y el sensor IMU (Vectornav V-100) proporcionan información para la localización del robot. Se puede navegar al robot asignando puntos de referencia y su plan de ruta global se define como un patrón de movimiento de boustrophedon.

El modelo de aprendizaje profundo se ejecuta en el controlador secundario simultáneamente. Para ello se instalan en el robot un ordenador portátil y una cámara web. Los datos de detección de suciedad, incluida la clase de suciedad y las coordenadas del cuadro delimitador con respecto al robot, se transfieren al controlador principal a través de un protocolo de comunicación inalámbrica (enchufe WIFI Python). Se utiliza un nodo ROS que se ejecuta en paralelo en el controlador principal para suscribirse a la posición del robot y a los datos de detección de suciedad. Este etiquetado de datos facilita la creación de un mapa de distribución de suciedad con respecto al sistema de coordenadas global. En general, la autonomía del robot y el modelo de aprendizaje profundo trabajan juntos para crear un sistema integral de mapeo de suciedad.

Arquitectura de autonomía basada en ROS para locomoción y mapeo de suciedad.

La evaluación de la eficacia y precisión del método propuesto se ha llevado a cabo en dos etapas. Inicialmente, el sistema de seguimiento y detección basado en visión que utiliza los algoritmos YOLOv5 y DeepSORT se evaluó en función de las medidas estadísticas estándar y se comparó con los algoritmos de detección de objetos de referencia. Posteriormente, se realizaron experimentos de campo en dos entornos preestablecidos utilizando el robot htetro para evaluar la precisión del mapa de distribución de suciedad generado. Los modelos de aprendizaje profundo propuestos en este artículo se desarrollaron en la versión Tensor-flow 2.11 Win11 y se entrenaron en una configuración de hardware de CPU Intel(R) Core(TM) i5-8400 a 2,81 GHz y tarjetas gráficas Nvidia GeForce GT 730. El mismo dispositivo también se utilizó para las tareas de evaluación final de pruebas.

El modelo de detección clasificó con éxito muestras aleatorias mezcladas con suciedad en tres clases: sólidas, líquidas y manchadas. En la Fig. 7 se muestra un conjunto de resultados de muestra. Para evaluar el rendimiento del esquema propuesto, se utilizan medidas estadísticas estándar, exactitud (A), precisión (P), recuperación (R), \(F_{medida}\) y se utilizaron precisión promedio promedio (mAP). Estas medidas podrían proporcionar una evaluación integral del desempeño propuesto de los modelos. El cálculo de estas medidas se da en las Ecs. (4), (5), (6), (7) y (8) para A, P, R, \(F_{medida}\) y mAP, respectivamente. mAP es numéricamente igual al valor promedio de la suma de precisión promedio (AP) en todas las categorías, y esta medida se utiliza para evaluar el rendimiento general del modelo. La precisión promedio (AP) se define como la precisión de todos los elementos de una categoría de suciedad como se explica en la ecuación. (9). Aquí, tp, fp, tn, fn representan los verdaderos positivos, falsos positivos, verdaderos negativos y falsos negativos, respectivamente, según la matriz de confusión estándar.

Los resultados para la detección general y de cada categoría de suciedad en términos de estas medidas estadísticas se dan en la Tabla 1. Aquí se consideró la intersección de la Unión (IoU) de 0,5. Estas matrices de rendimiento verificaron la capacidad de la arquitectura YOLOv5 entrenada para detectar todas las clases de suciedad con alta precisión. Las métricas de rendimiento para la clase 'mancha' son relativamente más bajas que las de las clases sólida y líquida. Este rendimiento comparativamente menor se observó porque el conjunto de datos contenía una cantidad limitada de muestras de manchas, que son difíciles de obtener y crear. Sin embargo, la precisión, la recuperación y las puntuaciones f1 de todas las clases son relativamente altas, lo que refleja el éxito del modelo.

Detecciones exitosas de imágenes de entrenamiento. Aquí, la clase "sucio" en los cuadros delimitadores se refiere a suciedad sólida y la clase "marca" se refiere a manchas, mientras que el líquido se denomina "líquido".

Para evaluar la eficiencia de nuestro modelo propuesto, la precisión promedio media (mAP) en IoU = 0,5 de la arquitectura YOLOv5 se ha comparado con otras redes de detección de objetos populares, como Faster R-CNN Resnet39 y Mobilenet-SSDv240. Ambas redes han sido entrenadas utilizando el mismo conjunto de datos durante un período de tiempo similar para realizar una evaluación imparcial.

La Tabla 2 muestra las medidas estadísticas observadas durante las pruebas. [email protected] indica claramente que YOLOv5 supera a los otros dos marcos por un margen decente. Los resultados obtenidos aquí también coinciden con la literatura41,42,43 donde YOLOv5 tiene el mejor rendimiento, seguido de Faster R-CNN Resnet y MobilenetSSDv2. YOLOv5 tiene el tiempo de inferencia más bajo44,45 en comparación con Faster R-CNN Resnet y MobilenetSSDv2. Por lo tanto, YOLOv5 muestra el mejor rendimiento en términos de mAP y tiempo de inferencia, lo que la convierte en la arquitectura ideal para el caso de uso. Además, YOLOv5 está optimizado para hardware de baja potencia computacional, lo que hace posible implementar YOLOv5 en un robot móvil para la detección y clasificación de suciedad en tiempo real.

Para que todo el sistema propuesto funcione, es esencial detectar la suciedad en primer lugar y luego rastrearla utilizando la salida del módulo de detección de suciedad. Por lo tanto, el objetivo principal del módulo de seguimiento de suciedad es rastrear y contar objetos de suciedad con alta velocidad y precisión. La salida del módulo de seguimiento de suciedad será un cuadro delimitador de suciedad con un número de secuencia. Esta prueba se realizó enviando un video al sistema. En la Fig. 8, se puede ver que el sistema YOLOv5 + DeepSORT es capaz de rastrear y contar los distintos objetos de suciedad con éxito. Además, el sistema propuesto puede generar la hora de entrada/salida y permitir que los robots se sincronicen con la detección rastreada con fines cartográficos.

Seguimiento de detecciones en fotogramas secuenciales utilizando secuencias de vídeo en tiempo real. Aquí, la clase "sucio" en los cuadros delimitadores se refiere a suciedad sólida.

En general, el sistema propuesto funciona relativamente rápido con un tiempo de inferencia bajo. Según los experimentos, el tiempo de inferencia para el modelo propuesto fue de 0,947 s, donde YOLOv5 y DeepSORT consumieron individualmente 0,348 y 0,599 s, respectivamente. Por lo tanto, el método propuesto es adecuado para la detección, clasificación y seguimiento de la suciedad en tiempo real para mapear la distribución de la suciedad utilizando un robot de inspección móvil.

Dos casos experimentales para validar la capacidad de mapeo de suciedad: (a) entorno utilizado para el primer caso, (b) ruta que tomó el robot para cubrir el área marcada en el primer caso, (c) mapa de distribución de suciedad para el primer caso, (d) entorno utilizado para el segundo caso, (e) ruta que ha seguido el robot para cubrir el área marcada en el segundo caso, (f) mapa de distribución de suciedad para el segundo caso.

Para comprender el rendimiento en tiempo real del sistema propuesto, se generaron mapas de distribución de suciedad que indican el tipo de suciedad para dos entornos de prueba seleccionados navegando por el robot de inspección (vídeo complementario 1). Los entornos de prueba consistieron en dos patrones de piso diferentes. Ambos ambientes tenían forma rectangular con dimensiones de 175 \(\times\) 250 cm. El primer entorno de prueba es un piso de madera con un patrón no uniforme (ver Fig. 9a). El segundo entorno de prueba es un piso uniforme de color gris pero con una superficie rugosa (ver Fig. 9d). Para los experimentos, hemos establecido parámetros como las condiciones de iluminación, el ángulo de la cámara, la ubicación de la cámara y la velocidad del robot, y el ancho y la longitud de la trayectoria en zigzag para garantizar la cobertura completa y efectiva del área seleccionada. Estos parámetros se decidieron mediante prueba y error y se mantuvieron constantes para ambos experimentos. Los conocimientos de este análisis de sensibilidad nos han permitido descubrir cómo ajustar el rendimiento del sistema propuesto. Las rutas de navegación trazadas del robot en el primer y segundo entorno se muestran en la Fig. 9b, e, respectivamente. Los mapas de distribución de suciedad resultantes se muestran en las figuras 9c, f para el primer y segundo entorno, respectivamente.

Luego, los mapas de distribución de suciedad resultantes se compararon con la distribución real del medio ambiente para evaluar la precisión. El mapa de tierra del primer entorno donde el piso tenía un patrón no uniforme tiene una precisión del 76,7% mientras que la precisión del mapa del segundo entorno (piso uniforme) es del 85,3%. La razón de esta variación fue que el contraste del objeto lo hacía más visible en el piso uniforme de color gris. Aunque el segundo entorno tenía un patrón uniforme, la superficie no era lisa, lo que provocaba vibraciones en el robot durante la navegación. Como resultado de esta vibración se observó un tiempo de detección comparativamente mayor en el segundo entorno. En general, el sistema tuvo una precisión del 81,0% en la identificación y localización de elementos de suciedad. Cabe señalar que no pudimos comparar la precisión de los mapas de suciedad generados por nuestro enfoque propuesto con los métodos existentes que pueden mapear la distribución de la suciedad en las tres categorías de sólido, líquido y mancha, ya que actualmente no existen métodos de este tipo en la literatura para lo mejor de nuestro conocimiento. Sin embargo, los resultados demostraron la efectividad y practicidad de nuestro enfoque propuesto para categorizar con precisión la suciedad y generar mapas de distribución correspondientes que serían útiles para un sistema de limpieza colaborativo con un conjunto de robots heterogéneos.

En ambos pisos también realizamos experimentos con diferentes condiciones de iluminación (es decir, iluminación natural y artificial). En caso de iluminación artificial, la detección se volvió inexacta y, en algunos casos, los objetos ni siquiera eran visibles para la cámara. Esta degradación del rendimiento se debió al brillo del suelo. Por lo tanto, se propone utilizar el sistema en situaciones de iluminación difusa para una mayor precisión. Durante los experimentos, observamos que parte de la suciedad se detectaba cuando estaban lejos y pasaba desapercibida cuando estaban más cerca. Este comportamiento se debió a la variación del tamaño de la suciedad percibida por la cámara, donde el tamaño de la suciedad en el conjunto de datos de entrenamiento influyó en la detección de objetos. Estas limitaciones se pueden superar diversificando el conjunto de datos de entrenamiento con elementos de diferentes tamaños y permitiendo que el modelo se generalice mejor.

La inteligencia artificial y la robótica desempeñan un papel importante en las aplicaciones de limpieza autónoma. Se han introducido robots limpiadores de suelos con diferentes funciones de limpieza. Un robot limpiador de suelos podría fallar o dañarse al limpiar tipos de suciedad incompatibles. Para superar este problema, en este artículo se propone un método de mapeo de la distribución de suciedad basado en visión para un robot de inspección.

El método propuesto utiliza un esquema de detección y seguimiento que consta de los algoritmos YOLOv5 y DeepSORT. Estos modelos fueron entrenados para detectar y clasificar elementos de suciedad pertenecientes a clases sólidas, líquidas y de manchas y determinar sus posiciones. El método desarrollado se implementó en un robot móvil para evaluar la precisión del mapeo de suciedad. Según los resultados experimentales, el método desarrollado puede crear mapas de distribución de suciedad con suficiente precisión. Estos mapas de distribución de suciedad serían útiles para guiar de manera eficiente a robots colaborativos con diferentes funciones de limpieza. El alcance de este trabajo se limita a crear mapas de distribución de suciedad utilizando un robot de inspección con visión. Como trabajo futuro, esperamos ampliar el sistema para la planificación óptima de la ruta para guiar un conjunto de robots de limpieza en base a estos mapas de distribución de suciedad. El problema del viajante puede ser un enfoque potencial para la planificación óptima de rutas basada en la información proporcionada por los mapas de distribución de suciedad.

Los conjuntos de datos generados y/o analizados durante el estudio actual están disponibles del autor correspondiente a solicitud razonable.

Faremi, FA, Ogunfowokan, AA, Olatubi, MI, Ogunlade, B. & Ajayi, OA Conocimiento de los riesgos laborales entre los trabajadores de la limpieza: un estudio de los limpiadores de una universidad nigeriana. En t. J. Ciencias de la Salud. Res. 4, 198–204 (2014).

Google Académico

Lin, J.-H. et al. Limpieza en el siglo XXI: los trastornos musculoesqueléticos asociados con la ocupación centenaria: una revisión de la literatura. Aplica. Ergón. 105, 103839. https://doi.org/10.1016/j.apergo.2022.103839 (2022).

Artículo PubMed Google Scholar

Elkmann, N., Hortig, J. & Fritzsche, M. Automatización de la limpieza, 1253–1264 (Springer, 2009).

MATEMÁTICAS Google Scholar

Samarakoon, SBP, Muthugala, MVJ, Le, AV & Elara, MR Htetro-infi: Un robot limpiador de suelos reconfigurable con infinitas morfologías. Acceso IEEE 8, 69816–69828 (2020).

Artículo de Google Scholar

Bisht, RS, Pathak, PM & Panigrahi, SK Diseño y desarrollo de un robot limpiador de fachadas de vidrio. Mec. Mach. Teoría 168, 104585. https://doi.org/10.1016/j.mechmachtheory.2021.104585 (2022).

Artículo de Google Scholar

Batista, VR & Zampirolli, FA Optimización de la limpieza robótica de piscinas con un algoritmo genético. J. Intel. Robot. Sistema. 95, 443–458. https://doi.org/10.1007/s10846-018-0953-y (2019).

Artículo de Google Scholar

Yamanaka, Y., Hitomi, T., Ito, F. & Nakamura, T. Evaluación de herramientas de limpieza óptimas para el desarrollo de un robot de limpieza de grasa de conductos de ventilación. En Robótica para un futuro sostenible (eds Chugo, D. et al.) 348–356 (Springer, 2022).

Capítulo Google Scholar

Muthugala, MVJ, Samarakoon, SBP, Veerajagadheswar, P. & Elara, MR Garantizar la cobertura del área y la seguridad de un robot de limpieza de escaleras reconfigurable. Acceso IEEE 9, 150049–150059 (2021).

Artículo de Google Scholar

CAGR del 22,7%, el tamaño del mercado de robots de limpieza alcanzará los 34,94 mil millones de dólares en 2028, según brandessence market research, consultado el 24 de marzo de 2022); https://www.prnewswire.com/news-releases/cagr-of-22-7-cleaning-robot-market-size-to-hit-usd-34-94-billion-in-2028--says-brandessence -investigación-de-mercado-301509925.html.

Samarakoon, SMBP, Muthugala, MAVJ y Elara, MR Planificación de ruta de cobertura completa en línea de un robot reconfigurable que utiliza una red neuronal bioinspirada y un algoritmo genético de Glasius. En 2022, Conferencia internacional IEEE/RSJ sobre robots y sistemas inteligentes (IROS), 5744–5751 (IEEE, 2022).

Muthugala, MVJ, Samarakoon, SBP y Elara, MR Compensación entre la cobertura del área y el uso de energía de un robot de limpieza de pisos autorreconfigurable según las preferencias del usuario. Acceso IEEE 8, 76267–76275 (2020).

Artículo de Google Scholar

Samarakoon, SMBP, Muthugala, MAVJ, Kalimuthu, M., Chandrasekaran, SK y Elara, MR Diseño de un robot reconfigurable con planificador de ruta adaptable al tamaño. En 2022, Conferencia internacional IEEE/RSJ sobre robots y sistemas inteligentes (IROS), 157–164 (IEEE, 2022).

Prassler, E., Ritter, A., Schaeffer, C. y Fiorini, P. Una breve historia de los robots de limpieza. Auton. Robots 9, 211–226 (2000).

Artículo de Google Scholar

Yapici, NB, Tuglulular, T. & Basoglu, N. Evaluación de la interacción humano-robot entre propietarios de viviendas y aspiradoras robóticas. En 2022 Conferencia de Gestión de Ingeniería y Tecnología IEEE (TEMSCON EUROPE), 204–209 (IEEE, 2022).

Rizk, Y., Awad, M. y Tunstel, EW Sistemas cooperativos multirobot heterogéneos: una encuesta. Computación ACM. Sobrevivir. (CSUR) 52, 1–31 (2019).

Artículo de Google Scholar

Ramalingam, B. y col. Óptima limpieza selectiva de suelos mediante algoritmos de aprendizaje profundo y robot htetro reconfigurable. Ciencia. Rep. 12, 15938. https://doi.org/10.1038/s41598-022-19249-7 (2022).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Cebollada, S., Payá, L., Flores, M., Peidró, A. & Reinoso, O. Una revisión del estado del arte sobre tareas de robótica móvil utilizando inteligencia artificial y datos visuales. Sistema experto. Aplica. 167, 114195. https://doi.org/10.1016/j.eswa.2020.114195 (2021).

Artículo de Google Scholar

Milinda, H. & Madhusanka, B. Método de separación de barro y suciedad para un robot limpiador de pisos. En 2017, Conferencia de Investigación en Ingeniería de Moratuwa (MERCon), 316–320 (IEEE, 2017).

Canedo, D., Fonseca, P., Georgieva, P. & Neves, AJ Un sistema de visión por computadora de detección de suciedad basado en aprendizaje profundo para robots de limpieza de pisos con recopilación de datos mejorada. Tecnologías 9, 94 (2021).

Artículo de Google Scholar

Canedo, D., Fonseca, P., Georgieva, P. & Neves, AJ Un innovador sistema de visión para robots limpiadores de suelos basado en yolov5. En Conferencia Ibérica sobre Reconocimiento de Patrones y Análisis de Imágenes, 378–389 (Springer, 2022).

Bormann, R., Weisshardt, F., Arbeiter, G. & Fischer, J. Detección autónoma de suciedad para la limpieza en entornos de oficinas. En 2013, Conferencia Internacional IEEE sobre Robótica y Automatización, 1260–1267 (IEEE, 2013).

Zhou, F., Zhao, H. & Nie, Z. Detección de casco de seguridad basada en yolov5. En 2021, Conferencia internacional IEEE sobre electrónica de potencia, aplicaciones informáticas (ICPECA), 6–11 (2021).

Junior, LCM & Alfredo C. Ulson, J. Detección de malezas en tiempo real mediante visión por computadora y aprendizaje profundo. En 2021, 14.ª Conferencia Internacional IEEE sobre Aplicaciones Industriales (INDUSCON), 1131–1137, 10.1109/INDUSCON51756.2021.9529761 (2021).

Xu, R., Lin, H., Lu, K., Cao, L. y Liu, Y. Un sistema de detección de incendios forestales basado en el aprendizaje conjunto. Bosques https://doi.org/10.3390/f12020217 (2021).

Artículo de Google Scholar

Yao, J. y col. Un algoritmo de detección en tiempo real de defectos en kiwi basado en yolov5. Electrónica https://doi.org/10.3390/electronics10141711 (2021).

Artículo de Google Scholar

Redmon, J., Divvala, S., Girshick, R. y Farhadi, A. Solo miras una vez: detección de objetos unificada en tiempo real. En Actas de la Conferencia IEEE sobre Visión por Computadora y Reconocimiento de Patrones (CVPR) (2016).

Redmon, J. & Farhadi, A. Yolov3: Una mejora incremental. CORR (2018). arxiv:1804.02767.

Goodfellow, IJ, Warde-Farley, D., Mirza, M., Courville, A. y Bengio, Y. Redes Maxout. En Actas de la 30ª Conferencia Internacional sobre Aprendizaje Automático Volumen 28, ICML'13, III-1319-III-1327 (JMLR.org, 2013).

Wang, C. y col. Cspnet: una nueva columna vertebral que puede mejorar la capacidad de aprendizaje de CNN. CoRR (2019). arxiv:1911.11929.

Bewley, A., Ge, Z., Ott, L., Ramos, F. y Upcroft, B. Seguimiento sencillo en línea y en tiempo real. En 2016, Conferencia internacional IEEE sobre procesamiento de imágenes (ICIP), 3464–3468 (2016).

Kuhn, HW El método húngaro para el problema de asignación. Res. Naval. Logista. (NRL) 52, 7-21 (2010).

Artículo MATEMÁTICAS Google Scholar

Kalman, RE Un nuevo enfoque para los problemas de predicción y filtrado lineal. J. Ing. Básica. 82, 35–45. https://doi.org/10.1115/1.3662552 (1960).

Artículo MathSciNet Google Scholar

Canedo, D., Fonseca, P., Georgieva, P. & Neves, AJR Un sistema de visión por computadora de detección de suciedad basado en aprendizaje profundo para robots de limpieza de pisos con recopilación de datos mejorada. Tecnologías https://doi.org/10.3390/technologies9040094 (2021).

Artículo de Google Scholar

Yan, Z. y col. Percepción robótica de objetos estáticos y dinámicos con una fregadora de suelos autónoma. Intel. Serv. Robot.https://doi.org/10.1007/s11370-020-00324-9 (2020).

Artículo de Google Scholar

Xu, Y. & Goodacre, R. Sobre la división del conjunto de entrenamiento y validación: un estudio comparativo de validación cruzada, bootstrap y muestreo sistemático para estimar el rendimiento de generalización del aprendizaje supervisado. J.Anal. Prueba. 2, 249–262 (2018).

Artículo PubMed PubMed Central Google Scholar

Dobbin, KK & Simon, RM División óptima de casos para entrenar y probar clasificadores de alta dimensión. BMC Med. Genómica 4, 31–31 (2010).

Artículo de Google Scholar

Pan, SJ y Yang, Q. Una encuesta sobre el aprendizaje por transferencia. Traducción IEEE. Conocimiento. Ing. de datos. 22, 1345-1359. https://doi.org/10.1109/TKDE.2009.191 (2010).

Artículo de Google Scholar

Bottou, L. Aprendizaje automático a gran escala con descenso de gradiente estocástico. En Conferencia Internacional sobre Estadística Computacional (2010).

Targ, S., Almeida, D. y Lyman, K. Resnet en resnet: generalización de arquitecturas residuales. CORR (2016). arxiv:1603.08029.

Chiu, Y.-C., Tsai, C.-Y., Ruan, M.-D., Shen, G.-Y. y Lee, T.-T. Mobilenet-ssdv2: un modelo de detección de objetos mejorado para sistemas integrados. En 2020, Conferencia Internacional sobre Ciencia e Ingeniería de Sistemas (ICSSE), 1–5, 10.1109/ICSSE50014.2020.9219319 (2020).

Yang, X. y col. Detección de imágenes por teledetección basada en mejoras de yolov4. Acceso IEEE 10, 95527–95538. https://doi.org/10.1109/ACCESS.2022.3204053 (2022).

Artículo de Google Scholar

Muzammul, M. & Li, X. Una encuesta sobre la adaptación profunda de dominios y los desafíos, técnicas y conjuntos de datos de detección de objetos pequeños, arXiv:2107.07927 (2021).

Iyer, R., Bhensdadiya, K. & Ringe, P. Comparación de yolov3, yolov5s y mobilenet-ssd v2 para la detección de máscaras en tiempo real. Artico. En t. J.Res. Ing. Tecnología. 8, 1156-1160 (2021).

Google Académico

Tan, L., Huangfu, T., Wu, L. y Chen, W. Comparación de yolo v3, r-cnn más rápido y ssd para la identificación de píldoras en tiempo real, 10.21203/rs.3.rs-668895/v1 ( 2021).

Ahmed, KR Detección inteligente de baches mediante aprendizaje profundo basado en convolución dilatada. Sensores https://doi.org/10.3390/s21248406 (2021).

Artículo PubMed PubMed Central Google Scholar

Descargar referencias

Esta investigación cuenta con el apoyo del Programa Nacional de Robótica en el marco de su Programa Nacional de Robótica (NRP) BAU, Ermine III: Robots reconfigurables desplegables, Premio No. M22NBK0054 y también con el respaldo de A*STAR en el marco de su “RIE2025 IAF-PP Advanced ROS2-native Platform Technologies”. para la Adopción Intersectorial de Robótica (M21K1a0104)”.

Pilar de desarrollo de productos de ingeniería, Universidad de Tecnología y Diseño de Singapur, Singapur, 487372, Singapur

Ishneet Sukhvinder Singh, ID Wijegunawardana, SM Bhagya P. Samarakoon, MA Viraj J. Muthugala y Mohan Rajesh Elara

Temasek Junior College, Singapur, 469278, Singapur

Ishneet Sukhwinder Singh

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

Conceptualización, SMBPS, MAVJM; metodología, ISS e IDW; software, ISS e IDW; validación, ISS e IDW; redacción: preparación del borrador original, ISS e IDW; redacción, revisión y edición, SMBPS, MAVJM; supervisión, MAVJM, MRE; administración de proyectos, MRE; adquisición de financiación, MRE; Todos los autores revisaron el manuscrito.

Correspondencia a MA Viraj J. Muthugala.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Vídeo complementario 1.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado al autor(es) original(es) y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Singh, IS, Wijegunawardana, ID, Samarakoon, SMBP et al. Mapeo de distribución de suciedad basado en visión mediante aprendizaje profundo. Representante científico 13, 12741 (2023). https://doi.org/10.1038/s41598-023-38538-3

Descargar cita

Recibido: 14 de enero de 2023

Aceptado: 10 de julio de 2023

Publicado: 06 de agosto de 2023

DOI: https://doi.org/10.1038/s41598-023-38538-3

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

Al enviar un comentario, acepta cumplir con nuestros Términos y pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.