Haga clic en " Visión de aprendizaje de Xiaobai " arriba y elija agregar " Estrella " o " Superior "
重磅干货，第一时间送达Reenviado de: Construcción automatizada
Reconocimiento automático del tipo de superficie de la carretera de la imagen basado en una red neuronal convolucional
Reconocimiento automático del tipo de pavimento para encuestas de estado del pavimento basadas en imágenes utilizando una red neuronal convolucional
autor:
Guangwei Yang, Ph. D. (Investigador Postdoctoral, Escuela de Ingeniería Civil y Ambiental, Universidad del Estado de Oklahoma, Stillwater, OK 74078. ORCID: https://orcid.org/0000-0002-0870-2440)
Kelvin CP Wang, Ph.D., M.ASCE （2 Regents Professor, School of Civil and Environmental Engineering, Oklahoma State Univ., Stillwater, OK 74078 (autor correspondiente). Correo electrónico: [email protected]）
Joshua Qiang Li, Ph.D., M.ASCE (Profesor asociado, Escuela de Ingeniería Civil y Ambiental, Universidad del Estado de Oklahoma, Stillwater, OK 74078.)
Yue Fei, Ph.D. (Ingeniero de algoritmos, Chengdu Guimu Robot, 888 Chenglong Rd., Chengdu, Sichuan 610000, China).
Yang Liu, Ph. D. (Investigador Postdoctoral, Escuela de Ingeniería Civil y Ambiental, Universidad del Estado de Oklahoma, Stillwater, OK 74078.)
Kamyar C. Mahboub, Ph.D., M.ASCE （Profesor, Departamento de Ingeniería Civil, Univ. de Kentucky, Lexington, KY 40503. ORCID: https://orcid.org/0000-0003-1668-4585）
Allen A. Zhang, Ph.D. (Investigador sénior, Academia Provincial de Investigación de Construcción de Guangdong, 121 E. Xianlie Rd., Guangzhou 510500, China. ORCID: https://orcid.org/0000-0002-2565-9894）
期刊： Revista de Computación en Ingeniería Civil
Enlace original: 10.1061/(ASCE)CP.1943-5487.0000944.
Q1
¿Cuál es la pregunta de ingeniería planteada por el artículo?
¿Cuál es el valor de ingeniería real?
Los sistemas de pavimento se deterioran con el tiempo bajo la influencia de las cargas de tráfico y el clima, lo que requiere gastos anuales significativos para reparar y mantener su desempeño en los niveles esperados. Los datos confiables y precisos de la condición del pavimento juegan un papel clave en los sistemas de gestión de pavimentos (PMS), las investigaciones manuales pueden tener problemas potenciales de seguridad, requieren control de tráfico, consumen mucho tiempo y los resultados están sujetos a la subjetividad, lo que puede generar datos inconsistentes de la condición del pavimento. año a año
Por lo tanto, una técnica topográfica basada en imágenes digitales captura imágenes de la superficie de la carretera a velocidades de autopista y las almacena en un medio electrónico, y se han estudiado intensamente métodos para realizar la interpretación de las condiciones de la superficie de la carretera. Las tecnologías automatizadas y semiautomatizadas han ganado una amplia aceptación en el campo de la recopilación de datos sobre el estado de las carreteras debido a sus ventajas en términos de seguridad y eficiencia, consistencia y repetibilidad de los datos e imágenes de la superficie de la carretera de alta resolución con cobertura total de carril.
Q2
¿Cuál es la pregunta científica planteada por el artículo?
¿Qué nuevas aportaciones académicas?
Los sistemas basados en imágenes se están volviendo populares para recopilar datos sobre el estado del pavimento para las actividades de gestión del pavimento, y los ingenieros de pavimentos definen varias categorías de deterioro según el tipo de pavimento. Sin embargo, las soluciones de software actuales tienen limitaciones en la identificación automática y correcta del tipo de superficie de la carretera a partir de las imágenes recopiladas.
En este artículo, proponemos un sistema de reconocimiento de pavimento basado en una red neuronal convolucional (CNN), PvmtTPNet, con una consistencia aceptable, precisión y un reconocimiento automático eficiente de los tipos de pavimento.
1. Al analizar el perfil de sonido y la textura del campo cercano utilizando métodos de aprendizaje estadístico, se identificaron diferentes tipos de superficies de carreteras.
2. Imágenes de pavimento con una resolución de 1 mm en rutas con diferentes tipos de pavimento en diferentes condiciones en Oklahoma utilizando el sistema PaveVision3D de última generación (Wang et al. 2015). Un total del 80 % de las imágenes preparadas se seleccionan aleatoriamente para entrenar la red propuesta, y el 20 % restante de las imágenes se utiliza para la prueba.
3. Aplicar la red obtenida para determinar el tipo de superficie de la carretera para dos imágenes de recopilación de datos adicionales en 2019 para evaluar el rendimiento.
Q3
¿Cuál es la ruta técnica propuesta en el artículo?
¿Cuáles son las mejoras e innovaciones?
①Datos de entrenamiento
Este estudio consideró tres tipos de pavimento comúnmente evaluados y medidos en PMS: pavimento de hormigón asfáltico (AC), pavimento de hormigón común (JPCP) y pavimento de hormigón armado continuo (CRCP). Se recogieron un total de 21 000 imágenes bidimensionales (2D) que cubrían 84 000 m (52,20 millas) de tramos largos de superficie de carretera. El 80 % de las imágenes preparadas se seleccionan aleatoriamente para entrenar la red propuesta, y el 20 % restante de las imágenes se utiliza para la prueba. Durante el proceso de entrenamiento, las imágenes 2D preparadas se reducen a imágenes 2D de 475 × 512 para mejorar la eficiencia computacional. La figura 1 es una imagen de muestra del conjunto de datos preparado previamente.
Imágenes de muestra del conjunto de datos preparado en la Fig. 1: (a) nuevo, (b) con grietas, (c) con grietas selladas, (d) con reparaciones, (e) con grietas, (f) con reparaciones de PCC, ( g ) con salida; (h) con parche AC; (i) con DBR; (j) con DBR y parche; (k) con fisura; (l) con ranura.
② Desarrollo web
La Figura 2 muestra la arquitectura de PvmtTPNet. PvmtTPNet consta de seis capas: tres capas convolucionales, dos capas completamente conectadas y una capa de salida. La entrada de PvmtTPNet es una imagen de superficie de carretera bidimensional preparada, y la capa de salida calcula la distribución de probabilidad del tipo de superficie de carretera previsto. En cada capa convolucional, se utilizan 8 núcleos de tamaño 13×13 para extraer características de la imagen de entrada, como bordes y formas. Para estas dos capas totalmente conectadas, implementamos 32 nodos y 16 nodos respectivamente para preservar las características más importantes de las imágenes de la superficie de la carretera.
Figura 2 Diagrama de flujo de optimización de HNN usando GA
③Habilidades de entrenamiento
Durante el entrenamiento de la red, se utiliza una combinación de diferentes técnicas para ajustar los hiperparámetros dentro de PvmtTPNet en función de las imágenes 2D preparadas. Los parámetros de la red se ajustan gradualmente para reducir el error entre la puntuación de salida y el patrón de puntuación esperado, a fin de reducir la pérdida de entrenamiento y mejorar la precisión del entrenamiento (LeCune et al. 2015). Después de un extenso entrenamiento, PvmtTPNet puede predecir el tipo de carretera para una imagen 2D determinada en función de un vector de puntuación, donde la puntuación más alta en todas las categorías corresponderá al tipo de carretera. La Tabla 1 resume los hiperparámetros de sintonización de PvmtTPNet, con un total de 992,979. La Tabla 1 es un resumen de los parámetros de entrenamiento.
Tabla 1 Resumen de parámetros de entrenamiento
④ Resultados del entrenamiento
La precisión de la clasificación y la pérdida de entropía cruzada para el entrenamiento y la prueba de la red se muestran en la Fig. 3. A medida que aumenta el número de épocas de entrenamiento, aumenta la precisión de la clasificación y disminuye la pérdida de entropía cruzada. El entrenamiento de PvmtTPNet en el conjunto de datos preparado para 100 épocas tarda 28 horas en completarse en una tarjeta NVIDIA titan VGPU. Con la combinación elegida de técnicas de entrenamiento, la precisión de la clasificación en los datos de prueba sigue siendo cercana a la de los datos de entrenamiento, lo que indica que hay un pequeño problema de sobreajuste en esta red. En particular, PvmtTPNet logra la precisión de prueba más alta del 98,48 %, que se observa en la época 96. Mientras tanto, las pérdidas de entropía cruzada de los datos de entrenamiento y de prueba son 0,0067 y 0,054, respectivamente. Por lo tanto, los parámetros derivados en la etapa 96 se consideran los parámetros óptimos para PvmtTPNet. La precisión de clasificación de los datos de entrenamiento alcanza el 99,83 % en el período óptimo.
Figura 3 Resumen de la precisión de la clasificación y la pérdida de entropía cruzada
Con base en lo anterior, este documento presenta las siguientes novedades:
1. Este estudio desarrolla una red basada en el aprendizaje profundo (DL), llamada PvmtTPNet, que puede identificar automáticamente los tipos de superficies de las carreteras a partir de imágenes para facilitar encuestas totalmente automatizadas sobre el estado de las superficies de las carreteras. PvmtTPNet implementa una arquitectura basada en una red neuronal convolucional para aprender características de las imágenes de la categoría de carretera.
2. El uso de unidades lineales rectificadas (ReLU) como función de activación de la capa convolucional y la capa totalmente conectada se puede entrenar de manera rápida y efectiva, y se ha convertido en la función de activación predeterminada de las redes neuronales de aprendizaje profundo modernas.
Q4
¿Cómo se valida y resuelve el artículo?
Para evaluar el rendimiento de la PvmtTPNet obtenida durante el período óptimo de reconocimiento del tipo de pavimento, se realizaron estudios adicionales en el Sitio 1 (cerca de la ciudad de Oklahoma) y 2 (cerca de la I-540 en Fort Smith, Arkansas) por el sistema PaveVision3D en 2019 Dos tomas de datos de campo. Las dos rutas de recopilación de datos se muestran en la Figura 4.
Figura 4. Recopilación de datos para la evaluación del modelo:
(a) Sitio 1-I-35; (b) Sitio 2-I-540
La Tabla 2 resume las cantidades detalladas de los tipos de pavimento reales y pronosticados recopilados por PvmtTPNet para estas dos recopilaciones de datos y proporciona una matriz de confusión para cada sitio.
Tabla 2 Matriz de confusión en la evaluación en línea
En cada matriz de confusión, los números a lo largo de la diagonal representan predicciones correctas, mientras que otros números representan predicciones precisas para cada clase de pavimento. Como se muestra en la Tabla 2, PvmtTPNet obtuvo 5760 predicciones correctas de las 6311 imágenes preparadas por Site1, con una tasa de precisión del 91,27 %. Para Site2, PvmtTPNet realizó 3439 predicciones correctas y logró una tasa de precisión del 96,66 %. Además, PvmtTPNet tarda 16,33 min y 4,59 min en predecir las imágenes del sitio 1 y el sitio 2 con una tarjeta NVIDIA titan VGPU. Por lo tanto, el tiempo promedio de procesamiento por imagen fue de 155 212 μs para el sitio 1 y de 77 452 μs para el sitio 2. Si la velocidad de recopilación de datos de campo es de 96,56 km/h (60 mi/h), se necesitan 18,55 min y 10,46 min para completar el estudio de estos dos sitios. Por lo tanto, el tiempo de procesamiento fue menor que el tiempo de adquisición de datos (16,33 < 18,55 para el sitio 1 y 4,59 < 10,46 para el sitio 2). PvmtTPNet claramente tiene el potencial de utilizar GPU de última generación para predecir los tipos de superficie de la carretera a partir de imágenes 2D recopiladas en tiempo real, que serán varias veces más rápidas que las GPU utilizadas en el estudio.
P5
¿Cuáles son las ventajas y desventajas del artículo?
Estructura lógica : El esquema de este artículo se presenta a continuación:
1. Introducción
Muestra que existen defectos en la obtención manual de datos del estado de las carreteras, por lo que es necesario estudiar el reconocimiento automático de tipos de superficies de carreteras en imágenes basadas en redes neuronales convolucionales.
2. Preparación de datos
Se presentan todas las fuentes de imágenes de pavimento utilizadas en este estudio, así como los objetos en los que se entrena PvmtTPNet en este documento.
3. Desarrollo de redes
En este estudio, se desarrolla una red basada en aprendizaje profundo (DL), llamada PvmtTPNet, para identificar automáticamente los tipos de superficie de la carretera a partir de imágenes para facilitar encuestas de estado de la carretera totalmente automatizadas. PvmtTPNet implementa una arquitectura basada en una red neuronal convolucional para aprender características de las imágenes de la categoría de carretera.
3.1 Metodología
Presentar la metodología de este estudio para entrenar la PvmtTPNet propuesta con una arquitectura CNN.
3.2 Arquitectura de red
Introducir la arquitectura de red de PvmtTPNet.
3.3 Técnicas de Entrenamiento
Presente la fuente de datos y el método de entrenamiento de la red PvmtTPNet.
3.4 Resultados de la formación
Muestre la precisión de la clasificación y la pérdida de entropía cruzada para el entrenamiento y las pruebas de redes. Con una combinación de opciones de técnicas de entrenamiento, la precisión de la clasificación de los datos de prueba sigue siendo cercana a la de los datos de entrenamiento, lo que indica que hay un pequeño problema de sobreajuste en esta red.
4. Evaluación de la red
El sistema PaveVision3D se utiliza para recopilar datos de la ciudad de Oklahoma y la I-540 cerca de Fort Smith, Arkansas, y evaluar su desempeño en el mejor período de reconocimiento de tipos de superficies de carreteras a través de los resultados de PvmtTPNet en el reconocimiento de tipos de superficies de carreteras.
5. Discusión
Actualmente, agregar marcadores de eventos en puentes durante la recopilación de datos es un método común para excluir secciones de puentes de los datos de imágenes recopilados. Sin embargo, esta es una estimación de la fuerza laboral de campo, lo que puede producir un registro inexacto dada la alta tasa de recopilación de datos. Por lo tanto, en la próxima etapa de trabajo, el efecto de entrenamiento de PvmtTPTet en las imágenes de la plataforma del puente se juzgará en función de las imágenes obtenidas. Pero existen varias limitaciones: en primer lugar, no se recopilan suficientes imágenes del tablero del puente. Es bien sabido que el entrenamiento DL requiere una gran cantidad de datos de entrenamiento para lograr el rendimiento deseado. En segundo lugar, las imágenes 2D de las cubiertas de los puentes no siempre contienen las características discriminatorias aprendidas por esta red.
6. Conclusiones
En este estudio, se entrenó una red DL basada en redes neuronales convolucionales, denominada PvmtTPNet, para reconocer tipos de superficies de carreteras en humanos. En 2018, se compiló una base de datos de capacitación utilizando el sistema PaveVision3D para investigar tres tipos de pavimento de concreto asfáltico, pavimento de concreto ordinario conectado y pavimento de concreto reforzado continuo con diferentes condiciones y presiones en Oklahoma. Al final, se produjeron un total de 21 000 imágenes de la superficie de la carretera en 2D, mientras que se crearon unas 7000 imágenes para cada uno de los tres tipos de superficie de la carretera. Cada imagen 2D cubre una sección de pavimento de aproximadamente 4 metros de ancho y 4 metros de largo. Con la técnica de entrenamiento elegida, la red se entrenó con éxito sin problemas de sobreajuste. En el período óptimo, la precisión de predicción de la red en las imágenes de entrenamiento y prueba del reconocimiento del tipo de superficie de la carretera alcanza el 99,85 % y el 98,37 %, respectivamente.
Cabe señalar que la imagen del tablero del puente no se incluye como tipo de pavimento en PvmtTPNet. Por lo tanto, la investigación futura espera identificar puentes utilizando más conjuntos de datos y posiblemente métodos DL más nuevos. Finalmente, PvmtTPNet debe mejorarse para producir predicciones más precisas para imágenes en superficies de carreteras rígidas. El objetivo final es lograr una precisión cercana al 100 por ciento para la identificación automática y de alta velocidad de tipos de pavimento de asfalto y concreto, así como otros tipos de superficies, como cubiertas de puentes y compuestos.
Del contenido anterior, se puede ver que este documento adopta principalmente una estructura vertical e introduce el procesamiento de datos, el desarrollo de redes neuronales, la evaluación de los resultados del entrenamiento de redes y un mayor desarrollo del reconocimiento automático de tipos de superficies de carreteras en imágenes de redes neuronales convolucionales en el orden de desarrollo de la investigación.
Método de investigación : durante el proceso de investigación de este documento, el método para evaluar el rendimiento de la red neuronal convolucional PvmtTPNet en los tipos de superficie de carretera recopilados es muy detallado, y el efecto de recopilación de PvmtTPNet en la predicción de estos dos tipos de datos se verifica a partir de múltiples perspectivas
Figura 5 PvmtTPNet en la fórmula de evaluación de precisión de datos de predicción
Forma gráfica : La forma gráfica de este artículo es concisa y clara, sin utilizar tablas gráficas complicadas, pero muestra intuitivamente los resultados experimentales.
Resumen de la precisión de la clasificación y la pérdida de entropía cruzada
Matriz de confusión para evaluación web
Expresión de texto :
La Tabla 2 resume las cantidades detalladas de los tipos de pavimento reales y pronosticados recopilados por PvmtTPNet para estos dos conjuntos de datos y proporciona una matriz de confusión para cada sitio.
En la evaluación de la precisión de la imagen, la matriz de confusión se usa principalmente para comparar los resultados de la clasificación y los valores medidos reales, y la precisión de los resultados de la clasificación se puede mostrar en una matriz de confusión. La matriz de confusión se calcula comparando la posición y clase de cada píxel observado con la posición y clase correspondiente en la imagen clasificada. Cada columna de la matriz de confusión representa la información real medida, y el valor de cada columna es igual al número de píxeles realmente medidos correspondientes a la categoría correspondiente en la imagen de clasificación; cada fila de la matriz de confusión representa la información de clasificación del control remoto datos de detección, y cada fila El valor en es igual al número de píxeles de clasificación de detección remota en la categoría correspondiente de píxeles medidos.
Figura 6 El autor utiliza el contexto de la matriz de confusión en el artículo
P6
¿Cómo inspira el artículo su propia investigación?
Este artículo estudia principalmente el reconocimiento automático de tipos de imágenes de carreteras a través de redes neuronales convolucionales. Después de validar PvmtTPNet con suficientes muestras, se amplía para explorar que las imágenes de las cubiertas de los puentes no se incluyen como un tipo de superficie de carretera en PvmtTPNet, con la esperanza de utilizar más conjuntos de datos y posiblemente métodos actualizados de DL para identificar puentes. Y PvmtTPNet se ha mejorado para producir predicciones más precisas para imágenes en superficies de carreteras rígidas. Las aplicaciones se amplían para la identificación automática y de alta velocidad de tipos de pavimento de asfalto y hormigón y materiales compuestos.
Cuando hacemos investigación científica, debemos sacar inferencias de una instancia y extender nuestros propios resultados de investigación. No solo debemos limitarnos al marco profesional actual, sino explorar activamente más posibilidades.
Este artículo es solo para uso académico. Si hay alguna infracción, comuníquese para eliminar el artículo.
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~