¿Qué relación tiene la inteligencia artificial con las manzanas?

Para satisfacer las necesidades alimentarias de una población mundial creciente, será necesario optimizar la producción agrícola, incrementando la eficiencia, calidad y sostenibilidad de las plantaciones. Si queremos alcanzar estos objetivos en fruticultura, deberemos ser capaces de conocer la cantidad de frutas de cada árbol para predecir la cosecha y para saber cuáles tienen menor producción.

Contar el número de manzanas producidas por cada árbol en una plantación agrícola puede ser una tarea inviable si se hace de forma manual. Como recoge The Conversation, los últimos avances en sensores y en inteligencia artificial nos dan la posibilidad de escanear las plantaciones frutícolas y detectar los frutos de forma automatizada.

Los sensores

A lo largo del tiempo, se han utilizado distintos sensores 2D y 3D. Los más populares son las cámaras fotográficas digitales. Estas permiten adquirir imágenes de cada árbol y detectar los frutos mediante el uso de algoritmos de visión artificial basados en color, forma o textura.

La principal desventaja de estos dispositivos es su sensibilidad a las condiciones de iluminación: sombras, reflejos o imágenes a contraluz.

Otros sensores 2D, como cámaras multiespectrales, hiperespectrales y térmicas, permiten explorar otras bandas del espectro electromagnético, como la infrarroja o la ultravioleta. Su uso es menor debido a su elevado coste económico.

Con la evolución de la fotónica se han introducido en este campo los sensores 3D. Con ellos se puede escanear la plantación y obtener modelos tridimensionales de cada árbol, permitiendo la detección y la posterior localización de los frutos.

Los sensores 3D más utilizados son las cámaras RGB-D, que permiten generar modelos 3D con información a color. Según su principio de funcionamiento se pueden clasificar como estereoscópicas, de luz estructurada o de tiempo de vuelo (en inglés ToF, time-of-flight).

Otra técnica similar a la estereoscopía es la Structure-from-Motion, capaz de modelar objetos en 3D a partir de un conjunto de imágenes 2D adquiridas desde diferentes puntos de vista.

Recientemente, también se ha estudiado el uso de sensores LiDAR basados en el principio de tiempo de vuelo. Combinados con un sistema de posición GNSS (como los GPS), permiten el escaneo 3D de las plantaciones.

Además, estos sensores miden la cantidad de luz infrarroja reflejada por los objetos escaneados. Esta capacidad radiométrica ha sido utilizada para poder detectar manzanas, ya que estas presentan valores de reflectividad superiores a los elementos de su entorno (hojas, ramas y troncos).

El papel de los algoritmos

Tradicionalmente, los algoritmos de visión artificial se han basado en características como el color, textura, forma o intensidad. Así permiten diferenciar los frutos respecto el entorno en imágenes 2D o en nubes de puntos 3D.

Recientemente, los avances en inteligencia artificial han supuesto un progreso notable en el campo de la visión por ordenador y, en consecuencia, en la detección remota de frutos.

Con la introducción de algoritmos de aprendizaje automático (en inglés machine learning), se han desarrollado sistemas capaces de detectar más del 90 % de los frutos.

Los algoritmos de aprendizaje automático utilizados para la detección de frutos se basan en redes neuronales artificiales de detección de objetos y de segmentación.

Como se observa en la figura que sigue a estos párrafos, las redes neuronales de detección de objetos nos indican en qué regiones de una imagen se localizan los frutos, mientras que las de segmentación realizan esta localización píxel a píxel.

En una región donde hay una manzana parcialmente oculta por una hoja, la red neuronal de segmentación nos indicará qué píxeles son manzana y cuáles no.

En el siguiente enlace se observan los resultados de un sistema de detección basado en la combinación de redes neuronales de segmentación y modelos 3D generados con técnicas de Structure-from-Motion.