Sistema de Visão Artificial em Cenários Naturais: segmentação e deteção de limões

Abstract

A presente tese foca-se na integração e avaliação de metodologias distintas com o objetivo de fazer a deteção de limões nas árvores em cenários naturais, ou seja, de cenários com iluminação não controlada. A proposta apresentada dista das restantes abordagens, discutida na revisão bibliográfica, por ser endereçada a um fruto até agora não avaliado e por apostar num sistema de visão artificial simples, passível de ser aplicado em contexto real de trabalho. De acordo com o estado da arte, os métodos de aprendizagem supervisionada são os mais eficazes na segmentação e deteção dos frutos nas condições precedentes. Com base neste pressuposto foi criada uma base de dados de referência, composta por cinco classes de elementos, para treino e avaliação dos classificadores SVM na segmentação das imagens. Adicionalmente, um outro conjunto de imagens é usado para avaliar a deteção dos frutos através de classificadores baseados nos métodos de Haar, HOG e LBP. A segmentação inicial das imagens é realizada a partir de uma árvore de decisão, em que é avaliada a resposta do modelo a um classificador SVM denominado global, treinado segundo a estratégia um contra todos, e a outros dois modelos compostos por vários classificadores SVM, treinados com a estratégia um contra um. Em qualquer um destes casos, o objetivo é separar os pixels dos limões da restante imagem, pelo que, no final, a avaliação do desempenho dos modelos de classificação é realizada considerando apenas duas classes de elementos (C=2), a classe dos limões e a classe do background. Devido à elevada quantidade de combinações possíveis de características de cor e parametrizações do SVM é proposto um método que convirja para as soluções de classificação ótimas. Além disso, este método é responsável pela determinação das características, aparentemente mais significativas para a correta segmentação dos frutos, ao longo dos vários estágios de treino em que se incrementa o número de características a analisar. Com as imagens segmentadas são avaliadas as respostas de diversos classificadores na deteção dos frutos nas árvores, onde se conclui que os métodos de Haar e HOG permitem melhores resultados do que os classificadores LBP, contrariamente ao que seria esperado, de acordo com a bibliografia revista. A metodologia de segmentação dos frutos proposta, para as 133 imagens de teste, apresenta uma taxa média de TP = 93.14 % para uma taxa de FP = 2.34 %, através da aplicação do classificador SVM, designado de global. Este processo de segmentação tem um tempo de execução, em média, de 145 ms. Relativamente à deteção dos limões, a configuração que resulta na maior deteção dos frutos visíveis nas 44 imagens apresenta como desempenho uma Precision = 80.19 % e Recall = 92.39 %, atingidos por um classificador de Haar executado, em média com uma duração de 36 ms por imagem; porém, se para a aplicação final for mais relevante a menor ocorrência de falsos-alarmes, o melhor modelo de classificação é obtido com a metodologia HOG, executada em 50 ms, onde se obtém uma Precision = 85.37 % e Recall = 76.09 %. Os resultados alcançados por um simples sistema de visão artificial, apenas com aquisição de imagens a cores no espectro visível, estão ao nível dos melhores resultados alcançados e identificados na literatura revista. Excetuam-se apenas os resultados conseguidos pela introdução de modelos de Deep Learning. Apesar dos resultados alcançados, e em função dos modelos de cor usados para atenuar os impactos das variações das condições de luz, é admissível que a metodologia proposta possa falhar em condições de iluminação deficiente. Nestes casos é recomendável a utilização de iluminação artificial, que poderá até aumentar o contraste entre os frutos e os restantes elementos captados nas imagens. Além disso é benéfica a introdução de metodologias que permitam a correta de deteção de frutos que se encontrem parcialmente sobrepostos.

This thesis is focused on the integration and evaluation of several methodologies aiming to detect lemons on trees in natural outdoor scenarios, without controlled light conditions. Current approach is different from the previous ones identified on literature, because it addresses a fruit not evaluated before using a simple vision system, which only acquire RGB images, suitable for real tasks conditions. Based on state of the art review, the supervised learning methods are more effective than the unsupervised ones to segment and detect fruits in uncontrolled light scenarios. Considering such previous findings, it is created a reference database of lemons fruits scenarios to train, validate and test SVM classifiers and also to evaluate the performance of Haar, HOG and LBP classifiers. Segmentation of citrus fruits is performed by a decision tree and three different schemes of SVM classifiers: through a global classifier trained by the strategy of one vs all; and through two sets of SVM classifiers, trained differently, by the strategy one vs one. The final performance evaluation is a two class problem, because only interests to distinguish between the remaining scenario and lemons in each image. To avoid constraints from light changes on RGB color space, all simulations are performed using color components from YCbCr, HSV and chromaticity color spaces. Additionally, they were created two color indexes derived from chromaticity color space. Evaluating all combinations of color components plus SVM parameters by brute-force methods, it is an inefficient process. So, it is proposed a method based on hill-climbing algorithm that converge to the optimal configuration on SVM parametrization. After each stage of training and aiming to increase the number of features evaluated by SVM, it is proposed a method that filter the best set of features for further evaluations based on AUC (Area Under the Curve) results. Since the ground truth database is not extensive as desired and its population contains some noise, it is proposed another method to split the data to train, validate and test the classifiers, instead of traditional k-fold. According to achieved results, this proposal fits well on the presented case. Using the SVM-based segmented images, they are evaluated the Haar, HOG and LBP classifiers to perform the fruits detection. In opposition to previous findings, Haar and HOG classifiers performs better than LBP. For the 133 images used to test segmentation methods, the best response is achieved by the global classifier related to true-positive rate of 93.14 % and a false-positive rate of 2.34 %. For such configuration, the segmentation is performed by 145 ms on average. About detection, the best Recall of 92.39 % corresponds to a Precision of 80.19 % achieved by Haar classifiers, executed in 36 ms. If the precision is relevant for a specific application, the best result corresponds to the use of HOG classifiers that response with a Precision of 85.37 % to a Recall of 76.09 %, executed on 47 ms on average per image. Current results achieved by a simple vision system and by acquiring only RGB images are similar to the state of the art results, except when compared to Deep Learning methods whose perform better but also more computationally demanding to train. Notwithstanding promising results, the proposed methodology tends to fail when exposed to low light scenarios. In such conditions it is highly advisable to use controlled external light sources, not only to compensate the low light conditions, but also to enhance the contrast between fruits and the remaining scenario. Additionally, it may be useful the introduction of new methods in order to detect correctly individual fruits grouped.