Seleção de atributos usando árvores de decisão não-binárias

Abstract

A aprendizagem automática, área integrada na inteligência artificial, possui como principal objetivo a criação e o desenvolvimento de métodos e algoritmos que possuam capacidades comummente associadas aos humanos, como a aquisição e a descoberta de novos factos ou conhecimentos. Quando comparado com humanos, as principais vantagens da implementação destes métodos estão normalmente associadas a otimizações temporais e monetárias. Este trabalho apresenta um estudo de seleção de atributos/características e capacidade de previsão/classificação aplicado à monitorização de condições de ferramentas de corte (desgaste de ferramentas) e a classificação de potenciais novos clientes para serviços bancários (telemarketing bancário), usando as árvores de decisão ID3 com a capacidade de lidar com variáveis contínuas – algoritmo adaptado neste trabalho. Os resultados obtidos demonstram que este algoritmo, em comparação com as árvores de decisão convencionais, para conjuntos de dados reduzidos, apresenta o melhor desempenho. A seleção de atributos realizada pelo algoritmo adaptado provou ser uma mais-valia, quer seja para posterior classificação com a aplicação do algoritmo desenvolvido ou com a aplicação de outros algoritmos de referência na área de aprendizagem automática. Os resultados obtidos dos conjuntos de dados do desgaste de ferramentas e do telemarketing bancário apresentam uma redução de 15 para 5 e de 19 para 15 atributos, respetivamente. Em ambos os estudos ficou demonstrada a eficácia desta abordagem bem como a aplicabilidade na seleção de atributos de forma simples e transparente, mesmo na presença de dados com ruído.

Machine learning, an area integrated in artificial intelligence, has as main objective the creation and development of methods and algorithms that have abilities commonly associated with humans, such as the acquisition and discovery of new facts or knowledge. When compared to humans, the main advantages of implementing these methods are usually associated with temporal and monetary optimizations. To this end, there are several models/algorithms, such as decision trees, neural networks and support vector machines, performing tasks that can also be different, such as classification and selection of attributes. In order to overcome inherent limitations to the ID3 decision trees, in relation to the manipulation of continuous variables and viability test, in this work an adaptation of the original algorithm was developed and implemented, using the same metrics, allowing, however, its application in data sets with continuous variables. This work presents a study of selection of attributes/characteristics and prediction/classification capacity applied to the monitoring of cutting tool conditions (tool wear) and the classification of potential new clients for banking services (banking telemarketing) using ID3 decision with the ability to handle continuous variables. The results show that this algorithm, in comparison to the conventional decision trees, namely the algorithms C4.5, CART and Random Forest, for reduced datasets, presents the best performance, with an improvement of 12.5% to 25%. For large data sets, despite having the lowest rating value, the difference is not at all relevant (-2%). The developed algorithm stands out because it allows a detailed analysis, contrary to C4.5 and CART that allow a general analysis. This is due to the way algorithms deal with and perform divisions when working with continuous variables. The selection of attributes performed by the adapted algorithm proved to be an asset, either for later classification with the application of the developed algorithm or with the application of other reference algorithms in the area of machine learning. The results obtained from tool wear data sets and bank telemarketing show a reduction from 15 to 5 and from 19 to 15 attributes, respectively. The applicability of decision trees has been proven both in the monitoring of multisensor processes and in the classification of new clients with continuous variables. This approach also revealed that decision trees can be applied for the purpose of selecting attributes in a simple and transparent way, even in the presence of noise data.