Como árvores de decisão aprendem a prever números

Recapitulação

O procedimento que já temos

No Capítulo 1, inventamos um procedimento capaz de encontrar repetidamente perguntas úteis e separar dados em regiões significativas. Essas regiões podiam então prever uma classe para uma linha nova que ainda não tínhamos visto.

A criação da árvore envolvia três passos simples:

1. Propor uma divisão.
2. Avaliar os dois grupos que ela cria.
3. Repetir dentro dos novos grupos.

Essa ideia é poderosa, mas nossa primeira árvore era pequena de propósito. Algoritmos reais baseados em árvores também precisam lidar com dados ausentes, diferentes tipos de características de entrada, conjuntos de dados muito grandes e o risco de crescer demais. Abordaremos esses problemas um de cada vez nos próximos capítulos.

Por enquanto, vamos mudar o tipo de previsão que a árvore faz: em vez de uma classe, queremos um número.

Uma nova previsão

Da classificação à regressão

No aprendizado de máquina supervisionado, duas tarefas comuns de previsão são classificação e regressão.

A classificação escolhe entre um conjunto de rótulos. Prever se uma semente terá dificuldade ou crescerá bem a partir da água e da luz solar que recebe é uma classificação: a resposta é uma de duas classes nomeadas.

Prever a temperatura média de amanhã é diferente. A resposta pode ser 18,2 °C, 18,3 °C ou outro número entre esses valores. Isso é regressão.

Uma forma compacta de lembrar a diferença é:

• A classificação atribui um rótulo a uma linha.
• A regressão atribui um número a uma linha.

Na lição anterior, usamos a impureza de Gini para avaliar uma divisão. Gini foi feita para classes: mede quanto os rótulos de classe estão misturados dentro de um grupo. Quando nosso alvo é um número contínuo, não há classes para Gini contar.

A boa notícia é que não precisamos inventar a árvore novamente. Podemos trocar a forma de avaliar uma divisão e manter o mesmo loop central: propor, avaliar, repetir.

A nova pontuação

Como avaliar uma divisão de regressão?

Em um pequeno exemplo de classificação, muitas vezes conseguimos enxergar uma separação útil. Coloque duas características em dois eixos, desenhe uma classe como círculos e outra como quadrados, e uma linha divisória clara pode aparecer.

Para regressão, vamos usar um exemplo simples também. Imagine que queremos prever a produtividade de uma plantação a partir da quantidade de fertilizante usada em um hectare.

• Com pouco fertilizante, faltam nutrientes às plantas, então a produtividade é baixa.
• Com uma quantidade moderada, os nutrientes se aproximam do nível adequado, então a produtividade é alta.
• Com fertilizante demais, raízes danificadas ou desequilíbrio de nutrientes podem reduzir a produtividade novamente.

Isso produz um padrão em forma de colina, embora os dois lados não precisem ser perfeitamente simétricos.

Alice e Bob estão tentando construir um modelo com esses dados. Alice se lembra do primeiro artigo e começa a explorar limiares. Bob toma um atalho: usa a produtividade média como todas as previsões.

A previsão de Bob é de aproximadamente 4,07 toneladas por hectare. Ela não é absurda. Fica perto do centro das produtividades observadas, então oferece uma referência útil: antes de acrescentar uma divisão, Alice consegue superar uma única previsão para todo mundo?

Para responder, Bob mede a distância de cada produtividade observada até 4,07. Algumas distâncias são positivas e outras negativas; somá-las diretamente faria com que se anulassem. Ele eleva cada distância ao quadrado e depois soma os resultados.

Como Bob prevê a média, essa distância quadrática média também é a variância dos valores-alvo. Uma variância menor significa que os valores ficam mais próximos da média, portanto a média é uma previsão melhor para esse grupo.

Alice percebe algo interessante. Se posicionar um limiar em 50 kg/ha, no ponto médio entre 40 e 60, as linhas de cada lado podem usar sua própria média. Juntos, os dois grupos têm erro quadrático total de 5,515, muito menor que os 15,64 de Bob. Isso oferece a nova regra de avaliação:

Teste todos os limiares de ponto médio e mantenha aquele cujos dois grupos deixam o menor erro quadrático total.

Para uma divisão candidata, o cálculo é:

A primeira soma mede os erros em torno da média do grupo esquerdo. A segunda faz o mesmo para o grupo direito. Nós as somamos porque os dois grupos fazem parte do modelo. De forma equivalente, podemos multiplicar a variância de cada grupo por seu número de linhas e somar os dois resultados.

Antes de executar o experimento, preveja onde aparecerá o ponto mais baixo do gráfico de erro da divisão. O limiar 50 já é melhor do que nenhuma divisão, mas será o melhor entre as oito opções?

Ao executar a varredura completa, o melhor primeiro limiar é 30 kg/ha. O grupo esquerdo prevê 1,95 tonelada/ha, o direito prevê aproximadamente 4,67 toneladas/ha, e o erro quadrático combinado é de aproximadamente 4,119.

Essa é a mesma busca que usamos na classificação. Ainda testamos os pontos médios um a um e guardamos o melhor resultado. Só a pontuação mudou: em vez de procurar menos mistura de classes, procuramos menos erro quadrático de previsão.

O valor da folha

Mas qual é a previsão?

Agora sabemos escolher uma divisão de regressão, mas ainda precisamos de uma previsão para cada grupo resultante.

O ajuste é pequeno: calcule a média dentro de cada folha.

Se pararmos o modelo de Alice após a primeira divisão, quantidades de fertilizante menores ou iguais a 30 kg/ha recebem a média esquerda, 1,95 tonelada/ha. Quantidades maiores recebem a média direita, cerca de 4,67 toneladas/ha. Essas estimativas são melhores para os dados de treino do que o único valor 4,07 de Bob, pois a divisão reduziu o erro quadrático total.

A média não é uma escolha arbitrária. Entre todas as previsões de um único número para um grupo, a média é a que produz o menor erro quadrático. Como escolhemos o erro quadrático como pontuação, a média e a pontuação pertencem uma à outra.

Tamanho da árvore

Mas quando a árvore deve parar?

Em nosso primeiro exemplo de classificação, paramos quando cada folha ficou pura: todas as linhas de uma folha tinham a mesma classe.

A regressão não tem classes para tornar puras. Com um conjunto de dados finito, a árvore não crescerá literalmente para sempre, mas pode continuar dividindo até quase toda folha conter uma única linha de treino. Suas previsões então copiam os dados de treino de perto e podem funcionar mal em dados novos.

Por isso, damos uma regra de parada à árvore. Algumas escolhas comuns são:

1. Profundidade máxima: pare depois de um número fixo de perguntas aninhadas.
2. Mínimo de linhas por folha: rejeite divisões que criem grupos pequenos demais.
3. Variância suficientemente pequena: pare quando os valores-alvo de um grupo já estiverem próximos.
4. Melhoria mínima: divida somente quando o erro cair por uma quantidade relevante.

Todas essas regras fazem a mesma troca. Uma árvore menor oferece previsões mais aproximadas e estáveis. Uma árvore maior acompanha os dados de treino mais de perto. No próximo experimento, mude uma regra de parada por vez e preveja quantas folhas de previsão a árvore criará.

Além de uma coluna

Mais características, os mesmos dois loops

Nosso exemplo de fertilizante usou uma característica para que pudéssemos enxergar a nova pontuação de regressão sem mudar mais nada. Uma tabela real normalmente dá à árvore mais de uma coluna possível para perguntar.

Volte à estufa, agora com doze canteiros. Para cada um, sabemos a temperatura, a água fornecida por semana, a luz solar por dia e a produtividade que queremos prever. O alvo continua sendo um número. Só cresceu o número de perguntas possíveis.

A busca precisa de dois loops:

1. Para cada característica, escolha uma coluna.
2. Para cada ponto médio entre valores distintos dessa coluna, meça o erro da divisão.

A árvore guarda a candidata com menor erro nos dois loops. Depois, a recursão envia cada novo grupo pela mesma busca outra vez.

A temperatura tem 11 intervalos distintos, a água tem 9 e a luz solar tem 7; assim, a raiz compara 27 candidatas no total. Valores repetidos não criam um limiar extra porque não podem ser separados por um ponto médio.

Antes de selecionar uma característica abaixo, faça uma previsão: qual coluna pode criar a primeira divisão com menor erro? Os pontos mantêm o mesmo eixo vertical do alvo enquanto você troca de característica. Só a característica horizontal e seu limiar mudam.

Na raiz, a melhor pergunta de temperatura deixa erro de divisão de aproximadamente 5,129. A melhor pergunta sobre água deixa 19,542 e a melhor sobre luz solar, 25,302. Portanto, a temperatura vence a primeira busca local com o limiar 19 °C.

O processo não deixa de usar as outras colunas. Dentro do grupo mais quente, água em 2,5 L por semana se torna a próxima vencedora local. Dentro do grupo quente e bem irrigado, luz solar em 4,5 horas por dia vence a terceira busca. Com uma melhoria mínima de 0,25, a pequena árvore final usa as três características e deixa quatro previsões médias.

Essa é a mesma generalização que fizemos para classificação. Mais colunas criam mais candidatas, não um novo algoritmo de treino. A classificação mantém a divisão com a maior redução na mistura de classes. A regressão mantém a divisão com o menor erro quadrático restante. Os dois loops e a recursão permanecem.