资料内容：
1. 决策树算法基础
1.1 决策树概述
决策树是一种基本的分类和回归方法，它通过一系列的决策规则将数据集划分成更小
的子集。决策树结构包括：
• 根节点：包含所有数据
• 内部节点：根据特征进行划分
• 叶子节点：输出预测结果
1.2 信息增益与熵
熵：衡量系统的不确定性
import numpy as np
def entropy(y):
"""
计算标签集合的信息熵
参数：
y - 标签数组
返回：
entropy_value - 熵值
"""
# 获取每个类别的数量
class_counts = np.bincount(y)
# 计算每个类别的概率
probabilities = class_counts / len(y)
# 只考虑非零概率
probabilities = probabilities[probabilities > 0]
# 计算熵
entropy_value = -np.sum(probabilities * np.log2(probabilities))
return entropy_value
# 示例：计算二分类数据的熵
y_binary = np.array([0, 0, 0, 1, 1, 1])
print(f"二分类数据的熵: {entropy(y_binary):.4f}")
y_pure = np.array([0, 0, 0, 0])
print(f"纯数据的熵: {entropy(y_pure):.4f}")
y_uniform = np.array([0, 1, 2, 3])
print(f"均匀分布的熵: {entropy(y_uniform):.4f}")
