机器学习的一些核心概念

一、 核心基础概念1. 什么是机器学习定义计算机从数据中自动学习规律而不是通过硬编码规则从而实现预测或决策的技术。核心目标让模型学会“举一反三”在未知数据上也能做出准确判断。2. 学习任务的两大分类有监督学习(Supervised Learning)特点数据自带标签Label。例子已知房价数据预测价格、已知图片类别分类猫/狗。任务分类Classification、回归Regression。回归是指我们试图从无限多个可能的数字中预测任何一个数字无监督学习(Unsupervised Learning)特点数据无标签让模型自己找结构。例子把用户自动分组、把新闻自动聚类。任务聚类Clustering、降维Dimensionality Reduction。聚类是将未标记的数据放入不同的簇中。而降维是将大数据压缩为小得多的数据集同时尽可能少地丢失信息。二、 数据集划分在开始任何项目前必须先把数据拆包这是保证模型有效的基础1. 训练集 (Training Set)用途用来学习特征和参数。2. 验证集 (Validation Set)用途用来调参、防止过拟合选择最优模型。3. 测试集 (Test Set)用途只使用一次用来评估模型最终的泛化能力。三、 模型评估与泛化能力1. 泛化能力 (Generalization)模型在新的、看不见的数据上表现的能力。准确 稳定这是机器学习追求的终极目标。2. 过拟合与欠拟合状态从 现象描述 原因 解决思路来看欠拟合训练集和测试集效果都差模型太简单没学到精髓增加模型复杂度加层数、延长训练时间释在深度学习里加层数、加神经元、加参数都叫增加模型复杂度。层数越多模型拟合能力越强能记住越精细、越复杂的模式。层数LeNet-5 只有几层卷积​ ResNet 有几十、上百层每多一层模型就多一步特征提取第一层看边缘、线条中间层看形状、纹理深层看整体结构、语义层数越多 → 能学到更高级、更抽象的特征复杂度和泛化能力的关系模型太简单学不会规律 → 欠拟合泛化差​模型适中学得刚好 → 泛化最好​模型太复杂把噪声、细节都记住了 → 过拟合泛化变差过拟合训练集效果极好测试集效果差模型太复杂死记训练数据增加数据量、正则化Dropout、降低模型复杂度正则化的意思训练时随机“关掉”一部分神经元让它输出为0是故意的让它不要太依赖某几个神经元。这就逼得模型不能只靠一个路径走天下而是要培养多条稳健的特征提取路径。四、 模型评价标准学的咋样以分类任务为例最基础的两个指标1. 查准率 (Precision /精确率)含义预测为正的样本里真的是正样本的比例。模型说它是苹果 → 有多少真的是苹果2.查全率 (Recall /召回率)含义所有真的正样本都被找出来的比例。所有真实苹果 → 模型找出了多少注通常还会结合 F1 值、ROC-AUC 等指标综合评估。解释1.F1 值是精确率和召回率的综合得分范围0 ~ 1​越接近 1 → 模型越准、越全​越接近 0 → 模型越垃圾那在什么时候看 F1类别不平衡比如苹果1000张玉米10张你既不想误判也不想漏判→ 看 F1 最公平2. ROC-AUC模型区分正负样本的能力有多强给模型一堆“苹果”和“不是苹果”的图模型会给每个图打个置信度分数0~1置信度 是 模型有多“确信”这张图是某一类ROC 曲线就是横轴假阳性把不是苹果认成苹果​ 纵轴真阳性把真苹果认出来AUC 就是这条曲线下的面积AUC 1完美区分​AUC 0.5跟瞎猜一样​AUC 越高模型区分能力越强什么时候看 AUC 你关心整体排序能力不关心具体阈值只想知道模型整体靠谱程度五.评估的方法怎么切分数据集的方法留出法切一次训一次测一次比如一共 1000 张果蔬图随机抽 80% 当训练集剩下 20% 当测试集​优点简单、快缺点切的不好结果就不准交叉验证切多份轮流测取平均最常见K 折交叉验证K-Fold比如 K51. 把数据平均切成 5 份 A、B、C、D、E2. 第1轮A当测试集BCDE训练3. 第2轮B当测试集ACDE训练4. 第3轮C当测试集ABDE训练5. 第4轮D当测试集ABCE训练6. 第5轮E当测试集ABCD训练优点结果稳定、靠谱不受单次划分影响缺点慢要训练 K 次模型六、 常用经典算法1. 线性模型代表线性回归、逻辑回归。用途最简单、最基础的基线模型。2. 决策树与集成学习代表决策树、随机森林、GBDT。用途工业界常用效果好且稳定。3. 支持向量机 (SVM)用途在小样本、高维数据如文本分类中表现出色。4. 聚类算法代表K-Means。用途无监督学习的代表自动数据分组。5. 神经网络地位深度学习的基石也是后续做 CV图像的核心。