机器学习基础概念
监督学习(Supervised Learning)指通过标注数据训练模型,使其能够预测未知数据的输出。常见算法包括线性回归、逻辑回归、决策树等。标注数据意味着每个训练样本都有对应的正确答案。
无监督学习(Unsupervised Learning)处理没有标注数据的情况,目标是发现数据中的隐藏模式或结构。聚类分析和主成分分析是典型方法。聚类将相似数据分组,主成分分析减少数据维度。
强化学习(Reinforcement Learning)通过试错机制学习,智能体根据环境反馈调整行为策略。Q学习和深度Q网络是代表性算法。这种方法在游戏AI和机器人控制中效果显著。
神经网络核心术语
神经元(Neuron)是神经网络的基本单元,模拟生物神经元结构,接收输入并产生输出。每个神经元包含权重和激活函数,权重决定输入重要性,激活函数引入非线性。
激活函数(Activation Function)如ReLU和Sigmoid,决定神经元是否被激活。ReLU计算简单且缓解梯度消失,Sigmoid将输出压缩到0-1范围,适合概率预测。
反向传播(Backpropagation)是训练神经网络的关键算法,通过计算损失函数梯度来调整权重。该过程从输出层向输入层逐层传播误差信号,使用链式法则高效计算梯度。
深度学习框架要素
https://www.zhihu.com/zvideo/1993531581781006072/
https://www.zhihu.com/zvideo/1993531560008365669/
https://www.zhihu.com/zvideo/1993531538382528568/
https://www.zhihu.com/zvideo/1993531516601524740/
https://www.zhihu.com/zvideo/1993531494614996036/
https://www.zhihu.com/zvideo/1993531472825570380/
https://www.zhihu.com/zvideo/1993531451157803945/
https://www.zhihu.com/zvideo/1993531429343212334/
https://www.zhihu.com/zvideo/1993531407834841677/
https://www.zhihu.com/zvideo/1993531386120905285/
https://www.zhihu.com/zvideo/1993531364356690271/
https://www.zhihu.com/zvideo/1993531342240109847/
https://www.zhihu.com/zvideo/1993531320173876319/
https://www.zhihu.com/zvideo/1993531296987779354/
https://www.zhihu.com/zvideo/1993531274783110583/
https://www.zhihu.com/zvideo/1993531252872065374/
https://www.zhihu.com/zvideo/1993531230843597139/
https://www.zhihu.com/zvideo/1993531208949317637/
https://www.zhihu.com/zvideo/1993531186912436352/
https://www.zhihu.com/zvideo/1993531164196115145/
卷积神经网络(CNN)专为图像处理设计,通过卷积核提取局部特征。池化层减少参数数量,全连接层整合特征进行分类。典型结构包括LeNet和ResNet。
循环神经网络(RNN)处理序列数据,具有时间维度上的记忆能力。LSTM和GRU是其改进版本,通过门控机制解决长程依赖问题。适用于文本生成和时间序列预测。
注意力机制(Attention Mechanism)使模型能够关注输入的关键部分,提升处理长序列的效果。Transformer架构基于自注意力机制,在机器翻译等任务中表现优异。
模型评估指标
准确率(Accuracy)衡量分类正确的样本比例,适用于类别平衡的数据集。在不平衡数据中可能产生误导,需要结合其他指标综合评估。
精确率(Precision)和召回率(Recall)分别关注预测为正类的正确比例和实际正类的检出比例。F1分数是两者的调和平均,适合不平衡分类问题评估。
均方误差(MSE)是回归任务常用指标,计算预测值与真实值差值的平方平均。值越小表示模型预测越准确,但对异常值敏感。
数据处理关键技术
特征工程(Feature Engineering)通过创建新特征或转换现有特征提升模型性能。包括数值标准化、类别编码、特征交叉等方法。好的特征能显著降低模型复杂度。
数据增强(Data Augmentation)通过对训练数据进行变换来扩充数据集,常见于图像领域。旋转、裁剪、颜色调整等操作可以提高模型泛化能力,减少过拟合风险。
批归一化(Batch Normalization)对每层输入进行标准化处理,加速网络训练并提高稳定性。通过减少内部协变量偏移,允许使用更高学习率。