Happy月月鸟的博客

Thinking will not overcome fear but action will.

BERT和RoBERTa和GPT模型

深度学习


Transformer 模型

深度学习


图神经网络(Graph Neural Networks, GNN)

深度学习

图神经网络(Graph Neural Networks, GNN)是一类用于处理图结构数据的神经网络模型。与传统的神经网络不同,GNN 特别适合处理节点、边和图的拓扑结构,并在很多涉及图的应用场景中表现出色,比如社交网络分析、化学分子结构预测、推荐系统等。 1. 什么是图? 在讨论 GNN 之前,首先了解图的基本概念。图 ( G = (V, E) ) 是由节点(顶点)和边组成的结构,其中...

生成对抗网络(GAN, Generative Adversarial Network)

深度学习

生成对抗网络(GAN, Generative Adversarial Network)是由 Ian Goodfellow 等人在 2014 年提出的,是一种能够学习生成与真实数据相似的分布的模型。GAN 的核心思想是通过生成器和判别器之间的对抗过程来提升生成数据的质量。GAN 的架构和训练过程可以被视为一个极小极大优化问题。 1. GAN 的组成部分 GAN 主要由两个神经网络组成: ...

递归神经网络RNN、LSTM、GRU模型

深度学习

1. 递归神经网络(Recurrent Neural Network, RNN) 递归神经网络(Recurrent Neural Network, RNN)是一类专门用于处理序列数据的神经网络,它通过引入循环连接,使得模型能够记住以前的输入信息,并将其应用于当前时刻的预测。RNN 能够捕捉输入数据的时间依赖性,适合处理时间序列、自然语言处理等涉及序列关系的任务。 1.1. RNN的基本概...

卷积神经网络(CNN)

深度学习

卷积神经网络(Convolutional Neural Networks, CNNs) 卷积神经网络(CNN)是深度学习中的一种专门用于处理数据具有网格拓扑结构的神经网络,尤其在图像和视频处理领域具有显著效果。CNN能够自动地从数据中提取重要的特征,并保留空间信息,同时减少计算量,使其非常适合处理图像等数据。 1. CNN的组成部分 1.1. 卷积层 卷积层是卷积神经网络(CNN...

机器学习特征工程

机器学习

特征工程是机器学习中的关键步骤,它直接影响模型的性能和预测能力。以下是特征工程的各个步骤和技术的详细解析: 1. 特征工程的重要性 特征工程的重要性体现在以下几个方面: 提升模型性能: 高质量的特征可以使模型更好地学习数据中的模式,提高预测准确性。例如,通过对时间序列数据提取季节性特征,可以使模型更好地捕捉时间依赖关系。 减少模型复杂度: 通过创造新的、更简洁的特征,可以减少数...

评估机器学习模型的性能指标

机器学习

1. 分类模型 分类模型的性能指标用于评估模型在将数据分类为不同类别时的表现。以下是主要的分类性能指标的详细解析: 1.1. 准确率(Accuracy) 定义: 准确率是所有正确预测的样本占总样本数的比例。 计算公式: [ \text{Accuracy} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{F...

机器学习模型调优

机器学习

概念 1. 超参数调优 超参数是模型在训练之前需要设置的参数。调整这些参数可以极大影响模型的性能,但超参数不能通过训练数据自动学习。 网格搜索(Grid Search): 网格搜索是遍历所有可能的超参数组合的一种方法。对于每个超参数组合,模型都要进行训练和验证,从而找到最佳参数。 优点:能确保找到全局最优解。 缺点:计算复杂度高,当超参数较多或取值范围较大时,效率较低。 ...

回归项目中的损失函数

机器学习

损失函数(Loss Function),也称为代价函数(Cost Function) 或目标函数(Objective Function),是机器学习和优化中的一个核心概念。它用于量化模型预测值与实际值之间的差距或错误。具体来说,损失函数通过将模型的预测输出与实际标签进行比较,计算出一个值,该值表示模型在当前预测上的“损失”或“错误”。在回归任务中,损失函数用于衡量模型预测值与真实值之间的差异...