Happy月月鸟的博客

分类项目中的损失函数

机器学习

损失函数（Loss Function），也称为代价函数（Cost Function）或目标函数（Objective Function），是机器学习和优化中的一个核心概念。它用于量化模型预测值与实际值之间的差距或错误。具体来说，损失函数通过将模型的预测输出与实际标签进行比较，计算出一个值，该值表示模型在当前预测上的“损失”或“错误”。在分类问题中，损失函数（Loss Function）用于衡...

Posted by 月月鸟 on January 1, 2022

机器学习课程笔记（Machine Learning）

随机森林（Random Forest）

本文介绍随机森林（Random Forest）算法在机器学习中的基本原理、特点、注意事项，以及如何从零实现随机森林模型的完整步骤。 1. 随机森林算法的基本原理随机森林是一种集成学习算法，通过构建多个决策树并结合其预测结果来提高模型的准确性和稳健性。它适用于分类和回归任务。 1.1 集成学习集成学习通过组合多个基模型的预测来提高整体模型性能。随机森林是一种基于装袋（Bagging...

Posted by 月月鸟 on December 22, 2021

机器学习课程笔记（Machine Learning）

决策树（Decision Tree）

本文介绍决策树（Decision Tree）算法在机器学习中的基本原理、特点、注意事项，以及如何从零实现决策树模型的完整步骤。 1. 决策树算法的基本原理决策树是一种树状结构的监督学习算法，用于分类和回归任务。它通过学习决策规则，从数据中建立模型，以对目标变量进行预测。 1.1 树结构决策树由节点和边构成，其中：根节点：没有输入边的节点。内部节点：包含一个测试条件...

Posted by 月月鸟 on December 20, 2021

机器学习课程笔记（Machine Learning）

支持向量机（Support Vector Machine, SVM）

本文介绍支持向量机（SVM）算法在机器学习中的基本原理、特点、注意事项，以及实现 SVM 模型的完整步骤。 1. 支持向量机的基本原理支持向量机（SVM）是一种用于分类和回归分析的监督学习模型。它通过在特征空间中找到一个最优超平面，将不同类别的样本分开。 1.1 最大间隔分类 SVM 的目标是找到一个可以最大化类别间距的超平面。对于线性可分的数据，SVM 试图找到最远离数据点的决策...

Posted by 月月鸟 on December 18, 2021

机器学习课程笔记（Machine Learning）

朴素贝叶斯（Naive Bayes）

本文介绍朴素贝叶斯（Naive Bayes）算法在机器学习中的基本原理、特点、注意事项，以及如何从零实现朴素贝叶斯模型的完整步骤。 1. 朴素贝叶斯算法的基本原理朴素贝叶斯算法是一种基于贝叶斯定理的简单而强大的概率分类算法。它假设特征之间是相互独立的，因此称为“朴素”。 1.1 贝叶斯定理贝叶斯定理用于计算在已知条件下事件发生的概率，其公式为： \[P(A|B) = \frac...

Posted by 月月鸟 on December 16, 2021

机器学习课程笔记（Machine Learning）

K近邻算法（K-Nearest Neighbors, KNN）

本文介绍 K 近邻（KNN）算法在机器学习中的基本原理、特点、注意事项，以及实现 KNN 模型的完整步骤。 1. K 近邻算法的基本原理 K 近邻算法（KNN）的核心思想是通过“邻居”来进行决策。它假设相似的输入具有相似的输出，因此通过计算输入数据与训练数据之间的距离，找到最近的 ( K ) 个邻居，然后根据这些邻居的类别来进行预测。 1.1 相似性原则 KNN 基于相似性原则进行预...

Posted by 月月鸟 on December 14, 2021

机器学习课程笔记（Machine Learning）

逻辑回归（Logistic Regression）

介绍介绍机器学习中逻辑回归（Logistic Regression）的基本原理、特点、注意事项，以及实现逻辑回归模型的完整步骤。 1. 逻辑回归的基本原理 1.1 线性模型逻辑回归首先使用线性模型计算输入变量的加权和： \[z = w_1x_1 + w_2x_2 + \cdots + w_nx_n + b = w^Tx+b\] 其中，(x_i) 是特征，(w_i) 是特征对应的权...

Posted by 月月鸟 on December 12, 2021

机器学习课程笔记（Machine Learning）

机器学习简介

1. 机器学习简介 1.1 定义机器学习是一种人工智能（AI）技术，它使计算机能够通过数据学习和改进，从而在没有明确编程的情况下做出预测或决策。简单来说，就是通过让计算机从大量数据中识别模式、提取特征并进行训练，使它能够在面对新数据时做出有用的预测或分类。简单来说，机器学习的定义可以概括为：“通过让计算机系统在大量数据中学习，从中提取有用的信息，并利用这些信息做出预测、分类或决策的过...

Posted by 月月鸟 on December 10, 2021

算法与数据结构 (Algorithms and Data Structures)

动态规划算法(16)

动态规划动态规划（Dynamic Programming，简称DP）是一种解决最优化问题的高效算法设计策略，特别适用于存在重叠子问题的情况。它通过分解问题、保存子问题的解来避免重复计算，从而显著提高了计算效率。本文将带你深入了解动态规划的基本原理、解题步骤和如何在实际应用中灵活运用。 1. 什么是动态规划？动态规划与贪心算法的核心区别在于：动态规划通过状态转移逐步构建最优解，而贪心...

Posted by 月月鸟 on October 20, 2021

算法与数据结构 (Algorithms and Data Structures)

回溯算法(15)

13.1 回溯算法回溯算法（Backtracking Algorithm）是一种通过穷举所有可能的解决方案来解决问题的方法。其核心思想是从一个初始状态出发，逐步尝试所有可能的选择，并在遇到符合条件的解时记录下来。如果尝试了所有可能的选择仍无法找到解，算法将停止。回溯算法通常采用“深度优先搜索”来遍历解空间。在“二叉树”章节中，我们提到前序、中序和后序遍历都属于深度优先搜索。接下来，我...

Posted by 月月鸟 on October 17, 2021

Happy月月鸟的博客

分类项目中的损失函数

机器学习

机器学习课程笔记（Machine Learning）

随机森林（Random Forest）

机器学习课程笔记（Machine Learning）

决策树（Decision Tree）

机器学习课程笔记（Machine Learning）

支持向量机（Support Vector Machine, SVM）

机器学习课程笔记（Machine Learning）

朴素贝叶斯（Naive Bayes）

机器学习课程笔记（Machine Learning）

K近邻算法（K-Nearest Neighbors, KNN）

机器学习课程笔记（Machine Learning）

逻辑回归（Logistic Regression）

机器学习课程笔记（Machine Learning）

机器学习简介

算法与数据结构 (Algorithms and Data Structures)

动态规划算法(16)

算法与数据结构 (Algorithms and Data Structures)

回溯算法(15)

FEATURED TAGS

ABOUT ME

FRIENDS