查找，指在一些数据元素中，通过一定的方法找出与给定关键字相同的数据元素的过程，本文主要介绍两种基本的查找方法：顺序查找算法和二分查找算法。

决策树学习算法，通常是递归地根据某一准则（信息增益或基尼系数）选择最优切分点/特征，并根据该特征对训练数据集进行分割，使得对各个子数据集有一个最好的分类的过程。

像这种先将整个问题拆分成多个相互独立且数据量更少的小问题，通过逐一解决这些简单的小问题，最终找到解决整个问题的方案，就是分治算法。

编程语言中，我们习惯将函数（方法）调用自身的过程称为递归，调用自身的函数称为递归函数，用递归方式解决问题的算法称为递归算法。

上一篇文章《算法是什么》中提到，解决同一个问题，可能会有多种算法，但程序的好坏，一般用复杂度来衡量。本文介绍算法中的两个基本衡量标准：时间复杂度、空间复杂度。

前面文章中，详细介绍了用批量梯度下降法（BGD），求解线性回归问题的过程。本文再另外介绍两种：随机梯度下降和小批量梯度下降，并使用图形的方式，对三种方法做一个横向对比。

要想成为一名合格的程序员，除了至少掌握一门编程语言，更重要的是“解决问题”的能力。任何一门编程语言的学习，本质就是学习它规定的语法，整个过程只能死记硬背，几乎没有捷径。但是，提高“解决问题”的能力是有捷径可寻的，那就是掌握一些算法。

前面文章中，我们用数学推导的方式，求解了线性回归问题，但直接求解计算量很大，特别是矩阵求逆的过程会很麻烦。在机器学习中，人们更倾向于用一种近似的方式，去拟合线性规律，那就是梯度下降法。

前面文章中，介绍了推导公式和手写代码的形式，来求解多元线性回归问题。但在真实项目中，一般都会使用调库的方式来完成任务。以下依然以波士顿房价预测需求为例，来介绍使用sklearn求解多元线性回归问题的方法。

K-means 是最常用的基于欧式距离的机器学习聚类算法，其认为两个目标的距离越近，相似度越大。K-means是无监督学习的基础算法。

深度学习中，RNN网络在理解上有一些难度，本文以最简单的LSTM模型，实现MNIST数字识别，来帮助大家理解RNN的模型参数。因为基础的RNN模型在案例中表现不佳，故使用改进版的LSTM模型。

对股民来说，上证指数的涨跌关系着整个市场情绪，在大盘上涨的大前提下操作个股，风险才可控，所以对上证指数的涨跌进行预测，是很有意义的。本文介绍用Pytorch实现CNN网络，来预测上证指数完整过程。

Pytorch深度学习实现手势数字识别项目，因为其数据规整，场景简单，是一个经典的CNN模型入门项目，本文从代码角度，将项目分为四步步骤：数据加载、模型设计、模型训练、模型测试，以下是代码具体代码实现。

前面文章中，介绍了一元线性回归的求解，其关键点在于系数w和截距b的求解。但如果是多元特征，需要求解的变量就是多维的，之前的方法就会异常复杂。所以对于多元特征问题，求解的思路是将向量聚合，用矩阵的方式求解。

线性回归是利用数理统计中的回归分析，来确定两种或两种以上属性间相互依赖的定量关系的一种统计分析方法。本文以学习时长和成绩之间的关系，学习时长越长，成绩越高，来阐释线性关系。

在传统机器学习中，要实现分类算法，一般可采用KNN或者KMeans等方法实现，但以上两种方法，都会有K取值不同，分类结果的问题。而在深度学习中，跟线性回归一样，也可以使用简单粗暴的方式，解决分类问题。以下介绍使用 Pytorch 通过深度学习的方法，实现分类算法。

传统机器学习中，实现线性回归的方法，是先手推公式，得出 θ 的表达式，然后计算得出。但在深度学习中，方法会更简单粗暴，而且拟合效果更好。以下介绍使用 Pytorch 通过深度学习的方法，实现线性回归算法。

损失函数（Loss Function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。

深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。主要优化算法有：BGD、SGD、Momentum、Adagrad、Adadelta、RMSProp、Adam。

深度学习中的 Normalization 根据规范化操作涉及的对象不同可以大致分为两大类，一类是对 l 层的激活后的输出值进行标准化，Batch Norm、Layer Norm、Instance Norm、Group Norm 就属于这一类；另外一类是对神经元连接边的权重进行规范化操作，Weight Norm 就属于这一类。