线性回归算法,线性回归算法是什么

摘要： 核回归（又称局部加权线性回归）是统计学中用于估计随机变量的条件期望的非参数方法。目的是找到一对随机变量X和Y之间的非线性关系。 在任何非参数回归中 ，变量的条件期望 Y {\displaystyle Y} 相对于变量 X {\displaystyle X} 可以写成： E ⁡ ( Y | X ) =。...

核回归（又称局部加权线性回归）是统计学中用于估计随机变量的条件期望的非参数方法。目的是找到一对随机变量X和Y之间的非线性关系。 在任何非参数回归中 ，变量的条件期望 Y {\displaystyle Y} 相对于变量 X {\displaystyle X} 可以写成： E ⁡ ( Y | X ) =。

线性预测是根据已有采样点按照线性函数计算未来某一离散信号的数学方法。 在数字信号处理中，线性预测经常称为线性预测编码（LPC），因此也可以看作是数字滤波器的一部分。在系统分析中，线性预测可以看作是数学建模或者最优化的一部分。 最常见的表示是 x ^ ( n ) = − ∑ i = 1 p a i x。

xian xing yu ce shi gen ju yi you cai yang dian an zhao xian xing han shu ji suan wei lai mou yi li san xin hao de shu xue fang fa 。 zai shu zi xin hao chu li zhong ， xian xing yu ce jing chang cheng wei xian xing yu ce bian ma （ L P C ） ， yin ci ye ke yi kan zuo shi shu zi lv bo qi de yi bu fen 。 zai xi tong fen xi zhong ， xian xing yu ce ke yi kan zuo shi shu xue jian mo huo zhe zui you hua de yi bu fen 。 zui chang jian de biao shi shi x ^ ( n ) = − ∑ i = 1 p a i x 。

偏最小二乘回归（英语：Partial least squares regression， PLS回归）是一种统计学方法，与主成分回归有关系，但不是寻找响应和独立变量之间最小方差的超平面，而是通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。因为数据X和Y都会投影到新空间，PLS系列的方法。

在统计学中，简单线性回归是指仅具有单一的自变数的线性回归，其中「简单」係单一自变数之意。此回归可用於估计有限的截距与斜率以推论应变数在特定自变数为条件下的均值。 普通最小二乘法是常见用於寻求简单线性回归式的方法，目的是得到能使残差平方和最小的回归式。其它方法，诸如最小绝对偏差（英语：Least absolute。

分段回归是一种回归分析方法，将自变量划为若干区间，并分别拟合出单独的线段。通过对各种自变量分区，也可以对多元数据进行分区回归分析。自变量聚类为不同组别时，这些区域的变量之间会表现出不同的关系，这时分段回归就非常有用。分段之间的界限就是间断点。 分段线性回归就是分段回归，通过线性回归得到区间内的关系。。

在统计学上，泊松回归（英语：Poisson regression）是用来为计数资料（英语：Count data）和列联表建模的一种回归分析。泊松回归假设因变量（英语：response variable）Y是泊松分布，并假设它期望值的对数可由一组未知参数进行线性表达。当其用于列联表分析时，泊松回归模型也被称作对数-线性模型。。

的表现，並假设它们为一线性关係。因为这是从回归分析中的线性回归发展而来，只是不用 x {\displaystyle x} 预测 y {\displaystyle y} ，而是用 x {\displaystyle x} 预测 x {\displaystyle x} （自己）；因此叫做自我回归。 自回归。

\mathbb {E} [Y\mid X=x]=m(x),} 其中 m ( x ) {\displaystyle m(x)} 是某个确定函数。线性回归也是非参数回归的一种， m ( x ) {\displaystyle m(x)} 假定为仿射。 有些学者使用了稍强的加性噪声假设： Y = m ( X )。

＋▽＋

在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivariable。

＞０＜

统计学中，主成分回归（PCR）是一种基于主成分分析（PCA）的回归分析方法。更确切地说，PCR用于估计标准线性回归模型中的未知参数。 PCR不是直接将因变量与解释变量进行回归，而是将解释变量的主成分作为回归量。一般只使用所有主成分的一个子集用于回归，因此PCR是一种正则化过程，也是一种收缩估计量。。

线性的。在某种意义上，回归函数 E(y|x) 在从数据估计到的未知参数中是线性的。因此，多项式回归被认为是多元线性回归的特例。 由“基线”变量的多项式展开得到的解释性（独立）变量称为高次项，这些变量也用于分类场景。 多项式回归。

量心理学、计量经济学、市场营销等统计实证分析的常用方法。 通过使事件的对数发生率（log-odd）成为一个或多个自变量的线性组合，对事件发生的概率进行建模。形式上，在二元逻辑回归中，有一个二元因变量，由指示变量编码，其中两个值标记为“0”和“1”，而自变量每个都可以是二元变量（两个类，由指示变量）。

∪＾∪

横截面回归 曲线拟合 经验贝叶斯方法 逻辑斯蒂回归 M估计 非参数回归 多元自适应回归样条 Lack-of-fit sum of squares 截断回归模型 删失回归模型 简单线性回归 分段线性回归 非线性最小二乘法 曲线拟合 广义线性模型 局部回归 RJOosterbaan，1994，频率和回归。

一般线性模型（general linear model, multivariate regression model）是一个统计学上常见的线性模型（英语：Linear model）。这个模型在计量经济学的应用中十分重要。不要与多元线性回归，广义线性模型或一般线性方法相混淆。 其公式一般写为： Y =。

回归分析是建立被解释变数 Y {\displaystyle Y} （或称应变数、依变数、反应变数）与解释变数 X {\displaystyle X} （或称自变数、独立变数）之间关係的模型。简单线性回归使用一个自变量 X {\displaystyle X} ，复回归使用超过一个自变量（。

o(?""?o

problems）和《RIDGE回归：在非正交问题中的应用》（英语：RIDGE regressions: applications in nonorthogonal problems）中引入 。 当线性回归模型具有一些多重共线性（高度相关）自变量时，通过创建岭回归估计器（RR），岭回归。

但在高等数学（尤其是纯数学）中所说的线性一般是用定义2来给出定义。如对线性相关和线性变换的定义。但初等数学中有关“线性”的一些习惯术语也然在高等数学沿用，如线性回归。 在物理学中，线性的2种含义都有出现。“线性”如果是源于形容图像的形状，则其含义按定义1理解。比如线性。

在统计学上，广义线性模型（英语：generalized linear model，缩写作 GLM）是一种应用灵活的线性回归模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。此模型假设实验者所量测的隨机变数的分布函数与实验中系统性效应（即非隨机的效应）可经由一鏈结函数（link function）建立可解释其相关性的函数。。

Theorem），在统计学中陈述的是在线性回归模型中，如果线性模型满足高斯马尔可夫假定，则回归系数的“最佳线性无偏估计”（BLUE，英语：Best Linear unbiased estimator）就是普通最小二乘法估计。最佳估计是指相较于其他估计量有更小方差的估计量，同时把对估计量的寻找限制在所有可能的线性。

统计学中，最小角回归（英语：least-angle regression (LARS)）是一种对高维数据进行线性回归的算法，由布莱德利·埃夫隆等人提出。 在线性回归中，因变量由一组自变量的线性组合表达，这些自变量可能是协变量，也有可能与因变量无关。最小角算法不会像传统算法那样给出自变量的向量表达，而。