首页 > 论文期刊知识库 > 矩阵分解论文

矩阵分解论文

发布时间:

矩阵分解论文

随机环境中经济增长模型研究广义生产函数假设下的经济增长模型分析考虑市场预期的供求关系模型基于Matlab的离散事件模拟用风险预算进行资产配置有向图上的PAR贯序模拟系统单圈图的一般Randic指标的极值问题模糊数学在公平评奖问题中的应用模糊矩阵在环境评估中的初步应用模糊评判在电脑中的初步应用数学家的数学思想Riemann积分定义的网收敛表述微积分思想在不等式证明中的应用用有限的尺度标量无限的过程-略论极限ε语言在微积分及现代数学中的位置及意义微积分思想在几何问题中的应用齐次平衡法求KdV-Burgers方程的Backlund变换Painleve分析法判定MKdV-Burgers方程的可积性直接法求KdV-Burgers方程的对称及精确解行波求解KdV-Burgers方程因子有向图的矩阵刻划简单图上的lit-only sigma-game半正则图及其线图的特征多项式与谱分数有向图的代数表示WWW网络的拓扑分析作者合作网络等的拓扑分析古诺模型价格歧视用数学软件做计算微分方程的计算器用数学软件做矩阵计算的计算器弹簧-质点系统的反问题用线性代数理论做隐含语义搜索对矩阵若当标准型理论中变换阵求法的探讨对矩阵分解理论的探讨对矩阵不等式理论的探讨(1)对矩阵不等式理论的探讨(2)函数连续性概念及其在现代数学理论中的延伸从有限维空间到无限维空间Banach空间中脉冲泛函微分方程解的存在性高阶脉冲微分方程的振动性具有积分边界条件的分数阶微分方程解的存在唯一性分数阶微分方程的正则摄动一个形态形成模型的摄动解一个免疫系统常微分方程模型的渐近解前列腺肿瘤连续性激素抑制治疗的数学模型前列腺肿瘤间歇性激素抑制治疗的数学模型病毒动力学数学模型肿瘤浸润数学模型耗散热方程初边值问题解的正则性耗散波方程初边值问题解的正则性耗散Schrodinger方程初边值问题解的正则性非线性发展方程解得稳定性消费需求的鲁棒调节生产函数的计量分析企业的成本形态分析的研究分数阶Logistic方程的数值计算分数阶捕食与被捕食模型的数值计算AIDS传播模型的全局性分析HIV感染模型的全局性分析风险度量方法的比较及其应用具有区间值损益的未定权益定价分析模糊规划及其在金融分析中的应用长依赖型金融市场股票价格与长相依性分数布朗运动下的外汇期权定价不确定性与资产定价加油站点的分布与出租车行业的关系

矩阵分解在协同过滤推荐算法中的应用推荐系统是当下越来越热的一个研究问题,无论在学术界还是在工业界都有很多优秀的人才参与其中。近几年举办的推荐系统比赛更是一次又一次地把推荐系统的研究推向了高潮,比如几年前的Neflix百万大奖赛,KDD CUP 2011的音乐推荐比赛,去年的百度电影推荐竞赛,还有最近的阿里巴巴大数据竞赛。这些比赛对推荐系统的发展都起到了很大的推动作用,使我们有机会接触到真实的工业界数据。我们利用这些数据可以更好地学习掌握推荐系统,这些数据网上很多,大家可以到网上下载。推荐系统在工业领域中取得了巨大的成功,尤其是在电子商务中。很多电子商务网站利用推荐系统来提高销售收入,推荐系统为Amazon网站每年带来30%的销售收入。推荐系统在不同网站上应用的方式不同,这个不是本文的重点,如果感兴趣可以阅读《推荐系统实践》(人民邮电出版社,项亮)第一章内容。下面进入主题。 为了方便介绍,假设推荐系统中有用户集合有6个用户,即U={u1,u2,u3,u4,u5,u6},项目(物品)集合有7个项目,即V={v1,v2,v3,v4,v5,v6,v7},用户对项目的评分结合为R,用户对项目的评分范围是[0, 5]。R具体表示如下: 推荐系统的目标就是预测出符号“?”对应位置的分值。推荐系统基于这样一个假设:用户对项目的打分越高,表明用户越喜欢。因此,预测出用户对未评分项目的评分后,根据分值大小排序,把分值高的项目推荐给用户。怎么预测这些评分呢,方法大体上可以分为基于内容的推荐、协同过滤推荐和混合推荐三类,协同过滤算法进一步划分又可分为基于基于内存的推荐(memory-based)和基于模型的推荐(model-based),本文介绍的矩阵分解算法属于基于模型的推荐。矩阵分解算法的数学理论基础是矩阵的行列变换。在《线性代数》中,我们知道矩阵A进行行变换相当于A左乘一个矩阵,矩阵A进行列变换等价于矩阵A右乘一个矩阵,因此矩阵A可以表示为A=PEQ=PQ(E是标准阵)。 矩阵分解目标就是把用户-项目评分矩阵R分解成用户因子矩阵和项目因子矩阵乘的形式,即R=UV,这里R是n×m, n =6, m =7,U是n×k,V是k×m。直观地表示如下: 高维的用户-项目评分矩阵分解成为两个低维的用户因子矩阵和项目因子矩阵,因此矩阵分解和PCA不同,不是为了降维。用户i对项目j的评分r_ij =innerproduct(u_i, v_j),更一般的情况是r_ij =f(U_i, V_j),这里为了介绍方便就是用u_i和v_j内积的形式。下面介绍评估低维矩阵乘积拟合评分矩阵的方法。首先假设,用户对项目的真实评分和预测评分之间的差服从高斯分布,基于这一假设,可推导出目标函数如下: 最后得到矩阵分解的目标函数如下: 从最终得到得目标函数可以直观地理解,预测的分值就是尽量逼近真实的已知评分值。有了目标函数之后,下面就开始谈优化方法了,通常的优化方法分为两种:交叉最小二乘法(alternative least squares)和随机梯度下降法(stochastic gradient descent)。首先介绍交叉最小二乘法,之所以交叉最小二乘法能够应用到这个目标函数主要是因为L对U和V都是凸函数。首先分别对用户因子向量和项目因子向量求偏导,令偏导等于0求驻点,具体解法如下: 上面就是用户因子向量和项目因子向量的更新公式,迭代更新公式即可找到可接受的局部最优解。迭代终止的条件下面会讲到。接下来讲解随机梯度下降法,这个方法应用的最多。大致思想是让变量沿着目标函数负梯度的方向移动,直到移动到极小值点。直观的表示如下: 其实负梯度的负方向,当函数是凸函数时是函数值减小的方向走;当函数是凹函数时是往函数值增大的方向移动。而矩阵分解的目标函数L是凸函数,因此,通过梯度下降法我们能够得到目标函数L的极小值(理想情况是最小值)。 言归正传,通过上面的讲解,我们可以获取梯度下降算法的因子矩阵更新公式,具体如下: (3)和(4)中的γ指的是步长,也即是学习速率,它是一个超参数,需要调参确定。对于梯度见(1)和(2)。下面说下迭代终止的条件。迭代终止的条件有很多种,就目前我了解的主要有1) 设置一个阈值,当L函数值小于阈值时就停止迭代,不常用2) 设置一个阈值,当前后两次函数值变化绝对值小于阈值时,停止迭代3) 设置固定迭代次数另外还有一个问题,当用户-项目评分矩阵R非常稀疏时,就会出现过拟合(overfitting)的问题,过拟合问题的解决方法就是正则化(regularization)。正则化其实就是在目标函数中加上用户因子向量和项目因子向量的二范数,当然也可以加上一范数。至于加上一范数还是二范数要看具体情况,一范数会使很多因子为0,从而减小模型大小,而二范数则不会它只能使因子接近于0,而不能使其为0,关于这个的介绍可参考论文Regression Shrinkage and Selection via the Lasso。引入正则化项后目标函数变为: (5)中λ_1和λ_2是指正则项的权重,这两个值可以取一样,具体取值也需要根据数据集调参得到。优化方法和前面一样,只是梯度公式需要更新一下。矩阵分解算法目前在推荐系统中应用非常广泛,对于使用RMSE作为评价指标的系统尤为明显,因为矩阵分解的目标就是使RMSE取值最小。但矩阵分解有其弱点,就是解释性差,不能很好为推荐结果做出解释。后面会继续介绍矩阵分解算法的扩展性问题,就是如何加入隐反馈信息,加入时间信息等。

矩阵分解论文摘要

_%E7%89%B9%E6%AE%8A%E7%9F%A9%E9%98%Bhtml是不是要这些资料

一楼说的那本书是烂书(不够深入,理论性不强)如果想深入学习矩阵理论特别是矩阵分解方面的知识我建议还是看看其他的书如那本数学名著《矩阵特征值》就非常好在奇迹论坛上可以找到,在MIT的开放网站上也有不少,我的电脑里也有很多电子版的奇迹论坛 和 MIT开放网站的网址可以在我的博客的连接中找到

《线性代数》

随机环境中经济增长模型研究广义生产函数假设下的经济增长模型分析考虑市场预期的供求关系模型基于Matlab的离散事件模拟用风险预算进行资产配置有向图上的PAR贯序模拟系统单圈图的一般Randic指标的极值问题模糊数学在公平评奖问题中的应用模糊矩阵在环境评估中的初步应用模糊评判在电脑中的初步应用数学家的数学思想Riemann积分定义的网收敛表述微积分思想在不等式证明中的应用用有限的尺度标量无限的过程-略论极限ε语言在微积分及现代数学中的位置及意义微积分思想在几何问题中的应用齐次平衡法求KdV-Burgers方程的Backlund变换Painleve分析法判定MKdV-Burgers方程的可积性直接法求KdV-Burgers方程的对称及精确解行波求解KdV-Burgers方程因子有向图的矩阵刻划简单图上的lit-only sigma-game半正则图及其线图的特征多项式与谱分数有向图的代数表示WWW网络的拓扑分析作者合作网络等的拓扑分析古诺模型价格歧视用数学软件做计算微分方程的计算器用数学软件做矩阵计算的计算器弹簧-质点系统的反问题用线性代数理论做隐含语义搜索对矩阵若当标准型理论中变换阵求法的探讨对矩阵分解理论的探讨对矩阵不等式理论的探讨(1)对矩阵不等式理论的探讨(2)函数连续性概念及其在现代数学理论中的延伸从有限维空间到无限维空间Banach空间中脉冲泛函微分方程解的存在性高阶脉冲微分方程的振动性具有积分边界条件的分数阶微分方程解的存在唯一性分数阶微分方程的正则摄动一个形态形成模型的摄动解一个免疫系统常微分方程模型的渐近解前列腺肿瘤连续性激素抑制治疗的数学模型前列腺肿瘤间歇性激素抑制治疗的数学模型病毒动力学数学模型肿瘤浸润数学模型耗散热方程初边值问题解的正则性耗散波方程初边值问题解的正则性耗散Schrodinger方程初边值问题解的正则性非线性发展方程解得稳定性消费需求的鲁棒调节生产函数的计量分析企业的成本形态分析的研究分数阶Logistic方程的数值计算分数阶捕食与被捕食模型的数值计算AIDS传播模型的全局性分析HIV感染模型的全局性分析风险度量方法的比较及其应用具有区间值损益的未定权益定价分析模糊规划及其在金融分析中的应用长依赖型金融市场股票价格与长相依性分数布朗运动下的外汇期权定价不确定性与资产定价加油站点的分布与出租车行业的关系

矩阵分解论文怎么写

建议你去论文网上搜索下里面很全的什么都有

我会可以q我谈

线性方程组的解法;矩阵特征值与特征向量的计算;非线性方程与非线性方程组的迭代解法;插值与逼近;数值积分;常微分方程初值问题的数值解法和偏微分方程的差分解法。内容丰富,系统性强,其深广度适合工学硕士生的培养要求。本书语言简练、流畅,数值例子和习题非常丰富。 商品信息 本书是为工学硕士研究生开设数值分析课而编写的学位课教材。内容包括:线性方程组的解法;矩阵特征值与特征向量的计算;非线性方程与非线性方程组的迭代解法;插值与逼近;数值积分;常微分方程初值问题的数值解法和偏微分方程的差分解法。内容丰富,系统性强,其深广度适合工学硕士生的培养要求。本书语言简练、流畅,数值例子和习题非常丰富。【目录】第一章 绪 论 1�1 数值分析的研究对象 1� 2 误差知识与算法知识 1�1 误差 的来源与分类 1�2 绝对误差、相对误差与有 效数字 3�3 函数求值的误差估计 5�4 算法及其计算复杂性 7�3 向量范数与矩 阵范数 10�1 向量范数 10�2 矩阵范数 12�习 题 18�第二章 线性方程组 的解法 21�1 Gauss消去法 22�1 顺序Gauss消去法 23�2 列主元素Gauss消去法 25�2 直接三角分解法 28�1 Doolittle分解法与Crout分解法 28�2 选主 元的Doolittle分解法 34�3 三角分解法解带状 线性方程组 37�4 追赶法求解三对角线性方程 组 41�5 拟三对角线性方程组的求解方法 43 �3 矩阵的条件数与病态线性方程组 45�1 矩阵的条件数与线性方程组的性态 45�2 关于病态线性方法组的求解问题 48�4 迭代 法 51�1 迭代法的一般形式及其收敛性 51 �2 Jacobi迭代法 55�3 Gauss�Seidel迭代法 60�4 逐次超松弛迭 代法 64�习 题 69�第三章 矩阵特征值与特 征向量的计算 74�1 幂法和反幂法 74�1 幂 法 74�2 反幂法 79�2 Jacobi方法 81�3 QR方法 87�1 矩阵的QR分解 87�2 矩阵的拟上三角化 92�3 带双步位移的QR方法 95�习 题 100�第四章 非线性方程与非线性方法组的迭代 解法 103�1 非线性方程的迭代解法 103�1 对分法 103�2 简单迭代法及其收敛 性 104�3 简单迭代法的收敛速度 109� 4 Steffensen加速收敛方法 112�5 Newton法 115�6 求方程m重根的 Newton法 120�7 割线法 123�8 单点割线法 127�2 非线性方程组的迭代 解法 131�1 一般概念 131�2 简单迭代法 134�3 Newton法 138�4 离散Newton法 140�习 题 142�第五章 插值与逼近 144�1 代数插值 144�1 一元函数插值 144�2 二元函数插值 152�2 Hermite插值 156�3 样条插 值 160�1 样条函数 160�2 三次样条插值问题 166�3 B样条为基底的三次样 条插值函数 168�4 三弯矩法求三次样条插值 函数 172�4 三角插值与快速Fourier变换 177� 1 周期函数的三角插值 177�2 快速Fourier变换 180�5 正交多项式 183�1 正交多项式概念与性质 183�2 几种常 用的正交多项式 187�6 函数的最佳平方逼近 193 �1 最佳平方逼近的概念与解法 193�2 正交函数系在最佳平方逼近中的应用 197�3 样条函数在最佳平方逼近中的应用 203�4 离散型的最佳平方逼近 205�5 曲线拟 合与曲面拟合 207�习 题 219�第六章 数值积 分 226�1 求积公式及其代数精度 226�2 插值型求积公式 228�3 Newton�Cotes求积 公式 230�4 Newton�Cotes求积公式的收敛性与数 值稳定性 236�5 复化求积法 237�1 复化梯形公式与复化Simpson公式 237�2 区 间逐次分半法 242�6 Romberg积分法 244�1 Richardson外推技术 244�2 Romberg 积分法 247�7 Gauss型求积公式 249�1 一般理论 249�2 几种Gauss型求积公式 255�8 二重积分的数值求积法 263�1 矩形域上的二重积分 263�2 一般区 域上的二重积分 266�习 题 267

矩阵分解的外文文献

RHorn and CJohnson, Matrix Analysis,这个中译本也有的。GStrang, Linear Algebra and its A奇异值分解虽然是最有用的矩阵分解之一,但其本质和谱分解定理差不多,所以单纯讲矩阵的书上可能不会讲太多应用,可以考虑再去看一下PCA(principal component analysis)方面的文献。

现代数学基础6:矩阵论/詹兴致

最小二乘支持向量机的改进及其在化学化工中的应用作者:陶少辉专业:化学工程与技术导师:陈德钊 胡望明学位:博士单位:浙江大学分类:TQ02主题:最小二乘 支持向量机 建模 化工过程时间:2006年09月01日页数:1-116浏览:在线阅读 全文下载内容摘要最小二乘支持向量机 (least squares support veotor maohine,LSSVM)是一种遵循结构风险最小化 (structural risk minimization,SRM) 原则的核函数学习机器,近年来化学、化工领域的应用日益广泛本文以LSSVM在实际应用中的若干问题为主线,针对其应用中存在的高维数据降维、超参数选择和稀疏性等问题,提出了若干新算法,并应用于化学物质结构与性质问关系、化工生产过程等实际问题建模,效果显著全文的主要内容可以归结为以下六个部分,其中包括了研究工作所取得的主要成果 1、系统回顾了统计学习理论和支持向量机的发展历史、研究现状与应用领域;介绍了支持向量机原理,及其应用中存在的一些问题 2、针对支持向量机解决非线性分类问题时,必须先将样本向量由原空间映射至高维重建核 Hilbert 空间的特点,利用核函数技术将线性的分类相关分析算法拓展至高维的重建核 Hilbert 空间,此即非线性分类相关分析 (nonlinearolassification oorrelative analysis,NLCCA) 算法最后,将 NLCCA 与线性支持向量分类器 (linear support vector olassifier,LSVC) 集成得到NLCCA-LSVC,并应用于两个典型的复杂化学模式识别问题 3、对于小样本的LSSVM函数回归问题,在快速留一法的基础上,以全样本的留一预测误差平方和sse为目标,导出了sse对超参数的梯度,并据此以最速下降法优选超参数,构建G-LSSVM模型最后将之用于一个小样本、非线性柠檬酸发酵过程建模问题 4、由于神经网络、LSSVM等经验模型的精度完全依靠测量数据,导致经验模型不能将实际过程的先验知识融合在内,所以模型的预报有时会与过程机理相矛盾针对二元恒温(恒压)汽液平衡体系的汽相组成计算问题,为解决这一问题,在胡英等人工作基础上,将Gibbs-Duhem方程与多层前传神经网络和LSSVM结合,建立了融入先验知识的汽相组成计算混合模型,使得计算结果受Gibbs-Duhem 方程约束最后混合模型被应用于2个实际二元汽液平衡体系的计算 5、由于计算经验风险的损失函数为二次函数形式,LSSVM丧失了标准支持向量机的稀疏性,导致其训练完毕之后,用于分类时效率降低;为使LSSVM具有稀疏性,本文从统计分析的角度出发,选取训练样本中分类作用最大的若干样本个体作为支持向量,并将非支持向量上的分类信息转移至支持向量上,提出了新的LSSVM稀疏化算法,最后将两种新的LSSVM稀疏化应用于若干实际分类问题另外,本文提出的稀疏化算法可直接应用于多类问题 6、本文利用核函数矩阵的奇异值分解,得到了可以节省超参数选取时间的分类器:SVD-LSSVMSVD-LSSVM用奇异值贡献率来平衡经验风险与LSSVM的模型复杂度,从新的途径实现了SRM原则 论文还分析了研究工作的不足,并展望了今后的发展全文目录文摘英文文摘第一章绪论1引言2常用经验建模方法3经验建模的若干问题4本文研究内容及组织第二章最小二乘支持向量机1研究背景1统计学习理论简介2支持向量机原理3 SVM在实际应用中的若干问题2 LSSVM原理1两类LSSVM分类器2多类LSSVM分类器3用于函数回归的LSSVM3 LSSVM在实际应用中的若干问题1海量样本的LSSVM训练算法2 LSSVM超参数选择3稀疏LSSVM4加权LSSVM5对LSSVM的其它改进4 LSSVM的应用5本章小结第三章基于核函数的非线性分类相关分析1维数灾难和降维策略发展概况2分类相关分析算法3基于核函数的非线性CCA算法1 CCA算法步骤的改写2基于核函数的非线性CCA3 NLCCA与线性支持向量分类器的集成4对于2个复杂化学模式分类问题的应用1样本数据说明2分类器的建立3分类器的性能分析5本章小结第四章LSSVM超参数选取的梯度法1化工过程建模的意义2梯度下降法选取LSSVM超参数1算法原理和步骤2算法测试3 G-LSSVM模型在柠檬酸发酵过程建模中的应用1柠檬酸发酵过程简介2柠檬酸发酵过程的G-LSSVM建模4本章小结第五章二元汽液平衡计算的混合模型1先验知识1先验知识的定义2先验知识与机理模型和经验模型之间的关系2学习机器与先验知识混合的模型1 ANN与先验知识的混合2 SVM与先验知识的混合3汽液平衡计算1汽液平衡计算的常用方法2汽液平衡计算的无模型法4 Gibbs-Duhem方程与学习机器混合建模5对于两个二元汽液平衡体系的应用6本章小结第六章基于统计分析的LSSVM稀疏化1基于统计分析的LSSVM稀疏化算法基本思想1样本个体的分类重要性2非支持向量的信息转移2两种稀疏化算法3算法的测试与分析4稀疏化算法的实际应用5本章小结第七章基于核函数矩阵SVD分解实现SRM原则1非线性模式分类与RKHS线性回归2简化LSSVM3 SVD求解线性回归问题4 SVD-LSSVM算法及其分析1算法步骤2对SVD-LSSVM交叉验证的分析3 SVCR值对SVD-LSSVM分类性能的影响5算法应用6本章小结第八章总结与展望1全文工作总结2存在的不足3工作展望参考文献致谢作者攻读博士学位期间撰写的论文和参与的项目

矩阵分解论文怎么写的

_%E7%89%B9%E6%AE%8A%E7%9F%A9%E9%98%Bhtml是不是要这些资料

矩阵分解在协同过滤推荐算法中的应用推荐系统是当下越来越热的一个研究问题,无论在学术界还是在工业界都有很多优秀的人才参与其中。近几年举办的推荐系统比赛更是一次又一次地把推荐系统的研究推向了高潮,比如几年前的Neflix百万大奖赛,KDD CUP 2011的音乐推荐比赛,去年的百度电影推荐竞赛,还有最近的阿里巴巴大数据竞赛。这些比赛对推荐系统的发展都起到了很大的推动作用,使我们有机会接触到真实的工业界数据。我们利用这些数据可以更好地学习掌握推荐系统,这些数据网上很多,大家可以到网上下载。推荐系统在工业领域中取得了巨大的成功,尤其是在电子商务中。很多电子商务网站利用推荐系统来提高销售收入,推荐系统为Amazon网站每年带来30%的销售收入。推荐系统在不同网站上应用的方式不同,这个不是本文的重点,如果感兴趣可以阅读《推荐系统实践》(人民邮电出版社,项亮)第一章内容。下面进入主题。 为了方便介绍,假设推荐系统中有用户集合有6个用户,即U={u1,u2,u3,u4,u5,u6},项目(物品)集合有7个项目,即V={v1,v2,v3,v4,v5,v6,v7},用户对项目的评分结合为R,用户对项目的评分范围是[0, 5]。R具体表示如下: 推荐系统的目标就是预测出符号“?”对应位置的分值。推荐系统基于这样一个假设:用户对项目的打分越高,表明用户越喜欢。因此,预测出用户对未评分项目的评分后,根据分值大小排序,把分值高的项目推荐给用户。怎么预测这些评分呢,方法大体上可以分为基于内容的推荐、协同过滤推荐和混合推荐三类,协同过滤算法进一步划分又可分为基于基于内存的推荐(memory-based)和基于模型的推荐(model-based),本文介绍的矩阵分解算法属于基于模型的推荐。矩阵分解算法的数学理论基础是矩阵的行列变换。在《线性代数》中,我们知道矩阵A进行行变换相当于A左乘一个矩阵,矩阵A进行列变换等价于矩阵A右乘一个矩阵,因此矩阵A可以表示为A=PEQ=PQ(E是标准阵)。 矩阵分解目标就是把用户-项目评分矩阵R分解成用户因子矩阵和项目因子矩阵乘的形式,即R=UV,这里R是n×m, n =6, m =7,U是n×k,V是k×m。直观地表示如下: 高维的用户-项目评分矩阵分解成为两个低维的用户因子矩阵和项目因子矩阵,因此矩阵分解和PCA不同,不是为了降维。用户i对项目j的评分r_ij =innerproduct(u_i, v_j),更一般的情况是r_ij =f(U_i, V_j),这里为了介绍方便就是用u_i和v_j内积的形式。下面介绍评估低维矩阵乘积拟合评分矩阵的方法。首先假设,用户对项目的真实评分和预测评分之间的差服从高斯分布,基于这一假设,可推导出目标函数如下: 最后得到矩阵分解的目标函数如下: 从最终得到得目标函数可以直观地理解,预测的分值就是尽量逼近真实的已知评分值。有了目标函数之后,下面就开始谈优化方法了,通常的优化方法分为两种:交叉最小二乘法(alternative least squares)和随机梯度下降法(stochastic gradient descent)。首先介绍交叉最小二乘法,之所以交叉最小二乘法能够应用到这个目标函数主要是因为L对U和V都是凸函数。首先分别对用户因子向量和项目因子向量求偏导,令偏导等于0求驻点,具体解法如下: 上面就是用户因子向量和项目因子向量的更新公式,迭代更新公式即可找到可接受的局部最优解。迭代终止的条件下面会讲到。接下来讲解随机梯度下降法,这个方法应用的最多。大致思想是让变量沿着目标函数负梯度的方向移动,直到移动到极小值点。直观的表示如下: 其实负梯度的负方向,当函数是凸函数时是函数值减小的方向走;当函数是凹函数时是往函数值增大的方向移动。而矩阵分解的目标函数L是凸函数,因此,通过梯度下降法我们能够得到目标函数L的极小值(理想情况是最小值)。 言归正传,通过上面的讲解,我们可以获取梯度下降算法的因子矩阵更新公式,具体如下: (3)和(4)中的γ指的是步长,也即是学习速率,它是一个超参数,需要调参确定。对于梯度见(1)和(2)。下面说下迭代终止的条件。迭代终止的条件有很多种,就目前我了解的主要有1) 设置一个阈值,当L函数值小于阈值时就停止迭代,不常用2) 设置一个阈值,当前后两次函数值变化绝对值小于阈值时,停止迭代3) 设置固定迭代次数另外还有一个问题,当用户-项目评分矩阵R非常稀疏时,就会出现过拟合(overfitting)的问题,过拟合问题的解决方法就是正则化(regularization)。正则化其实就是在目标函数中加上用户因子向量和项目因子向量的二范数,当然也可以加上一范数。至于加上一范数还是二范数要看具体情况,一范数会使很多因子为0,从而减小模型大小,而二范数则不会它只能使因子接近于0,而不能使其为0,关于这个的介绍可参考论文Regression Shrinkage and Selection via the Lasso。引入正则化项后目标函数变为: (5)中λ_1和λ_2是指正则项的权重,这两个值可以取一样,具体取值也需要根据数据集调参得到。优化方法和前面一样,只是梯度公式需要更新一下。矩阵分解算法目前在推荐系统中应用非常广泛,对于使用RMSE作为评价指标的系统尤为明显,因为矩阵分解的目标就是使RMSE取值最小。但矩阵分解有其弱点,就是解释性差,不能很好为推荐结果做出解释。后面会继续介绍矩阵分解算法的扩展性问题,就是如何加入隐反馈信息,加入时间信息等。

我会可以q我谈

  • 索引序列
  • 矩阵分解论文
  • 矩阵分解论文摘要
  • 矩阵分解论文怎么写
  • 矩阵分解的外文文献
  • 矩阵分解论文怎么写的
  • 返回顶部