时间:2021-05-22
机器学习过程中经常需要可视化,有助于加强对模型和参数的理解。
下面对梯度下降过程进行动图演示,可以修改不同的学习率,观看效果。
import numpy as npimport matplotlib.pyplot as pltfrom IPython import displayX = 2*np.random.rand(100,1)y = 4+3*X+np.random.randn(100,1) # randn正态分布X_b = np.c_[np.ones((100,1)),X] # c_行数相等,左右拼接eta = 0.1 # 学习率n_iter = 1000 # 迭代次数m = 100 # 样本点个数theta = np.random.randn(2,1) # 参数初始值plt.figure(figsize=(8,6))mngr = plt.get_current_fig_manager() # 获取当前figure managermngr.window.wm_geometry("+520+520") # 调整窗口在屏幕上弹出的位置,注意写在打开交互模式之前# 上面固定窗口,方便screentogif定位录制,只会这种弱弱的方法plt.ion()# 打开交互模式plt.rcParams["font.sans-serif"] = "SimHei"# 消除中文乱码for iter in range(n_iter): plt.cla() # 清除原图像 gradients = 2/m*X_b.T.dot(X_b.dot(theta)-y) theta = theta - eta*gradients X_new = np.array([[0],[2]]) X_new_b = np.c_[np.ones((2,1)),X_new] y_pred = X_new_b.dot(theta) plt.axis([0,2,0,15]) plt.plot(X,y,"b.") plt.plot(X_new,y_pred,"r-") plt.title("学习率:{:.2f}".format(eta)) plt.pause(0.3) # 暂停一会 display.clear_output(wait=True)# 刷新图像plt.ioff()# 关闭交互模式 plt.show()学习率:0.1,较合适
学习率:0.02,收敛变慢了
学习率:0.45,在最佳参数附近震荡
学习率:0.5,不收敛
到此这篇关于浅谈matplotlib 绘制梯度下降求解过程的文章就介绍到这了,更多相关matplotlib 梯度下降内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
假设我们已经知道梯度法——最速下降法的原理。现给出一个算例:如果人工直接求解:现给出Python求解过程:importnumpyasnpfromsympyimp
梯度下降法是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降是最常采用的方法之一,在求解
最近我在用梯度下降算法绘制神经网络的数据时,遇到了一些算法性能的问题。梯度下降算法的代码如下(伪代码):defgradient_descent():#thegr
本文实例为大家分享了python批量梯度下降算法的具体代码,供大家参考,具体内容如下问题:将拥有两个自变量的二阶函数绘制到空间坐标系中,并通过批量梯度下降算法找
1.梯度下降1)什么是梯度下降?因为梯度下降是一种思想,没有严格的定义,所以用一个比喻来解释什么是梯度下降。简单来说,梯度下降就是从山顶找一条最短的路走到山脚最