教育房产时事环球科技商业
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

这样来学习简单多了!用Excel理解梯度下降

  本文作者为Jahnavi Mahanta,前American Express(美国运通公司)资深机器学习工程师、深度学习在线教育网站Deeplearningtrack联合创始人。
  Jahnavi Mahanta:对算法的作用建立直觉性的理解——在我刚入门机器学习的时候,这让我觉得非常困难。不仅仅是因为理解数学理论和符号本身不容易,也因为它很无聊。我到线上教程里找办法,但里面只有公式或高级别的解释,在大多数情况下并不会深入细节。
  就在那时,一名数据科学同事介绍给我一个新办法——用Excel表格来实现算法,该方法让我拍案叫绝。后来,不论是任何算法,我会试着小规模地在Excel 上学习它——相信我,对于提升你对该算法的理解、完全领会它的数学美感,这个法子简直是奇迹。
  案例
  让我用一个例子向各位解释。
  大多数数据科学算法是优化问题。而这方面最常使用的算法是梯度下降。
  或许梯度下降听起来很玄,但读完这篇文章之后,你对它的感觉大概会改变。
  这里用住宅价格预测问题作为例子。
  现在,有了历史住宅数据,我们需要创建一个模型,给定一个新住宅的面积能预测其价格。
  任务:对于一个新房子,给定面积X,价格Y是多少?
  让我们从绘制历史住宅数据开始。
  现在,我们会用一个简单的线性模型,用一条线来匹配历史数据,根据面积X来预测新住宅的价格Ypred。
  上图中,红线给出了不同面积下的预测价格Ypred。
  Ypred = a+bX
  蓝线是来自历史数据的实际住宅价格Yactual。
  Yactual和Ypred之间的差距,即黄色虚线,是预测误差 E。
  我们需要发现一条使权重a,b获得最优值的直线,通过降低预测误差、提高预测精度,实现对历史数据的最佳匹配。
  所以,目标是找到最优a, b,使Yactual和Ypred之间的误差E最小化。
  误差的平方和(SSE) = ? a (实际价格 – 预测价格)2= ? a(Y – Ypred)2
  (雷锋网提醒,请注意衡量误差的方法不止一种,这只是其中一个)
  这时便是梯度下降登场的时候。梯度下降是一种优化算法,能找到降低预测误差的最优权重(a,b) 。
  理解梯度下降
  现在,我们一步步来理解梯度下降算法:
  用随机值和计算误差(SSE)初始化权重a和b。
  计算梯度,即当权重(a & b)从随机初始值发生小幅增减时,SSE的变动。这帮助我们把a & b的值,向着最小化SSE的方向移动。
  用梯度调整权重,达到最优值,使SSE最小化。
  使用新权重来做预测,计算新SSE。
  重复第二、第三步,直到对权重的调整不再能有效降低误差。
  我在 Excel 上进行了上述每一步,但在查看之前,我们首先要把数据标准化,因为这让优化过程更快。
  第一步
  用随机值的a、b初始化直线Ypred = a + b X,计算预测误差SSE。
  第二步
  计算不同权重的误差梯度。
  ?SSE/?a = – (Y-YP)
  ?SSE/?b = – (Y-YP)X
  这里, SSE=? (Y-YP)2 = ?(Y-(a+bX))2
  你需要懂一点微积分,但没有别的要求了。
  ?SSE/?a、?SSE/?b是梯度,它们基于SSE给出 a、b 移动的方向。
  第三步
  用梯度调整权重,达到最小化SSE的最优值
  我们需要更新a、b的随机值,来让我们朝着最优a、b的方向移动。
  更新规则:
  a – ?SSE/?a
  b – ?SSE/?b
  因此:
  新的a = a – r * ?SSE/?a = 0.45-0.01*3.300 = 0.42
  新的b = b – r * ?SSE/?b= 0.75-0.01*1.545 = 0.73
  这里,r是学习率= 0.01, 是权重调整的速率。
  第四步
  使用新的a、b做预测,计算总的SSE。
  你可以看到,在新预测上总的SSE从0.677降到了0.553。这意味着预测精度在提升。
  第五步
  重复第三、第四步直到对a、b 的调整无法有效降低误差。这时,我们已经达到了最优a、b,以及最高的预测精度。
  这便是梯度下降算法。该优化算法以及它的变种是许多机器学习算法的核心,比如深度网络甚至是深度学习。

戴尔发布两款游戏显示器兼容NvidiaGSync戴尔发布了一款名为S2721HGF的全新27英寸曲面游戏显示器,这款显示器的价格为279。99美元,比该公司的其他曲面显示器产品更加实惠。它支持1080p分辨率,并支持Nvidia戴尔将推出一大批游戏硬件同时预告神秘的XPS台式机戴尔今天公布了一堆以PC游戏为中心的新产品,无论是笔记本还是台式机,都会有一些新产品。戴尔的PC游戏新产品包括一对游戏笔记本两台新显示器一台台式机以及Alienware机械键盘。该英特尔采用GPU变量法彰显其游戏性能更强在最新一期的AdoredTV出版的英特尔的营销PPT中,twitter网友rogame发现了一个有趣的ldquoBUGrdquo。英特尔借用了更强的GPU来体现自己处理器ldquo苹果macOSBigSur带回了经典的启动提示音macOSBigSur是专为苹果Mac计算机设计的最新版操作系统,有趣的是,它带回了经典的启动提示音。此前苹果在2016年发布的1316英寸MacBookPro中移除了这项特性,因如果你正在寻找非全尺寸的电竞台式机,那么不妨看看新款掠夺者Orion3000。掠夺者Orion3000装备了中等大小的机箱中,虽然仍有一些重量,但不会像游戏PC那样占据很大的空间。戴尔今天发布了多款游戏主题的PC和外设,包括台式机曲面显示器和RGB键盘等等。不过在本次发布的诸多新品中,最值得关注的是定位中端的游戏笔记本G7。相比较前代,新款G7采取了全新的设ldquo布rdquo指的是新款Swift5蜂鸟轻薄本,采用Intel最新一代酷睿处理器XeGPU核芯显卡,显然就是即将发布的TigerLake11代酷睿,当然现在不会有具体型号和华硕ZephyrusDuo15双屏笔记本上市售3000美元起采用双屏设计的华硕ROGZephyrusDuo15笔记本已经上市,其特点是在B面配备了一块标准的显示屏并在C面键盘上方有一块狭长的副显示屏,可在同一操作系统的管理下协同工作。尽管这赶超IBM霍尼韦尔研发出世界上最快量子计算机据国外媒体报道,霍尼韦尔声称,它已研发出世界上最快的量子计算机。此前,在今年3月,该公司承诺,将在2020年年中研发出最强大的量子计算机。然而,仅在3个月后,它就实现了这一承诺。凭Intel5年内量产纳米线纳米带晶体管!搭3nm?Intel这几年虽然在制造工艺上步伐慢了很多,但是说起半导体前沿技术研究和储备,Intel的实力仍是行业数一数二的。在近日的国际超大规模集成电路会议上,Intel首席技术官Inte十年来最大升级!WWDC苹果宣布全新macOSBigSurWWDC2020期间,除了移动端最受关注的iOS14iPadOS14,苹果还更新了桌面版的macOS操作系统,全新版本代号ldquoBigSurrdquo(大瑟尔),版本号11。0
微软宣布为专业用户推出全新Skype专业账户目前许多商业用户仍然使用Skype与同事和客户聊天,微软这款视频聊天应用程序也被喜欢它的教师和远程服务提供商使用,因为它的易用性和普及性无处不在。针对那些确实使用Skype开展在线惠普官网现身首款骁龙835Win10笔记本12寸8G内存微软曾承诺,在今年底前,会有几款搭载ARM平台处理器的笔记本电脑问世,相关合作厂商有惠普华硕和联想。据外媒报道,惠普的CarePack页面已经提前现身两款笔记本,均搭载了骁龙835新一代iPadPro将搭载A11X芯片首发台积电7nm!在手机AP(应用处理器)层面,还没有一个能叫板苹果A11的存在。当然,苹果也在紧锣密鼓地规划下一代产品。据台湾产业链的消息,用于新一代iPadPro的将是A11XBinoic芯片,预告11月补丁星期二活动即将上线又到了装更新时间预告再过几个小时你就可以给正在使用的Windows10系统打补丁了。在11月的补丁星期二活动中,微软将面向所有处于支持状态的Windows10系统提供累积更新。累积更新在Windo超级计算机500强中国性能数量双杀美国TOP500组织刚刚提供了第50届全球超级计算机500强排行榜,中国表现异常抢眼,不但凭借太湖middot神威之光天河二号继续霸占前两名,而且以202台系统的总量遥遥领先美国的14Intel联手美光推3DXPoint闪存生产内存硬盘大一统对于3DXPoint存储技术(美光称之为QuantX),Intel准备进一步推进。据官方消息,Intel宣布和美光一道,对坐落于犹他州Lehi的B60工厂进行增产,目的在于提高3D早期跑分曝光ARM在服务器CPU领域崭露头角最近有关ARM服务器芯片的报道不绝于耳,大家都期待着它能够带来令人印象深刻的每瓦特性能表现。而这,就需要对其进行更加严谨的基准对比测试了。近日,知名CDN服务提供商Cloudfla英特尔悄然砍掉了下一代KnightsHill至强Phi芯片本周,2017全球超算大会(SC3917)在美国丹佛举办。尽管很多公司都有机会在台上推出新品或服务,英特尔却悄然地在自家路线图中砍掉了ldquoKnightsHillrdquo芯片联想推出Android平板MotoTab售价299美元尽管联想旗下的计算机业务的重心集中在Windows笔记本和桌面设备上,但并非因此放弃搭载Android平板市场。近日,联想推出了ldquoMotorolardquo品牌的全新AndLinuxKernel4。14LTS的正式版宣布发布LinusTorvalds刚刚正式宣布了下个长期支持(LTS)版本LinuxKernel4。14。该分支自今年9月中旬开发,一共经历了8个候选版本,最值得关注的改进在于AMD安全存MozillaFirefox57正式版已开放下载更美观在正式发布之前,Mozilla已经提前在服务器上放出了Firefox57正式版的下载链接。Firefox57最值得关注的改变在于,通过重大升级的用户界面和下一代浏览器引擎Quant