21世纪是一个大数据的时代，很多公司都在开展有关数据的业务，比如人工智能，大数据中有一个至关重要的问题，那就是数据的获取方式。 想要获取数据，可以去第三方公司购买（如企查查），也可以在免费的数据网站下载数据（好比国家统计局），或者人工进行收集（问卷调查）。另外就是通过爬虫获取数据。 一般来说，人工采集费时费力，免费数据质量不佳，三方公司的数据也是通过爬虫进行自动采集的。 所以对个人来说，如果能够自己通过爬虫获取数据自然是最理想的渠道。 获取的数据可以在一些app或网页上进行展示，比如常见浏览器的首页 另外自己也可能对数据进行分析，以得出有价值的信息。 爬虫（又称网页蜘蛛，网络机器人）其工作方式就是模拟浏览器进行发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上只要是浏览器能做的事情，爬虫都能够做。 根据被爬网站的数量的不同，我们可以把爬虫分为两类，通用爬虫以及聚焦爬虫。 通用爬虫：通常指搜索引擎上的爬虫。如百度。通用爬虫覆盖范围广，但是搜索到的信息杂且乱，还有很多的广告。 聚焦爬虫：针对特定网站的爬虫。获取的信息相对比较精准，是针对特定对象爬取的信息。 爬虫可以简单地分为四个步骤：获取资源地址，发送请求获取数据，提取信息，保存数据。 爬虫首先要做的工作就是获取数据的资源地址，有了准确的地址我们才能根据相应的信息去发送相应的请求进行提取数据 第二步要做的工作就是获取网页，这里获取的是网页的源代码，源代码中包含了网页的部分有用信息，所以，只要把源代码获取下来，就可以从中提取出想要的信息。 获取到源代码后，接下来要做的就是分析网页源代码，从中提取我们想要的数据。通用的方法是使用正则表达式提取，这是一个比较万能的方法，但是在构造正则表达式时比较复杂且易出错。另外因为网页的结构有一定的规则，所以还有一些根据网页节点属性、css选择器或Xpath来提取网页信息的库，如BeautifulSoup、pyquery、lxml等。使用这些库，我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。提取信息是爬虫非常重要的部分，它可以使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。 提取到信息后，我们一般会将提取到的数据保存到某处以便后续使用。这里保存形式多种多样，如可以简单保存为txt文本或json文本，也可以保存到数据库，如MySql和MongoDB等，也可保存至远程服务器，如借助SFTP进行操作等。 http基本原理 URL URL的全称为UniversalResourcelocator，即统一资源定位符。 例子： https：www。baidu。comitem10056474？fraladdin http：IP：port资源路径？wdpythonflg 协议：这代表网页使用的请求协议，如http协议，或https协议。 域名部分：该URL的域名部分为www。baidu。com。一个url中，也可以使用IP地址作为域名使用：202。108。22。5。域名的底层都是通过ip地址进行访问的。 端口部分：跟在域名后面的是端口，域名和端口之间使用：作为分隔符。端口不是一个URL必须的部分，可以省略端口部分。 资源部分：从域名后的最后一个开始到？为止，浏览器中搜索的网页后面的资源部分有很多都是可以删除的（自行判断是否需要删除，它是对搜索内容加载的相应的其他特征，但可能一个特征就足以搜索到想要的内容。）。 查询参数：从？开始到为止之间的部分为参数部分，又称搜索部分、查询部分 超文本 其英文名叫做hypertext，我们在浏览器里看到的网页就是超文本解析而成的，其网页源代码是一系列HTML代码，里面包含了一系列标签，比如img显示图片，p指定显示段落等。浏览器解析这些标签后，便形成了我们平常看到的网页，而网页的源代码HTML就可以称作超文本。 HTTP和HTTPS 在百度的首页http：www。baidu。com，中，URL的开头会有http或https，这个就是访问资源需要的协议类型，有时我们还会看到ftp、sftp、smb开头的url，那么这里的ftp、sftp、smb都是指的协议类型，在爬虫中，我们抓取的页面通常就是http或https协议的，我们在这里首先来了解一下这两个协议的含义。 HTTP的全称是HyperTextTransferProtocol，中文名叫做超文本传输协议超文本传输协议默认端口号：80 HTTPS的全称是HyperTextTransferProtocoloverSecureSecureSocketLayer，是以安全为目标的传输协议。HTTPSSL（安全套接字层），即带有安全套接字层的超文本传输协议默认端口号：443 HTTP通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，简称为HTTPS。 HTTP的请求过程 浏览器先向地址栏中的url发起请求，并获取相应的ip地址在返回的响应内容（html）中，会带有css、js、图片等url地址，以及ajax代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应。浏览器每获取一个响应就对展示出的结果进行添加（加载），js，css等内容会修改页面的内容，js也可以重新发送请求，获取响应。从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改这个过程叫做浏览器的渲染 注意： 但是在爬虫中，爬虫只会请求url地址，对应的拿到url地址对应的响应（该响应的内容可以是html，css，js，图片等） 浏览器渲染出来的页面和爬虫请求的页面很多时候并不一样 所以在爬虫中，需要以url地址对应的响应为准来进行数据的提取。
五台山被砸门，三星堆铜像被撞翻，兔年春节旅游为什么蹿火？谁也没有想到，疫情结束后第一个火起来的行业竟然是旅游业。或许是因为憋得太久的缘故，2023年春节期间，全国各大旅游景区都掀起了一股旅游热。泰山游客们定好泰山的……静静欣赏花之灿烂，雅致岁月的味道，典藏在冬的希望里！在异乡打拼，觉得辛苦不易，忍受孤独寂寞，下雨没人送伞，难过没人倾诉，一个人走完四季，冷暖自知。耐得住寂寞才守得住繁华，该奋斗的年龄不要选择了安逸。梦想留在未来，旅行……夜读心若无挂碍，时时是晴天人生最好的治愈，就是放过自己，学会释然。有时候，如果对一件事执念太深，不肯放过自己，会让心负重太多。听过一句话说：没有谁能折磨一个人，除了他自己。人若想真正获……震撼全场！马上发布的这顶配旗舰，太卷了吧在开始今天文章之前，懂哥先考小伙伴们一个小问题。大伙觉得嗷，今年手机圈的发展方向，会是哪些方面呢？懂哥认为有两个方面，一方面是潜望长焦镜头，另一方面是折叠屏手机。……山西男篮球员张宁用自己的表现证明8年、8号、第八顺位山西男篮球员张宁说：我的路，顺逆无常，而我的故事，真的不易但非常精彩。张宁用自己的表现证明，大学生球员不仅可以打CBA职业联赛，而且可以打得很好。20……鄂州新增一公园！投资13。8亿元，九大特色等你体验总投资13。8亿元九大特色业态3月22日上午前海湖渔猎农业公园首期启动项目鄂州市梁子湖未来芳洲乡村振兴项目在梁子湖区东沟镇茅圻村盛家湾鸣笛开……一毕业就拿20W！积云教育Java大数据学子工资凭啥这么高？当你在各大电商平台疯狂买买买时，平台总会根据你的喜好，给你推荐更多；当你在订餐平台下单，吃到自己喜欢的美食，第二天不用选，就看到了更多适合你口味的美食推荐；当你在刷……巴黎奥运会和残奥会志愿者招募即将开启这是3月21日拍摄的新闻发布会现场屏幕。新华社记者高静摄当日，巴黎2024年奥运会和残奥会志愿者招募启动仪式在位于法国巴黎北郊圣但尼的巴黎奥组委总部举行，巴黎奥组委宣布将……没等到李梦的发声，却等来关闭评论，原来情人节就有大V吐槽过吃瓜吃瓜，最近吃的都是娱乐圈明星的瓜，没有想到在3月18日，全民吃了一个体育界大明星的瓜，难道在绯闻八卦方面，也要文体不分家，让人唏嘘不已。这位大明星就是女篮运动员李梦，……中国最后的枪手部落腰间佩刀肩上扛枪的猎手，如今在景区看大门中国是个禁枪的国家。但在贵州黔东南，有这样一个部落，他们全民合法持枪，这是中国最后的枪手部落：岜沙。作为世界最原始的部落之一，岜沙人一直固守着最传统的生活方式，刀耕……寻访江苏红色地名丨新四军第三师师部旧址传承铁血基因的抗日雄狮来源：交汇点新闻客户端交汇点讯位于盐城市阜宁县益林镇西南村的新四军第三师师部旧址，是一处具有仿古建筑风格的小院，由新四军第三师纪念馆和几间民房组成。从正门入内，东侧坐落着……合肥警方征集犯罪团伙线索，亚运会散打冠军在列来源：新安晚报10月9日，合肥警方发布通告，征集少爷山中狼等人违法犯罪线索，并附了19名犯罪嫌疑人照片及个人信息。其中一名叫李腾的嫌疑人，引起了人们的关注。新安晚报……