本文共 494 字,大约阅读时间需要 1 分钟。
@python爬虫基础(一)—0基础也能看得懂
爬虫介绍:
什么是网络爬虫? 网络爬虫就是可以很方便地获取到网络中的数据。为什么要使用爬虫获取数据?
在大数据时代效率和成本是非常重要的,使用爬虫就可以非常高效便捷地获取到数据。爬虫的不同作用:
采集资源; 使用爬虫程序实现投票或点赞的效果; 可以编写程序抢票; 可以抢购商品等等。爬虫的分类:
根据被爬取的网站数量区分爬虫类型,可分为通用网络爬虫和聚焦网络爬虫 通用网络爬虫:在全网范围内爬取网页信息,如百度、GOOGLE搜索引擎。 全网爬取数据信息 聚焦网络爬虫:专门爬取某一个或某一类网站的爬虫。 根据是否以获取数据为目的,可以将爬虫分为增量式网络爬虫和功能性网络爬虫 增量式网络爬虫:如爬取电影等,会爬取到越来越多的数据 功能性网络爬虫:如投票点赞等,实现某些特定的功能网页的三个特征
①网页都有自己的URL(统一资源定位符):网址 ②网页都使用HTTP(超文本传输协议) http和https是两个协议:http是HyperText Transfer Protocol的缩写,表示超文本传输协议ÿ转载地址:http://gmoxi.baihongyu.com/