scrapy1.5中文文档:细说Scrapy概述

时间:2018-07-17 16:01作者:scrapy中文网阅读:

这久可能是天降大任于小编,于是乎心志也苦、筋骨亦劳、关键是时间也无,因此直到现在才开始给大家细细的说说scrapy!希望诸君不要见怪,如果你非要见怪,那我也只能见怪不怪,你非要用我的错误惩罚自己,我又有神马办法呢?哎!不如收拾脾气,继续听我吹牛13,我想这才是最完美的选择!

scrapy1.5中文文档

前面的文档(scrapy快速入门),主要以囫囵吞枣的形式,让诸君快速了解哈scrapy到底是神马鬼,如果聪明的你看完上面就会了scrapy,并且觉得够用了,那下面的废话就不用看了,省得浪费时间,我想很多小伙伴学习之意不在爬虫,而是数据,既然上面的内容已经能得到你想要的东东,那scrapy的细节也就多此一举,但如果上面你看完之后还晕乎乎的,那从这节开始,便是为诸君炼制定心丸,慢慢吃下去,你就会越来越清晰;
scrapy中文文档
下面我们就来说说scrapy细说的脉络,也就要怎样把scrapy细说下去,这个非常重要,希望诸君耐心看完,可以说这一篇是细说的提纲。我们学任何一样东西,用类比的方法会让你学得很快,scrapy也如此。那我们到底要如何类比学习scrapy呢?其实scrapy就是一段python程序,而程序最终的目的就是帮人完成重复的工作,也就是我们所说:重复的工作让程序去做!那这样的话我们便能去做更具有创造性的工作,比如谈恋爱、画画、写scrapy1.5中文文档……知道了这点,那接下来我们就可以开始类比学习了。首先来看,我们一直在重复什么?肯定是在重复的采集数据,那我们重复了哪些过程:

举个手工采集的栗子:比如我们要分析2018年2月14这一天,淘宝前10名套套的销量,如果我们不适用程序,不适用爬虫,那我们的做法一般是:

for  10 {

1、打开页面(打开淘宝,搜索:套套,选择:销量从高到低);
2、提取数据(复制第一家的销量);
3、保存数据(保存销量到txt、Excel或是数据库);

}

重复上面动作10次,直到把前10名数据都复制、粘贴完为止!人类是便是这样重复的!以此类推,既然爬虫是替人重复的执行上面的过程,那当然它要完成这几个动作:打开页面、提取数据、保存数据。这样一类比,那scrapy就灰常简单了,我们只要搞清楚三个问题:

1、scrapy如何打开页面?
2、scrapy如何提取数据?
3、scrapy如何保存数据?

搞清楚这些问题,那scrapy你就能完全的掌握!这便是scrapy细说的提纲!似不似很有逻辑性,感觉很简单?你们也不看看这是谁写的文档,哈哈哈……

scrapy1.5中文文档

评论去哪里了?

由于搜狐畅言广告越来越丧心病狂,用它一个评论,半个网页都被它占领,感觉已经把灵魂出卖给了魔鬼!SO,为了息众怒小编只能暂且关闭评论,若您实在想找我说话,欢迎关注公众号,给我留言,么么哒!