scrapy mongodb存储(一):mongodb安装设置

时间:2018-01-02 16:29:05作者:scrapy中文网阅读:

我们使用scrapy刷刷爬取数据之后,总要找个地方存起来,数据量少,用excel还能妥善管理,太大:上百万、上千万只能用数据库了,这系列scrapy教程,我们来介绍如何把scrapy数据存入mongodb。首先我们介绍在win7下如何安装mongodb!安装过程之所以要啰嗦一下,因为mongodb安装过程有点扯犊子,并非下一步、下一步就ok,还需要我们设置一下他的数据目录、以及把mongodb设置为一个服务,这样的话我们才能更方便启动、关闭,基于这些繁琐的过程,所以再说一说!首先的话,还是需要去下载相应版本!

一、mongodb 下载

去官网下载的话,跟着链接左跳、右跳,绕了一大圈,没找到下载地址,有些时候还打不开!发现还有另外一个地址:http://dl.mongodb.org/dl/win32/x86_64 也是mongodb官网的,直接打开,下载即可,方便、快捷!我的是win7 64位,我下最新版3.4,如下:
scrapy mongodb
好了,下载的就是上面框起来的版本,如果你懒得下载,我们帮你下好了,点击:mongodb下载

二、mongodb安装

上面下载的是绿色版,直接解压就算是安装了,解压的话你随意,我这里的话放在了E:盘,然后看着文件名太长,又重命名为:mongodb,看着顺眼多了!

三、设置

设置主要是创建mongodb数据存放目录,也就是scrapy爬来的数据存放的地方,还有就是它的日志目录,我们总得找一个地方存放,还有mongodb的一些配置文件,这些东东我们就把它们统统放在mongo目录下。首先创建一个data目录(用于存放数据),再创建一个:logs目录用于存放日志,logs下面我们需要新建一个文本,并重命名为:mongo.log,还需要创建一个配置文件:mongo.conf(新建文本,重命名即可),里面添加如下内容(特别提醒你需要根据你安装、创建的目录设置,千万别跟着我下面的目录)

dbpath=E:\mongodb\data #数据库路径  
logpath=E:\mongodb\logs\mongo.log #日志输出文件路径  
logappend=true #错误日志采用追加模式  
journal=true #启用日志文件,默认启用  
quiet=true #这个选项可以过滤掉一些无用的日志信息,若需要调试使用请设置为false  
port=27017 #端口号 默认为27017  

我们看一下创建的文件夹、文件效果:
scrapy mongodb
接下来我们需要进入mongodb bin目录下,执行命令:
mongod --config "E:\mongodb\mongo.conf"  
稍等片刻,如果data下面或mongo.log里有内容输出,在浏览器输入:127.0.0.1:27017,看能不能出现这么一段字符:It looks like you are trying to access MongoDB over HTTP on the native driver port.,如果出现,恭喜你安装成功!
scrapy存储mongodb
四、添加为服务

到这里的话你可能要问,就可以了?那我要肿么启动,结束呢?我要像启动mysql那样,在命令行输入:net start mysql启动、输入:net stop mysql结束怎么办?这就需要把mongodb注册为服务,我们需要这么做,还是需要进入:mongodb bin目录下,然后执行下面命令:
mongod --config "E:\mongodb\mongo.conf"   --install --serviceName "mongodb"  
其中:E:\mongodb\mongo.conf 路径需要根据你创建的mongo.conf查找,后面的“mongodb”就是服务的名称,设置了要记得,后面我们才可以启动,经过这么一个设置,我们在命令行输入:

net start mongodb

可以看到已经成功启动,如果我们在bin目录输入:mongo,那就能查看相应mongodb版本,如果你需要在每一个目录都能执行mongo命令,那只需要在环境变量设置bin路径即可!
scrapy mongodb
还是教大伙设置哈:计算机右键——属性——高级系统设置——环境变量——系统环境变量——Path——变量值,然后在最后面添加  ;E:\mongodb\bin  注意前面有个英文状态的分号,一定不要写错! 
scrpay mongodb
经过这么一个设置,我们在启动mongodb服务后在任何目录都能执行mongodb命令了,如下图,并非在bin目录执行mongo命令,也可以正常输出:
scrapy mongodb
好了,上面就是windows平台mongodb安装步骤,快试试吧,有疑问,别忘了访问scrapy中文网解答哟!

评论去哪里了?

由于搜狐畅言广告越来越丧心病狂,用它一个评论,半个网页都被它占领,感觉已经把灵魂出卖给了魔鬼!SO,为了息众怒小编只能暂且关闭评论,若您实在想找我说话,欢迎关注公众号,给我留言,么么哒!

相关文章