网络爬虫框架scrapy 初试 爬取豆瓣电影top250( 二 )


六:运行爬虫crawl +爬虫名
就能运行这个爬虫,会看到爬取的数据,以及显示的爬取状态,请求次数,深度,响应次数,调度次数....不得不说相比 真的很快
温馨提示:在命令窗口不怎么方便观察,可以在运行爬虫的命令后面追加 -o 文件名.后缀格式(.csv.json等)
eg: crawl-o .csv
运行结束后,点击一下爬虫文件,就会看到有个保存的文件,如下:
在csv文件里面,最上面一行,是我们在item定义的字段,每一个字段对应一列内容,知识没有对齐,可以看到倒数第二列就是序号,翻到csv文件最后,看最后一行倒数第二列,可以看到序号为250说明,我们爬取的数据都保存完毕,爬取十分成功!