六:运行爬虫crawl +爬虫名
就能运行这个爬虫,会看到爬取的数据,以及显示的爬取状态,请求次数,深度,响应次数,调度次数....不得不说相比 真的很快
温馨提示:在命令窗口不怎么方便观察,可以在运行爬虫的命令后面追加 -o 文件名.后缀格式(.csv.json等)
eg: crawl-o .csv
运行结束后,点击一下爬虫文件,就会看到有个保存的文件,如下:
在csv文件里面,最上面一行,是我们在item定义的字段,每一个字段对应一列内容,知识没有对齐,可以看到倒数第二列就是序号,翻到csv文件最后,看最后一行倒数第二列,可以看到序号为250说明,我们爬取的数据都保存完毕,爬取十分成功!
- 2023全新UI的AI网址导航系统源码+基于Thinkphp6框架开发的
- 基于Thinkphp6框架全新UI的AI网址导航系统源码
- TCP/IP网络编程 学习笔记_11 --多进程服务器端
- 《TCP/IP网络编程》第 10 章 多进程服务器端 笔记
- 1 【容灾系统搭建】网络杂谈之容灾系统如何搭建?
- 知乎动态数据加载爬虫
- 透视俄乌网络战之一:数据擦除软件
- 记住这些windows网络操作命令,轻松搞定自己的电脑网络!
- 【帅琪达】电脑锁屏再重新打开后无网络 三步搞定
- java知乎爬虫