《网络爬虫项目实践》 教案 李程文 项目3、4 scrapy框架爬虫、分布式爬虫.docx

《《网络爬虫项目实践》 教案 李程文 项目3、4 scrapy框架爬虫、分布式爬虫.docx》由会员分享，可在线阅读，更多相关《《网络爬虫项目实践》 教案 李程文 项目3、4 scrapy框架爬虫、分布式爬虫.docx（10页珍藏版）》请在第一文库网上搜索。

1、项目三SCraPy框架爬虫教案课程名称：网络爬虫项目实践课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：3学时一、材料清单（1）网络爬虫项目实践教材。（2）配套PpT。（3）引导性提问。（4）探究性问题。（5）拓展性问题。二、教学目标与基本要求1教学目标本项目分为三个任务，任务1通过当当网的爬取演示如何使用Scrapy的基本使用，任务2通过赶集网的登录演示Scrapy的模拟登录功能,任务3通过失信人信息爬取演示Scrapy爬取复杂网站的方法。2.、基本要求（1）掌握使用SCraPy创建爬虫项目的方式(2)掌握SCraPy

2、创建爬虫文件命令的使用(3)掌握使用Scrapy进行数据爬取的基本方法(4)掌握使用SCraPy模拟登录赶集网的方法(5)掌握将爬取结果存储到MySQ1数据库的方法(6)掌握AjaX数据爬取方式三、问题1 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。(1) Scrapy项目是由哪些主要文件和目录组成的？(2) SCraPy如何定义提取的结构化数据(Item)?(3) SeraPy如何编写爬虫(Spider)并从网页中提取I1em?2 .探究性问题探究性问题需要教师深入钻研教材的基础上

3、精心设计,提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。(1) Scrapy如何使用管道(PiPe1ine)来存储或处理提取到的Item?(2) SCraPy如何使用中间件(Midd1eWare)来自定义下载或处理请求和响应？(3) Scrapy如何使用选择器(SeIeCtOr)或Beautifu1Soup来解析HTM1或XM1文档？3 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题

4、。(1) SCraPy如何使用信号(Signa1)来在爬虫的不同阶段执行自定义操作？(2) SCraPy如何使用扩展(EXtenSion)来增加或修改SCraPy的核心功能？(3) SCraPy如何使用调度器(SehedUIer)来控制请求的优先级或延迟？四、主要知识点、重点与难点1 .主要知识点(1) Scrapy创建爬虫项目的方式(2) SCraPy常见命令的使用(3) SCraPy模拟登录的方式(4) Scrapy数据存储的方式2 .重点(1) Scrapy创建爬虫项目的方式(2) Scrapy常见命令的使用(3) SCraPy模拟登录的方式(4) SeraPy数据存储的方式3 .难点(

5、1) SCraPy创建爬虫项目的方式(2) SCraPy常见命令的使用(3) SCraPy模拟登录的方式(4) Scrapy数据存储的方式五、教学过程设计1 .理论教学过程（1） Scrapy项目是由一些主要文件和目录组成的，包括scrapy.cfg,items.py,pipe1ines.py,settings.py,spiders等。（2） SCraPy项目中定义了Item类，用来封装提取的结构化数据，类似于PythOn中的字典，但是提供了一些额外的保护减少错误。（3） SCraPy项目中编写了SPider类，用来定义爬虫的行为和逻辑，如起始UR1,请求方式，解析规则等。（4） Scrapy

6、项目中使用了Pipe1ine类，用来处理Spider提取到的Item,并进行后期处理（详细分析、过漉、存储等）。（5） SCraPy项目中使用了MiddIeWare类，用来自定义下载或处理请求和响应，如设置代理、修改头部、重试等。（6） Scrapy项目中使用了Se1ector类,用来解析HTM1或XM1文档，支持XPath和CSS选择器两种语法。（7） SCraPy项目中使用了Engine类,用来负责SPider、ItemPiPeIine、Down1oaderSChedUIer之间的通讯，信号、数据传递等。（8） SCraPy项目中使用了SChedU1er类，用来接受引擎发送过来的ReqUe

7、St请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。（9） SCraPy项目中使用了DoWnIoader类,用来下载SCraPyEngine发送的所有ReqUeStS请求，并将其获取到的Responses交还给ScrapyEngineo（10） SCraPy项目中使用了Signa1类，用来在爬虫的不同阶段执行自定义操作，如爬虫启动、关闭、异常等。（11） 教学过程（1）创建SCraPy项目（2）商品数据爬取（3）商品数据处理（4）获取表单HaShCode（5）获取验证码（6）定义数据模型（7）创建下载器中间件六、教材与参考资料1 .教材李程文，唐建生，冯欣悦.网络爬虫项目实

8、践M.西安：西安电子科技大学出版社.2023.2 .参考资料11赵国生，王健.python网络爬虫技术与实战M.北京：机械工业出版社.2023.21黑马程序员.Py1hOn网络爬虫基础教程M.北京：人民邮电出版社.2023.3罗刚，王振东.Python网络爬虫从入门到精通M.北京：清华大学出版社.2023.项目四分布式爬虫教案课程名称：网络爬虫项目实践课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：3学时七、材料清单（6）网络爬虫项目实践教材。（7）配套PPT。（8）引导性提问。（9）探究性问题。八、教学目标与基本要求3

9、 .教学目标分布式爬虫实现了多台电脑使用一个共同的爬虫程序,它可以同时将爬虫任务部署到多台电脑上运行，这样可以提高爬虫速度，实现分布式爬虫。想要保证多台机器共用一个queue队列和set集合，在scrapy框架中，是需要结合scrapy.redis完成的。分布式爬虫可以让所有机器上的爬虫程序，从同一个queue队列中获取request请求，并且每个机器取出request,请求的对象是不一样的，直到所有的request被请求完毕。本项目分为三个任务，任务1介绍分布式环境搭建，任务2和任务3通过两个项目介绍三种scrapy.redis运行方式。4 .、基本要求(7)掌握VMWare虚拟机的安装方法

10、(8)掌握在CentOS的安装和配置方法(9)掌握在CentOS上安装Python的方法(10)掌握在CentOS中安装部署scrapy方法(11)掌握在CentOS中安装部署scrapy-redis方法(12)掌握克隆虚拟机的方法(13)掌握在WindoWS中安装RediS数据库的方法(14)掌握scrapy-redis的编码方式九、问题1 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。(4)什么是分布式爬虫的优点和缺点？(5)如何使用Redis作为任务队列来实现分布式爬虫？(6)如

11、何使用Scrapy-redis框架来快速搭建一个分布式爬虫？2 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计,提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。(4)如何使用RabbitMQ或Kafka作为消息中间件来实现分布式爬虫？(5)如何使用数据库集群或分片来存储分布式爬虫的数据？(6)如何使用Scrapy的信号机制来监控和控制分布式爬虫的状态？3 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供

12、学生研习探讨，完成拓展性问题。(4)如何使用DOCker或Kubemetes来部署和管理分布式爬虫的容器？(5)如何使用Se1enium或Sp1ash来实现分布式爬虫的动态页面渲染？(6)如何使用Scrapy的扩展机制来增加或修改分布式爬虫的功能？十、主要知识点、重点与难点1 .主要知识点(5) VMWare虚拟机的安装(6) CentOS的安装和配置(7) CemoS安装PythOn(8) CentOS安装部署scrapy(9) CentOS安装部署scrapy-redis(IO)克隆虚拟机(11) Windows中安装Redis数据库(12) scrapy-redis的运行方式2 .重点(

13、1) CentOS安装Python(2) CentOS安装部署scrapy(3) CentoS安装部署SCraPy-redis(4) Windows中安装Redis数据库(5) SCraPy-redis的运行方式3 .难点(1) CentOS安装Python(2) scrapy-redis的运行方式。一、教学过程设计1理论教学过程(H)VMWare虚拟机的安装方法(12)在CentOS的安装和配置方法(13)在CentOS上安装Python的方法(14)在CentOS中安装部署scrapy方法(15)在CentOS中安装部署scrapy-redis方法(16)克隆虚拟机的方法(17)在Wind

14、ows中安装Redis数据库的方法(18)分布式爬取三种方式2.实验教学过程(8)安装VMWare虚拟机(9)1inux安装(10)虚拟机网络设置(11)安装Python(12)安装分布式框架(13)克隆虚拟机(14)安装RediS数据库(15)创建SCraPy项目(16)爬取网页数据(17)爬取网页数据(18)数据存储(19)分布式爬取十二、教材与参考资料1 .教材李程文，唐建生，冯欣悦.网络爬虫项目实践M.西安：西安电子科技大学出版社.2023.2 .参考资料1赵国生，王健.python网络爬虫技术与实战M.北京：机械工业出版社.2023.2黑马程序员.Python网络爬虫基础教程M.北京：人民邮电出版社.2023.3罗刚，王振东.Python网络爬虫从入门到精通M.北京：清华大学出版社.2023.