《Python网络爬虫技术》教学进度表.docx

《《Python网络爬虫技术》教学进度表.docx》由会员分享，可在线阅读，更多相关《《Python网络爬虫技术》教学进度表.docx（3页珍藏版）》请在第一文库网上搜索。

1、学院课程教学进度计划表（2020学年第二学期）课程名称PVthOn网络爬虫技术授课学时64学时主讲（责任）教师参与教学教师授课班级/人数专业（教研室）填表时间专业（麴f室）主任教务处编印年月一、课程教学目的通过本课程的学习，掌握使用PythOn基本语法完成爬虫任务编写，使用ReqUeStS库向指定网址发送请求，XPath或BeaUtifUISoUP库对静态网页进行解析，Se1eniUm库爬取动态页面；使用JSoN文件、MySQ1数据库、MongoDB数据库对爬取下来的数据进行存储；使用表单登录方法、Cookie登录方法实现模拟登录；使用HTTPAna1yzer和Fidd1er工具抓包，并分析终

2、端协议；使用SCraPy框架进行网页内容爬取，理论结合实践，每个章节中都配有多个案例，为学生将来从事数据采集、数据爬取的工作、研究奠定基础。二、教学方法及手段本课程将采用理论与实践相结合的教学方法。在理论上，通过任务引入概念、原理和方法。在实践上，充分地利用现有的硬件资源，发挥学生主观能动性，指导学生按照Pyeharm、MySQ1MongoDB作为数据爬取的基础环境，使用Requests或者UH1ib3发送请求，使用XpathxBeaUtifU1SOUP或者正则表达式进行页面解析，使用Se1eniUm进行动态页面解析，使用JSON文件、MySQ1数据库或者MongoDB数据库进行数据存储，使用

3、POST请求模拟登录网站，使用HTTPAna1yzer或者Fidd1er工具对终端数据进行爬取，使用Scrapy框架进行内容爬取解析，引导学生将所学知识与企业需求相结合，将知识活学活用。要求学生自己动手分析实例，学习基本理论和方法，结合己有的知识，适当组织一些讨论，充分调动学生的主观能动性，以达到本课程的教学目的。三、课程考核方法突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业（10%）+课堂参与（20%）+期末考核（70%）,期末考试建议采用开卷形式，试题应包括发送HTTP请求、解析静态网页内容、解析动态网页内容、数据存储为JSoN文件、数据存储到MySQ1数据库、数

4、据存储到MongoDB数据库、使用表单和COokie模拟登录、使用HTTPAnaIyzer获取PC端数据、使用Fidd1er获取APP端数据、Scrapy框架使用等部分，题型可采用判断题、选择、简答、编程题等方式。Python数据分析与应用教学日历周次学时授课内容作业要求备注14第1章了解爬虫与爬虫环境第1章实训，思考题，课后习题24第2章爬虫基础知识准备（1）第2章实训1,思考题，课后习题34第2章爬虫基础知识准备（2）第3章简单静态网页爬取一一获取某企业官网基本信息（1）第2章实训2,思考题，课后习题44第3章简单静态网页爬取一一获取某企业官网基本信息（2）第3章实训1、实训254第3章简

5、单静态网页爬取一一获取某企业官网基本信息（3）第3章实训364第3章简单静态网页爬取一一获取某企业官网基本信息（4）第3章思考题74第3章简单静态网页爬取一一获取某企业官网基本信息（5）第4章爬取动态网页一一获取图书基本信息（1）第3章课后习题84第4章爬取动态网页一一获取图书基本信息（2）第4章实训194第4章爬取动态网页一一获取图书基本信息（3）第4章实训2104第4章爬取动态网页一一获取图书基本信息（4）第4章思考题、课后习题I14第5章模拟登录一一登录某企业官网（1）第5章实训124第5章模拟登录一一登录某企业官网（2）第6章终端协议分析一一获取某音乐PC客户端和APP数据（1）第5章思考题，课后习题134第6章终端协议分析一一获取某音乐PC客户端和APP数据（2）第6章实训144第6章终端协议分析一一获取某音乐PC客户端和APP数据（3）第7章使用Scrapy爬虫一一爬取某企业官网新闻动态（1）第6章思考题，课后习题154第7章使用Scrapy爬虫一一爬取某企业官网新闻动态（2）第7章实训164第7章使用Scrapy爬虫一一爬取某企业官网新闻动态（3）第7章思考题，课后习题