创建或修改目录:/www/wwwroot/104.219.215.234/data 失败!
发布日期:2024-09-25 12:58 点击次数:133
''' 爬取豆瓣电影排名榜 设想想路: 1、先赢得电影类型的名字以及独到的编号 2、将编号向ajax发送get苦求赢得想要的数据 3、将数据存放进excel表格中 '''蝴蝶谷中文网
环境部署:
软件装配:
Python 3.7.6
官网地址:https://www.python.org/
装配地址:https://www.python.org/ftp/python/3.7.6/python-3.7.6-amd64.exe
PyCharm 2020.2.2 x64 位
官网地址:https://www.jetbrains.com/pycharm/download/#section=windows
参考教程:https://www.jb51.net/article/197466.htm蝴蝶谷中文网
模块装配(掀开cmd或powershell进行底下的高歌装配【前提需要有python】):装配requests模块、lxml模块(发送苦求,xpath赢得数据)
辽宁干部在线学习网装配xpathhelper插件(不错在网页中复制相应的节点xpath旅途并搜检)
1、下载地址:
畅通: https://pan.baidu.com/s/1zfpnrnFtZaxrgqrUX9y5Yg
索要码: fmsu
2、window平台下: · 把文献的后缀名crx改为rar,然后解压到同名文献夹中 · 掀开谷歌的推广要领 ——> 插足到解决解决推广要领中 · 掀开栽培者模式,通过加载已解压的推广要领,将插件导入 3、ios平台下: · 获胜将crx文献拖进推广要领中
装配xlwt模块(将数据存放进excel表格)
时势中需要引入的模块:
使用历程:
在列表中填写所需要赢得的电影类型名 输入驱动时赢得的start以及赢得些许数据的limit 填写所要输出的excel表格的名字(代码中默许douban.xls) 要领运行限定后掀开excel考证数据是否赢得 不雅察我方所需的数据完满代码:
效力图pycharm 运行台
excel表格流露
本案例笔者的认识是策画先赢得到每一个电影类型的前100个数据,然后在excel表格中进行评分的筛选,终末不雅察现阶段某个电影类型中哪些电影在豆瓣电影中评分较高的
到此这篇对于python爬取豆瓣电影排名榜(requests)的著述就先容到这了蝴蝶谷中文网,更多关连python爬取豆瓣电影骨子请搜索剧本之家昔日的著述或延续浏览底下的关连著述但愿大家以后多多撑持剧本之家!
您可能感兴致的著述: Python对中国500强排名榜数据进行可视化分析实战 Python鸠合某度贴吧排名榜实战示例 python爬取网易云音乐排名榜实例代码 Python反爬实战掌持酷狗音乐排名榜加密规定 奈何使用python爬取B站排名榜Top100的视频数据 Python爬虫之爬取哔哩哔哩热点视频排名榜 使用Python竣事不同需求的排名榜功能