找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 87|回复: 0

[求助] Python + Selenium +Chrome 批量下载网页代码修改

1

主题

1

帖子

1

积分

贫民

积分
1
王子殿下 发表于 2020-2-16 10:22:27 | 显示全部楼层 |阅读模式
Python + Selenium +Chrome 批量下载网页代码修改
主要修改以下代码可以调用 本地的 user-agent.txt 和 cookie.txt
来达到在登陆状态下 批量打开并下载网页,以网页ID来保存为网页文件名
# 导入 webdriver
from selenium import webdriver

# 读取本地文件中的URL链接
address = './url.txt'
fp = open(address, 'r')
lines = fp.readlines()
print('【URL链接】:%s', lines)

# 调用环境变量指定的PhantomJS浏览器创建浏览器对象
# driver = webdriver.PhantomJS()
driver = webdriver.Chrome()
# 如果没有在环境变量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))

for data in lines:

# get方法会一直等到页面被完全加载,然后才会继续程序,通常测试会在这里选择 time.sleep(2)
driver.get(data)

# 向下滚动10000像素
js = "document.body.scrollTop=10000"
# js="var q=document.documentElement.scrollTop=10000"

# 执行JS语句
driver.execute_script(js)

# 查看页面快照
# driver.save_screenshot("csdn.png")

print('执行中。。。')

# 关闭浏览器
driver.quit()
print('执行结束。。。')

# 关闭文件流
fp.close()

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表