找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 177|回复: 0

[求助] 关于python request请求ajax加载的页面,无法获取网页内容的...

6

主题

15

帖子

15

积分

贫民

积分
15
Mi思特陈 发表于 2019-7-9 23:16:22 | 显示全部楼层 |阅读模式
7.png 2.png
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
}

t = time.time()
times**p = int(round(t * 1000))

def get_page_index(offset, keyword):
    data = {
        'aid':'24',
        'app_name':'web_search',
        'offset': 0,
        'format':'json',
        'keyword': "街拍",
        'autoload':'true',
        'count':'20',
        'en_qc':'1',
        'cur_tab':'1',
        'from':'search_tab',
        'pd':'synthesis',
        'times**p': times**p
    }
    params = urlencode(data)
    base = 'https://www.toutiao.com/api/search/content/?'
    url = base + params
    print(url)
    try:
        resp**e = requests.get(url, headers=headers)
        if resp**e.status_code == 200:
            #print(resp**e.text)
            return resp**e.text
        return None
    except ConnectionError:
        print('Error occurred')
        return None
运行结果如下图: 3.png
但是真正的结果应该是如下的: 5.png 请各位老师给看看,分析分析!

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表