Python爬虫学习记录——19.去哪儿网模拟登陆

灰太狼 2023-06-11 05:30 114阅读 0赞

### 文章目录 ###

*   *  模拟登陆
     *  Cookie
     *  实战
     *  补充：豆瓣登陆

## 模拟登陆 ##

本篇博客主要是讲解如何模拟登陆去哪儿网，使用的工具是Chrome的开发者工具和requests库。两者都是之前学过的知识，这次我们把它们放在一起应用

**什么是模拟登陆**  
有些网站需要用户登录后才会有权限回去到所需要的信息，此时可以设计爬虫进行模拟登录

**怎么做到模拟登陆**  
把这句话补全就是： 怎么(让机器)模拟(人在浏览器上的行为)登录(指定的网站)。

**实现方式**

*  **方式一**  
    需要使用虚拟的浏览器引擎
    
     *  优点： 适合几乎所有的网站登录，可以人为输入验证码
     *  缺点：速度较慢
    
    步骤：
    
    1.  请求登录页面的url，比如微博的(https://passport.weibo.cn/signin/login)
    2.  分析html中的**表单数据**
        
        1.  找到输入用户名、密码的**输入框**
        2.  把输入框的text域替换成自己的用户名密码
    3.  模拟**点击提交按钮**
 *  **方式二**  
    分析登录信息提交方式，利用浏览器cookie模拟登录
    
     *  优点：轻量，速度快
     *  缺点 ：对技术要求高，对登录机制需要做针对的破解
    
    步骤：
    
    1.  分析网页结构，确认登录方式，例如**扫码登录，账号密码登录**
    2.  若是账号密码登陆，再确认**有无验证码**，及**验证码接口**
    3.  进行**错误**登陆测试，观测登陆系统的**传码方案**、账号密码是否**有加密**、是否有**额外参数**需要寻找、以及登陆需要传入的**cookie**
    4.  根据错误登陆的分析结果，去寻找**额外的参数**和需要传入**cookie的来源**，以及**密码加密函数**
    5.  进入**测试**阶段，反复测试整个过程
    6.  编写代码

在本次项目中我们使用的是更常用的第二种方式：**利用浏览器cookie模拟登录**

## Cookie ##

之前已经提到过Cookie，这里再来复习一下。

*  **Cookie**
    
     *  当用户通过浏览器首次访问一个域名时，访问的Web服务器会给客户端发送数据，以保持Web服务器与客户端之间的状态，这些数据就是Cookie
     *  它是站点创建的，为了辨别用户身份而储存在用户本地终端上的数据，其中的信息一般都是经过加密的，存在缓存或硬盘中，在硬盘中是一些小文本文件
     *  当访问该网站时，就会读取对应网站的Cookie信息
     *  **作用：记录不同用户的访问状态**
 *  **Session**
    
     *  Session是另一种记录客户状态的机制，不同的是Cookie保存在客户端浏览器中，而Session保存在服务器上
     *  客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了
     *  如果说Cookie机制是通过检查客户身上的“通行证”来确定客户身份的话，那么Session机制就是通过检查服务器上的“客户明细表”来确认客户身份。S**ession相当于程序在服务器上建立的一份客户档案，客户来访的时候只需要查询客户档案表就可以了**

## 实战 ##

**整体思路梳理**  
做好了前期的知识储备以后，我们就开始正式模拟登陆了

1.  分析网页登录方式，有三种：扫码登录，账号密码登录，短信验证码登录。最后确认**使用账号密码登录**的方式进行模拟
2.  打开**隐身窗口**（浏览器界面按Ctrl+Shift+N），选择使用账号密码登录后，确认**有验证码验证**，通过分析确认**验证码接口**
3.  尝试错误登录，查看请求页面的**Form Data**，构造**请求函数**，尝试使用爬虫登录，发现报错，去页面查看需要**传入的cookie**，发现需要传入**QN1，QN25，QN271，\_i，\_vi，fid**这几个cookie
4.  寻找**cookie的来源**，使用开发者工具**filter**功能中的**set-cookie-name**，查找cookie的来源
5.  在**Session**中通过**get请求**添加需要的cookie，再次尝试登录

**代码实现**

import requests
    import re
    """ 此代码共分为4部分：初始化模块，获取添加cookies模块，验证码模块，登录模块 """
    
    
    def start_get_session():
        session_ = requests.session()   #得到一个session
        return session_
    
    def get_base_cookies(session_):
        session_.get('https://user.qunar.com/passport/login.jsp')  #获得cookie参数QN1，QN25
        get_image(session_)   #通过调用get_image函数，得到验证码图片
        session_.get('https://user.qunar.com/passport/addICK.jsp?ssl')  #获得cookie参数_i，_vi
    
        """ 由于获取fid参数的url需要cookie参数SESSIONID得到，所以没办法直接得到fid，需要先得到SESSIONID这个参数，再得到fid参数 """
    
        response = session_.get('https://rmcsdf.qunar.com/js/df.js?org_id=ucenter.login&js_type=0')   #经过查找发现SESSIONID在这个js文件中，所以先得到它 
        #查找SESSIONID
        cookie_SE = re.findall(r'&sessionId=(.*?)&',response.text)[0]  #通过正则得到SESSIONID
    
        #获取fid
        session_.get('https://rmcsdf.qunar.com/api/device/challenge.json?callback=callback_1511693290383&'
                     'sessionId={}&domain=qunar.com&orgId=ucenter.login'.format(cookie_SE))
    
        session_.cookies.update({ 'QN271':cookie_SE})  #通过比对发现参数QN271和SESSIONID相同，所以直接加入cookies中
    
    def get_image(session_):
        response = session_.get('https://user.qunar.com/captcha/api/image?k={en7mni(z&'
                     'p=ucenter_login&c=ef7d278eca6d25aa6aec7272d57f0a9a')   #获得二维码的response
    
        with open('./img/code.png' , 'wb') as f:  
            f.write(response.content)   #把二维码存进同级img文件夹下命名为code
    
    def login(session_ , username , password , vcode):
    
        data ={ 
            'loginType': 0,
            'username': username,
            'password': password,
            'remember': 1,
            'vcode': vcode,
        }
    
        url = 'https://user.qunar.com/passport/loginx.jsp'
        response = session_.post(url , data)   #通过post请求方式，模拟登录
        print(response.text)
    
    
    if __name__ == '__main__':   #主程序，程序入口
        session = start_get_session()   #实例化一个session
        get_base_cookies(session)   #调用函数，在session中添加cookie
        username = input('请输入账号：')   
        password = input('请输入密码：')
        vcode = input('请输入验证码：')
        login(session, username, password, vcode)  #调用登录函数

## 补充：豆瓣登陆 ##

import requests
    from bs4 import BeautifulSoup
    from PIL import Image
    
    
    def login(username,password,source='index_nav',redir='https://www.douban.com/',login='登录'):   
        caprcha_id,caprcha_link = get_captcha(url)  
        if caprcha_id:         
            img_html = session.get(caprcha_link)
            with open('caprcha.jpg','wb') as f:
                f.write(img_html.content)
    
            caprcha = input('请输入验证码：')      #把看到的验证码图片输入进去
        data = {                   
            'source':source,
            'redir':redir,
            'form_email':username,
            'form_password':password,
            'login':login,
        }
        if caprcha_id:          #如果需要验证码就把下面的两个数据加入到data里面
            data['captcha-id'] = caprcha_id
            data['captcha-solution'] = caprcha
        session.cookies.update({ '_pk_id.100001.8cb4':'3f610b4a44fcaf90.1511707138.1.1511707138.1511707138','_pk_ses.100001.8cb4':'*'})
        session.get('https://accounts.douban.com/login')
        html = session.post(url,data=data,headers=headers)
        print(html)
        # print(a)
    
    
    
    def get_captcha(url):       #解析登入界面，获取caprcha_id和caprcha_link
        html = requests.get(url)
        soup = BeautifulSoup(html.text,'lxml')
        try:
            caprcha_link = soup.select('#captcha_image')[0]['src']
            caprcha_id = soup.select('div.captcha_block > input')[1]['value']
            return caprcha_id, caprcha_link
        except:
            print('没有验证码')
            return None,None
    
    if __name__ == '__main__':
        headers = { 
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
            'Referer': 'https://accounts.douban.com/login?alias=&redir=https%3A%2F%2Fwww.douban.com%2F&source=index_nav&error=1001'
    
        }
    
        session = requests.Session()
        session.headers.update(headers)
    
        username = input('请输入你的用户名：')
        password = input('请输入你的密码：')
    
        url = 'https://accounts.douban.com/login'
        login(username,password)