全国疫情实时追踪

约定不等于承诺〃 2022-12-05 00:49 451阅读 0赞

## 获取疫情数据 制作百度热搜词云图 ##

### 百度疫情动态全民热搜数据爬取 ###

#### 一、数据爬取 ####

*  1、API版本
    
     *  网址：https://voice.baidu.com/act/virussearch/virussearch?from=osari\_map&tab=0&infomore=1
     *  需求：我们需要 《**今日疫情热搜**》 “新型肺炎实时动态”，“1203723”关键词和他的搜索数量
     *  抓包分析
     *  1、 首先打开chrome开发者工具–>抓包
     *  2、刷新该页面进行抓包缓存
     *  3、在search中搜索带有关键词的数据包
     *  ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxNTMxNjgx_size_16_color_FFFFFF_t_70_pic_center]
     *  打开数据包后可以看到是get请求  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxNTMxNjgx_size_16_color_FFFFFF_t_70_pic_center 1]
     *  在response的json数据的外侧含有jsonp\_1588594097513\_31983(的字符串
     *  在这里有一个下技巧，在请求url中不用携带&sa=osari\_hotword\_tab&cb=jsonp\_1588594097513\_31983了，这样在返回的数据中就不会含有jsonp\_1588594097513\_31983(的字符串了，我们在接下来处理数据就会方便一点。
     *  ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxNTMxNjgx_size_16_color_FFFFFF_t_70_pic_center 2]
     *  对返回的数据json数据观察分析发现
     *  代码如下
    
        def get_baidu_hot():
            url = "https://opendata.baidu.com/api.php?query=%E5%85%A8%E5%9B%BD&resource_id=39258&tn=wisetpl&format=json&sa=osari_hotword_tab"
            res = requests.get(url)
            res = json.loads(res.text)
            # pprint.pprint(res['data'][0]['list'][0]['item'])
            res = res['data'][0]['list'][0]['item']
            rusult = []
            for item in res:
                r = { }
                r['degree'] = item['degree']
                r['content'] = item['query']
                rusult.append(r)
            pprint.pprint(rusult)
            return rusult
 *  2、selenium版本

def get_baidu_hot():
        option = ChromeOptions()  # 创建谷歌浏览器实例
        option.add_argument("--headless")  # 隐藏浏览器
        option.add_argument('--no-sandbox')
        url = "https://voice.baidu.com/act/virussearch/virussearch?from=osari_map&tab=0&infomore=1"
        browser = Chrome(options=option)
        browser.get(url)
        # 找到展开按钮
        dl = browser.find_element_by_xpath('//*[@id="ptab-0"]/div/div[1]/section/div')
        dl.click()
        time.sleep(1)
        # 找到热搜标签
        c = browser.find_elements_by_xpath('//*[@id="ptab-0"]/div/div[1]/section/a/div/span[2]')
        # print(c) # 此时的C 为数组存放着selenium的Object
        context = [i.text for i in c]  # 获取标签内容
        print(context)
        return context

#### 二、数据保存 ####

*  创建数据库工具模块utils.py

def get_conn():
        """ :return: 连接，游标 """
        # 创建连接
        conn = pymysql.connect(host="localhost",
                               user="root",
                               password="zhuang",
                               db="yiqing",
                               charset="utf8")
        # 创建游标global_outbreak
        cursor = conn.cursor()# 执行完毕返回的结果集默认以元组显示
        return conn, cursor
    
    def close_conn(conn, cursor):
        """ :param conn: :param cursor: :return: 关闭连接和游标 """
        if cursor:
            cursor.close()
        if conn:
            conn.close()

*  1、API版本

def update_hotsearch():
        cursor = None
        conn = None
        try:
            context = get_baidu_hot()
            print(f"{time.asctime()}开始更新热搜数据")
            conn, cursor = utils.get_conn() # 新建数据库
            sql = "insert into hotsearch02(dt,content,degree) values(%s,%s,%s)"
            ts = time.strftime("%Y-%m-%d %X") #datatime
            for i in context:
                cursor.execute(sql, (ts,i['content'],int(i['degree'])))  # 插入数据
            conn.commit()  # 提交事务保存数据
            print(f"{time.asctime()}数据更新完毕")
        except:
            traceback.print_exc()
        finally:
            utils.close_conn(conn, cursor)

*  2、selenium版本

def update_hotsearch():
        cursor = None
        conn = None
        try:
            context = get_baidu_hot()
            print(f"{time.asctime()}开始更新热搜数据")
            conn, cursor = utils.get_conn()
            sql = "insert into hotsearch(dt,content) values(%s,%s)"
            ts = time.strftime("%Y-%m-%d %X")
            for i in context:
                cursor.execute(sql, (ts, i))  # 插入数据
            conn.commit()  # 提交事务保存数据
            print(f"{time.asctime()}数据更新完毕")
        except:
            traceback.print_exc()
        finally:
            utils.close_conn(conn, cursor)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxNTMxNjgx_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/21c6c03afddd4412bc7a0ce1faebc29f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxNTMxNjgx_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/ccdddede5b404437a3991fd4316980b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxNTMxNjgx_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/9fd6d4d78e7e40eba3b107d9100f7ca1.png