python3 requets+re 批量爬取千千(原百度)音乐

Dear 丶 2022-04-14 03:30 432阅读 0赞

以前实验室同学需要文章和音乐，需要用爬虫爬.....要做东西参加比赛，表示好久都没写爬虫了....正如今天的正题，批量爬取千千音乐（原百度音乐）...博主会写下爬取的过程和心得（采坑记录），批量下载的音乐的有效代码虽然才50多行，但是采坑会花费大量时间和精力...

老规矩放几张镇楼图正好博主也正在爬数据.....代码会自动创建在桌面的文件夹，里面包含8种类别的子文件夹（文件夹的种类会随着tag类别列表中个数增加而增加，可以更改，增加或者删除），子文件夹中会保存音乐。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 2][]

首先进入千千音乐首页，点击[千千音乐][Link 1]，然后进入分类：会发现有很多种类的音乐，我们要批量爬取就需要解析每一类的音乐，当然这里面有的类，都可以在tag列表里面添加或者修改。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 3][]

**我们点击安静类别的音乐，发现列出20首音乐在每一页页面上，都在网页中li标签中，每一首歌都有一个独有的song\_id**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 4][]

当我们点击页面 那首歌，就会进入播放页面，播放当前音乐，因为服务器有请求音乐的连接，但是被隐藏起来在，所以不得不花费大量时间去找。

由于博主踩过了很多坑，这里我就直接告诉大家音乐的连接怎么找，每一首的音乐资源都会由唯一的song\_id，在js里面再次请求，拿到音乐资源的信息，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 6][]

第一张图上面网址进行请求后会得到，图二的返回歌曲的信息，包括歌曲的源出去，file\_link=后面的地址，进行请求的时候，就能下载,会提示下载如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 7][]

**所以file\_link就是每首歌的地址，当我们直接复制进行请求就能下载了，付费 的歌曲也可以**！是不是很神奇，所以找歌曲的源信息到大概讲解到这里就结束了。

接下来就是50多行代码实现的过程：

定义4个函数，分别如下，Get\_text()实现网页请求得到页面的信息，返回text类型的数据。get\_songId解析每一页20首歌曲的song\_id，返回一个列表，传给下载音乐的函数download\_music使用，进行音乐下载。dowanload\_music就是下载音乐的过程。

def Get_text(url):

def get_songId(html):

def download_music(song_ids,tag):

def main():

接下来，就说下两个函数的要点：main函数里面对每类tag列表中类别进行爬取，然后对多页请求：我们进行多次翻页后对安静类音乐分析：

# http://music.taihe.com/tag/安静 安静第一页
    # http://music.taihe.com/tag/安静?start=20&size=20&third_type=0 安静第二页
    # http://music.taihe.com/tag/安静?start=40&size=20&third_type=0 安静第三页

**可以发现每一类是20首音乐，也就是size=20，第二页：start=20，表示从20开始到请求20首后40结束，第三页：start 40，表示从40开始，请求20首到60结束，所以我们可以发现规律，是第几页就是i\*20开始，size为20的请求，i从0开始，由此可以推得第五页是80开始，到100结束。我们下载100首就循环5次，需要很多就循环更多次。**

def main():
        #音乐类型
        tags=['安静','美好','轻松','舒服','喜悦','想念','唯美','小清晰']
        ##桌面路径（依据每个人的电脑情况可以更改路径）
        path = "D:\QQPCMgr(1)\Desktop\音乐\\"
        #创建每个音乐种类文件夹分类
        for tag in tags:
            #判断每种类别音乐文件夹是否存在，不存在就创建
            if not os.path.exists(path+tag):
                os.mkdir(path+tag)
        tag_url="http://music.taihe.com/tag/"
        for tag in tags:
            #每页20首,下载5页
            for num in range(5):
                start_url=tag_url+tag+"?start=%s&size=20&third_type=0"%str(num*20)
                #获取每页的信息
                html = Get_text(start_url)
                #h获取每页的每首歌的id
                song_ids=get_songId(html)
                #下载
                download_music(song_ids,tag)
    if __name__ == '__main__':
        main()

接下来就下载音乐的函数：我们把每首歌的song\_id拿到后，再去动态拼接资源网址：只需要把songid=后面添加拿到的id就行，再次进行请求得到音乐资源的信息。这个网址可以在F12里面进行找，不是固定的，每一首可能有点不一样，但是都可以用，只需要songid就行。

http://musicapi.taihe.com/v1/restserver/ting?method=baidu.ting.song.playAAC&format=jsonp&callback=jQuery172009464779806914603_1542961432060&songid=%s&from=web&_=1542961435466"%song_id

**把每个id拿去与上面的网址动态拼接，再请求就是每一首歌的信息，由于返回的是json格式的数据，所以需要需要转换成字典，**

**需要用json.loads把数据转换成字典，在去取歌曲的信息。需要的是歌名，歌手，歌曲链接，当然还有其他的也可以自己根据需要获取**。就贴出源码：有问题可以点击左上角头像，微信向博主提问也可以留言反馈...

# coding=gbk
    import requests,re,json,os
    
    def Get_text(url):
        try:
            r=requests.get(url)
            r.raise_for_status()
            r.encoding=r.apparent_encoding
            print("请求成功")
            return r.text
        except:
            print("请求失败")
    
    def get_songId(html):
        #正则取出每一页歌曲的songid
        songIds=re.findall(r'<a href="/song/(.*?)".*?',html)
        # print(songIds)
        return songIds
    def download_music(song_ids,tag):
        for song_id in song_ids:
            #拼接每一首歌的songid
            url="http://musicapi.taihe.com/v1/restserver/ting?method=baidu.ting.song.playAAC&format=jsonp&callback=jQuery172009464779806914603_1542961432060&songid=%s&from=web&_=1542961435466"%song_id
            #再次请求
            html=Get_text(url)
            try:
                #z正则取出songid
                data=re.findall(r'\((.*?)\)',html)[0]
                #转换成字典
                data=json.loads(data)
            except:
                continue
            print("歌曲地址："+data['bitrate']['file_link'])
            try:
                print("歌曲："+data['songinfo']['title'])
                print("歌手："+data['songinfo']['author'])
            except:
                continue
            author=data['songinfo']['author']
            song_name=data['songinfo']['title']
            url=data['bitrate']['file_link']
            try:
                sorce=requests.get(url)
                print("音乐%s获取成功"%song_name)
            except:
                print("*****音乐%s获取失败****"%song_name)
                continue
            #存储在桌面的文件路径下
            path="D:\QQPCMgr(1)\Desktop\音乐\\"
            name=tag+'/'
            with open(path+name+author+'-'+song_name+'.mp3',"wb") as file:
                try:
                    file.write(sorce.content)
                    file.close()
                    print("##%s下载成功##"%song_name)
                except:
                    print("***********%s下载失败*********"%song_name)
    
    def main():
        #音乐类型
        tags=['安静','美好','轻松','舒服','喜悦','想念','唯美','小清晰']
        ##桌面路径（依据每个人的电脑情况可以更改路径）
        path = "D:\QQPCMgr(1)\Desktop\音乐\\"
        #创建每个音乐种类文件夹分类
        for tag in tags:
            #判断每种类别音乐文件夹是否存在，不存在就创建
            if not os.path.exists(path+tag):
                os.mkdir(path+tag)
        tag_url="http://music.taihe.com/tag/"
        for tag in tags:
            #每页20首,下载5页
            for num in range(5):
                start_url=tag_url+tag+"?start=%s&size=20&third_type=0"%str(num*20)
                #获取每页的信息
                html = Get_text(start_url)
                #h获取每页的每首歌的id
                song_ids=get_songId(html)
                #下载
                download_music(song_ids,tag)
    if __name__ == '__main__':
        main()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70]: /images/20220414/d719d841483440f3bfa26b1977916c8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 1]: /images/20220414/2b4b09f289f94f4e9005f63dec332193.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 2]: /images/20220414/869b31bba7f0403f8944775a69b28b2b.png
[Link 1]: http://music.taihe.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 3]: /images/20220414/51610d90f46147b5a747f7bc0173c71e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 4]: /images/20220414/c8f42bbce6ac4958879cd42734eedfae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 5]: /images/20220414/0e380c5b53934b7b8d5eacf294e45012.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 6]: /images/20220414/4f9976d322fc41dead13da998e7c6dd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21lbW9yeV9xaWFueGlhbw_size_16_color_FFFFFF_t_70 7]: /images/20220414/d90630fdce544d7589823224b5becc5c.png