python爬app ios_随便找了一个网站爬取苹果APP排行榜，附源码，共同学习

拼搏现实的明天。 2022-11-05 12:50 152阅读 0赞

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

RT，随便找了个网站练习，爬取APP信息然后写入数据库。新手写的比较乱，请见谅。源码如下：

\#encoding:utf-8

import requests,io,sys,re,pymysql

from bs4 import BeautifulSoup

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

url='https://www.applehunt.com/top'

headers=\{

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36'

\}

wants=\{\}

def spider\_bang(classs):

response=requests.get(url,headers=headers)

soup=BeautifulSoup(response.text,'lxml')

pays=soup.find\_all('td',class\_=classs)

tits=\[\]

leis=\[\]

prices=\[\]

for pay in pays:

titles=pay.find\_all('h4')

ps1s=pay.find\_all('p')\[0\].text.split('：',1)\[1\]

ps2s=pay.find\_all('p')\[1\].text.encode('utf-8').decode('utf-8')

ps2s=re.findall('价格：¥(.\*?).00',ps2s)

wants\['是否收费'\]=classs

for title in titles:

title=title.text

wants\['APP名称'\]=title

wants\['APP类别'\]=ps1s

for ps2 in ps2s:

wants\['价格'\]=ps2

print(wants)

db = pymysql.connect(host='localhost', user='root', password='xxxxxxx', port=3306, db='mysql')

cursor = db.cursor()

table = 'topapp'

keys = ', '.join(wants.keys())

values = ', '.join(\['%s'\] \* len(wants))

sql = 'INSERT INTO \{table\}(\{keys\}) VALUES (\{values\})'.format(table=table, keys=keys, values=values)

if cursor.execute(sql, tuple(wants.values())):

print("Succesful")

db.commit()

if \_\_name\_\_ == '\_\_main\_\_':

classss=\[

'pay',

'free',

'all'

\]

for classs in classss:

spider\_bang(classs)

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关使用fiddler 爬取手机app资源

前言：网页抓包比较简单，一般浏览器按 F12 就可以分析请求过程，稍微麻烦点的借助抓包工具 wireshark 或者 fiddler 也没啥问题。其实app抓包核心就是

痛定思痛。/ 2023年06月28日 08:43/ 0 赞/ 71 阅读

相关 Python爬取小说网站总推荐排行榜所有小说~

文章目录前言一、相关环境配置二、使用步骤 1.引入库 2.获取网页数据 3.解析数据 4.保

我就是我/ 2022年12月12日 04:55/ 0 赞/ 326 阅读

相关 python爬app ios_随便找了一个网站爬取苹果APP排行榜，附源码，共同学习

该楼层疑似违规已被系统折叠隐藏此楼查看此楼 RT，随便找了个网站练习，爬取APP信息然后写入数据库。新手写的比较乱，请见谅。源码如下： \encoding:utf-8

拼搏现实的明天。/ 2022年11月05日 12:50/ 0 赞/ 153 阅读

相关 python 获取淘宝 app 数据_python-爬取app上数据

计算机基础较弱，最近天天看app，眼睛疼，就顺便学了下抓些数据。一，下载Fiddler，直接从官网上就可以下载，我当时下载的时候因网速不行下载了好多遍才下载好。我用MA

￡神魔★判官ぃ/ 2022年10月31日 13:51/ 0 赞/ 420 阅读

相关 Python爬取某网站文档数据完整教程（附源码）

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本开发环境 Python 3.6 Pycharm

一时失言乱红尘/ 2022年10月23日 12:46/ 0 赞/ 251 阅读

相关爬取美女图片(python源码)

使用requests库 + 网页分析 import requests 爬取美女图片 url = "http://m.mm131.com/xingg

素颜马尾好姑娘i/ 2022年06月06日 00:27/ 0 赞/ 406 阅读

相关爬取手机APP数据

爬取APP数据流程： 1、使用抓包工具； 2、手机使用代理； 3、获取并分析接口； 4、反编译apk获取key； 5、突破反爬限制。工具： 1、夜神

朴灿烈づ我的快乐病毒、/ 2022年02月22日 10:25/ 0 赞/ 729 阅读

相关 Python自动化爬取App数据

![Python自动化爬取App数据][Python_App] 基本环境配置版本：Python3 系统：Windows 需要安装： 1.JDK - Dow

淩亂°似流年/ 2022年02月15日 00:23/ 0 赞/ 501 阅读

相关 python爬取app数据

python环境部署 python环境部署这里不做叙述 MYSQL操作安装MySQL驱动由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需

桃扇骨/ 2021年12月21日 13:15/ 0 赞/ 494 阅读

相关网页源码爬取

java实现网络爬虫爬取单一页面 package liuwenwu.test; import java.io.; import java

「爱情、让人受尽委屈。」/ 2021年10月20日 00:56/ 0 赞/ 516 阅读