python爬虫js加密解密系列文章合集

爱被打了一巴掌 2023-07-20 13:53 26阅读 0赞

如何突破网站对selenium的屏蔽

关于js加密解密的专题到此就先告一段落，后面的这个月的专题是其他的反爬虫手段以及python编程的设计模式，js破解方面也会不定期的分享。

[https://intoli.com/blog/making-chrome-headless-undetectable/][https_intoli.com_blog_making-chrome-headless-undetectable]    <<hark新闻>>上刊登了一篇名为“ [检测无头的Chrome][Chrome] ”的短文

[https://antoinevastel.com/bot%20detection/2018/01/17/detect-chrome-headless-v2.html][https_antoinevastel.com_bot_20detection_2018_01_17_detect-chrome-headless-v2.html]

[https://blog.csdn.net/freeking101/article/details/83901842][https_blog.csdn.net_freeking101_article_details_83901842]         mitmproxy   美团

在上个月中，js加密解密系列的文章大概有二十篇左右，主要围绕登陆相关的js来分析，如果对js分析感兴趣的可以参阅，同时也欢迎交流。

[https://www.geek-share.com/detail/2777318397.html][https_www.geek-share.com_detail_2777318397.html]   [极客分享][Link 1]   [公众号][Link 2]

[https://zhuanlan.zhihu.com/c\_1062040839106113536][https_zhuanlan.zhihu.com_c_1062040839106113536]      python之战

《[selenium的封杀与突破，记录一次出师未捷身先死，淘宝、美团对爬虫的深入打击][selenium]》

《[Python实现DES、DES3、AES、RSA、MD5、SHA、HMAC加密方式及示例][Python_DES_DES3_AES_RSA_MD5_SHA_HMAC]》

《[python实现爱奇艺登陆的密码RSA加密][python_RSA]》

《[在分析前端js中，Eval加密解密、js混淆概念及其破解][js_Eval_js]》

《[微信公众平台的登陆密码js加密分析及Python实现][js_Python]》

《[新浪微博PC端登陆js分析及Python实现微博post登陆][PC_js_Python_post]》

《[京东post登陆参数js分析，密码加密的RSA加密实现][post_js_RSA]》

《[京东post登陆参数js分析，验证参数authcode的分析][post_js_authcode]》

《[百度登陆POST参数分析，password及其他字段的js处理][POST_password_js]》

《[百度post参数分析（二）完结，dv、traceid的js来源][post_dv_traceid_js]》

《[58同城post登陆参数分析，典型的eval加密js案例][58_post_eval_js]》

《[python登陆linkedin过程分析，及二次验证（一）][python_linkedin]》

《[Python POST登陆linkedin分析（完），完整实现过程][Python POST_linkedin]》

《[Python爬虫中深不可测的ua参数，爬虫的身份证][Python_ua]》

《[post登陆分析实例，网站自定义password加密方式的分析][post_password]》

《[分析淘宝登陆对selenium爬虫的封杀方案，反爬虫机制的升级][selenium 1]》

《[淘宝封杀selenium的ua算法分析][selenium_ua]》

《[淘宝密码加密方式分析，及python实现][python]》

《[前端AES加密方式分析，及其python实现][AES_python]》

《[腾讯qq空间GET登陆JS分析][qq_GET_JS]》

总结一下分析思路：页面操作抓包——找可以数据包——多抓几个分析可变字段和不可变字段，以及加密字段——逐个字段查找对应js——验证

大体思路是这样，但是还是需要大量的练习才能真正掌握。

下期预告：将着重python模式设计，深入理解模式设计的作用及其应用场景，同时对其他反爬虫手段进行分析，兼顾js分析。

--------------------

使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。

这是不是就意味着selenium真的就无法被网站屏蔽了呢？非也。selenium在运行的时候会暴露出一些预定义的Javascript变量（特征字符串），例如"window.navigator.webdriver"，在非selenium环境下其值为undefined，而在selenium环境下，其值为true（如下图所示为selenium驱动下Chrome控制台打印出的值）。

![format_png][]

除此之外，还有一些其它的标志性字符串（不同的浏览器可能会有所不同），常见的特征串如下所示：

1.  webdriver  
2.  \_\_driver\_evaluate  
3.  \_\_webdriver\_evaluate  
4.  \_\_selenium\_evaluate  
5.  \_\_fxdriver\_evaluate  
6.  \_\_driver\_unwrapped  
7.  \_\_webdriver\_unwrapped  
8.  \_\_selenium\_unwrapped  
9.  \_\_fxdriver\_unwrapped  
10. \_Selenium\_IDE\_Recorder  
11. \_selenium  
12. calledSelenium  
13. \_WEBDRIVER\_ELEM\_CACHE  
14. ChromeDriverw  
15. driver-evaluate  
16. webdriver-evaluate  
17. selenium-evaluate  
18. webdriverCommand  
19. webdriver-evaluate-response  
20. \_\_webdriverFunc  
21. \_\_webdriver\_script\_fn  
22. \_\_$webdriverAsyncExecutor  
23. \_\_lastWatirAlert  
24. \_\_lastWatirConfirm  
25. \_\_lastWatirPrompt  
26. $chrome\_asyncScriptInfo  
27. $cdc\_asdjflasutopfhvcZLmcfl\_

了解了这个特点之后，就可以在浏览器客户端JS中通过检测这些特征串来判断当前是否使用了selenium，并将检测结果附加到后续请求之中，这样服务端就能识别并拦截后续的请求。

下面讲一个具体的例子。

鲲之鹏的技术人员近期就发现了一个能够有效检测并屏蔽selenium的网站应用：大众点评网的验证码表单页，如果是正常的浏览器操作，能够有效的通过验证，但如果是使用selenium就会被识别，即便验证码输入正确，也会被提示“请求异常,拒绝操作”，无法通过验证（如下图所示）。

![format_png 1][]

分析页面源码，可以找到 https://static.meituan.net/bs/yoda-static/file:file/d/js/yoda.e6e7c3988817eb17.js 这个JS文件，将代码格式化后，搜索webdriver可以看到如下代码：

![format_png 2][]

可以看到它检测了"webdriver", "\_\_driver\_evaluate", "\_\_webdriver\_evaluate"等等这些selenium的特征串。提交验证码的时候抓包可以看到一个\_token参数（很长），selenium检测结果应该就包含在该参数里，服务端借以判断“请求异常,拒绝操作”。

现在才进入正题，如何突破网站的这种屏蔽呢？

我们已经知道了屏蔽的原理，只要我们能够隐藏这些特征串就可以了。但是还不能直接删除这些属性，因为这样可能会导致selenium不能正常工作了。我们采用曲线救国的方法，使用中间人代理，比如fidder, proxy2.py或者mitmproxy，将JS文件（本例是yoda.\*.js这个文件）中的特征字符串给过滤掉（或者替换掉，比如替换成根本不存在的特征串），让它无法正常工作，从而达到让客户端脚本检测不到selenium的效果。

下面我们验证下这个思路。这里我们使用mitmproxy实现中间人代理），对JS文件（本例是yoda.\*.js这个文件）内容进行过滤。启动mitmproxy代理并加载response处理脚本：

1.  mitmdump.exe -S modify\_response.py

其中modify\_response.py脚本如下所示：

[view plain][][copy to clipboard][view plain][print][view plain][?][view plain]

1.  \# coding: utf-8  
2.  \# modify\_response.py  
3.    
4.  import re  
5.  from mitmproxy import ctx  
6.      
7.  def response(flow):  
8.    """修改应答数据 
9.    """  
10.   if '/js/yoda.' in flow.request.url:  
11.       \# 屏蔽selenium检测  
12.       for webdriver\_key in \['webdriver', '\_\_driver\_evaluate', '\_\_webdriver\_evaluate', '\_\_selenium\_evaluate', '\_\_fxdriver\_evaluate', '\_\_driver\_unwrapped', '\_\_webdriver\_unwrapped', '\_\_selenium\_unwrapped', '\_\_fxdriver\_unwrapped', '\_Selenium\_IDE\_Recorder', '\_selenium', 'calledSelenium', '\_WEBDRIVER\_ELEM\_CACHE', 'ChromeDriverw', 'driver-evaluate', 'webdriver-evaluate', 'selenium-evaluate', 'webdriverCommand', 'webdriver-evaluate-response', '\_\_webdriverFunc', '\_\_webdriver\_script\_fn', '\_\_$webdriverAsyncExecutor', '\_\_lastWatirAlert', '\_\_lastWatirConfirm', '\_\_lastWatirPrompt', '$chrome\_asyncScriptInfo', '$cdc\_asdjflasutopfhvcZLmcfl\_'\]:  
13.           ctx.log.info('Remove "\{\}" from \{\}.'.format(webdriver\_key, flow.request.url))  
14.           flow.response.text = flow.response.text.replace('"\{\}"'.format(webdriver\_key), '"NO-SUCH-ATTR"')  
15.       flow.response.text = flow.response.text.replace('t.webdriver', 'false')  
16.       flow.response.text = flow.response.text.replace('ChromeDriver', '')

在selnium中使用该代理(mitmproxy默认监听127.0.0.1:8080)访问目标网站，mitmproxy将过滤JS中的特征符串，如下图所示：

![format_png 3][]

经多次测试，该方法可以有效的绕过大众点评的selenium检测，成功提交大众点评网的验证码表单。

参考文章：

[https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver][https_stackoverflow.com_questions_33225947_can-a-website-detect-when-you-are-using-selenium-with-chromedriver]

[http://edmundmartin.com/detecting-selenium/][http_edmundmartin.com_detecting-selenium]

[https://docs.mitmproxy.org/stable/concepts-certificates/][https_docs.mitmproxy.org_stable_concepts-certificates]

特别说明：本文旨在技术交流，请勿将涉及的技术用于非法用途，否则一切后果自负。如果您觉得我们侵犯了您的合法权益，请联系我们予以处理。

☹ Disqus被Qiang了，之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题，欢迎发到我们的问答平台：[http://spider.site-digger.com/][http_spider.site-digger.com]

[https_intoli.com_blog_making-chrome-headless-undetectable]: https://intoli.com/blog/making-chrome-headless-undetectable/
[Chrome]: https://news.ycombinator.com/item?id=14936025
[https_antoinevastel.com_bot_20detection_2018_01_17_detect-chrome-headless-v2.html]: https://antoinevastel.com/bot%20detection/2018/01/17/detect-chrome-headless-v2.html
[https_blog.csdn.net_freeking101_article_details_83901842]: https://blog.csdn.net/freeking101/article/details/83901842
[https_www.geek-share.com_detail_2777318397.html]: https://www.geek-share.com/detail/2777318397.html
[Link 1]: https://www.geek-share.com/
[Link 2]: https://www.geek-share.com/wxlist.html
[https_zhuanlan.zhihu.com_c_1062040839106113536]: https://zhuanlan.zhihu.com/c_1062040839106113536
[selenium]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483679%26idx%3D1%26sn%3De901c3040572e6dd7b9a479b8a824271%26chksm%3Deae14291dd96cb87f42b45abeace4f37179154676ef15a319d6c3bd3287eb21c07b6a61a31dc%26scene%3D21%23wechat_redirect
[Python_DES_DES3_AES_RSA_MD5_SHA_HMAC]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483716%26idx%3D1%26sn%3De88f6ab5f037c780c1b0593bb8538145%26chksm%3Deae142cadd96cbdcd7b49b1ad411f82e1f173725f0862cc27e722cbb539901ed3e1bab6fe1d5%26scene%3D21%23wechat_redirect
[python_RSA]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483721%26idx%3D1%26sn%3De7573dbcdf3aeda26ff8f50c8e92d190%26chksm%3Deae142c7dd96cbd1082bfb8572b4c6affe974bd82292ddb2cef10500e686e6aadb8f32006394%26scene%3D21%23wechat_redirect
[js_Eval_js]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483736%26idx%3D1%26sn%3D0966296bcdc3217e3da6324ebeb9fb36%26chksm%3Deae142d6dd96cbc05b4c68d6c3b79cd27fecde20466b47598638e56d028b4f2d26341c0b66c4%26scene%3D21%23wechat_redirect
[js_Python]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483743%26idx%3D1%26sn%3Dee7670917748fc1d41e092dc02520d04%26chksm%3Deae142d1dd96cbc74e41dc057ae9057556a7445105a6364a56eb24963f191e29299827288ad9%26scene%3D21%23wechat_redirect
[PC_js_Python_post]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483752%26idx%3D1%26sn%3D18b968220b24f68db1f2083f45168d85%26chksm%3Deae142e6dd96cbf05fd88e52770ea40dd2a8516033b63c158031dbaedf2063a77cbc3c73d657%26scene%3D21%23wechat_redirect
[post_js_RSA]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483763%26idx%3D1%26sn%3D52c33c0c7cb3efb9be435fab5cdee8c7%26chksm%3Deae142fddd96cbebe60e1609737e82ab044a945df20076cb02c22b00905187fde88ee8853d4f%26scene%3D21%23wechat_redirect
[post_js_authcode]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483773%26idx%3D1%26sn%3D26294c70d94defb352752fbc2e140fdc%26chksm%3Deae142f3dd96cbe5bef91b388d9110994a802b6b1ce4311b8d84f70c7f73e36733a1c4c45039%26scene%3D21%23wechat_redirect
[POST_password_js]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483791%26idx%3D1%26sn%3D346db814e7ffb43f5c40f6021e8992a8%26chksm%3Deae14201dd96cb17ed54c824b274e90cd9bc0a82af2bd7388ff04287acb8cba828465e4b91cb%26scene%3D21%23wechat_redirect
[post_dv_traceid_js]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483796%26idx%3D1%26sn%3D6a88f4c1429d9e6937a74f6941c2f5ce%26chksm%3Deae1421add96cb0c0c2cd823f8fd3f3c6195b2f52e3ffaf37221b6085403d18be564d648372b%26scene%3D21%23wechat_redirect
[58_post_eval_js]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483811%26idx%3D1%26sn%3D85f69893a53175812410854d7688409a%26chksm%3Deae1422ddd96cb3ba6d7fc7e3566b78f7b35a50a04c9110bcae86354265625ac2ab47b4cb819%26scene%3D21%23wechat_redirect
[python_linkedin]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483840%26idx%3D1%26sn%3Dd85ea772c62bf8c4742dc9293b6bf0a5%26chksm%3Deae1424edd96cb58311360b8b23d3dc3e0f3c3b324beca5236c5d39bf9f85a417fe37ec994c2%26scene%3D21%23wechat_redirect
[Python POST_linkedin]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483852%26idx%3D1%26sn%3Dda0717221a98d3ac1bc50768b12c3784%26chksm%3Deae14242dd96cb54c91c5cd8fb2d3947e49feb9866e072b576f6664c3cb868a2eb706b742806%26scene%3D21%23wechat_redirect
[Python_ua]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483875%26idx%3D1%26sn%3D41226417a82c508213d23304ec0a9aa0%26chksm%3Deae1426ddd96cb7b5ed8e55444bb4ee9b0bba0bde0eaeb98156e23a395f904eb6caff1f8b7c4%26scene%3D21%23wechat_redirect
[post_password]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483888%26idx%3D1%26sn%3D287f7c0a1d2aea952ab4f6ce097cefc8%26chksm%3Deae1427edd96cb68297c685b83c74c71eb623d1a376ad877ba5d3937f7e48ef9d57db6698414%26scene%3D21%23wechat_redirect
[selenium 1]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483923%26idx%3D1%26sn%3Db54293568b411695dac564a6433c2016%26chksm%3Deae1419ddd96c88bb653a1cef4b7cdbeb0ff5b983c173b4e3730f01b0dfec28d391a43c45b76%26scene%3D21%23wechat_redirect
[selenium_ua]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483929%26idx%3D1%26sn%3D82e47ded1cc91238d6908c0e4f681162%26chksm%3Deae14197dd96c881970de2944a931f5cb132e765ca2f16ef1e5f0cc680df98701487540773b7%26scene%3D21%23wechat_redirect
[python]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483939%26idx%3D1%26sn%3D0599efdb99e9aa2cb15c047ae2d0f939%26chksm%3Deae141addd96c8bbfb6e4fc26ffc6fd74c15b961b11ba2f519574f71c30341885adc6039d8d3%26scene%3D21%23wechat_redirect
[AES_python]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483947%26idx%3D1%26sn%3D05af621ad9667f69bf2be6482cd9b899%26chksm%3Deae141a5dd96c8b3881864ad0bc5fe9a6c09d464ab486f19ac961f1b2db66782543735a24ecf%26scene%3D21%23wechat_redirect
[qq_GET_JS]: https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzI2OTQ1NzEyMQ%3D%3D%26mid%3D2247483972%26idx%3D1%26sn%3Dd3c711863e8c9938cd5034588d11ad9f%26chksm%3Deae141cadd96c8dc654311d763412f70da15d00e3eb639bb2679cebba67ba6e16cac9ca35bda%26scene%3D21%23wechat_redirect
[format_png]: /images/20230528/bd79a3d4e88743caaf05e65604f696c0.png
[format_png 1]: /images/20230528/d8af4058184c4885a2acf3376cb2d6c8.png
[format_png 2]: /images/20230528/41632d3e77144ba696917b9e3ff5acb7.png
[view plain]: http://www.site-digger.com/html/articles/20180821/653.html#
[format_png 3]: /images/20230528/385a1a17f7164239b69cb5f21d0a0966.png
[https_stackoverflow.com_questions_33225947_can-a-website-detect-when-you-are-using-selenium-with-chromedriver]: https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver
[http_edmundmartin.com_detecting-selenium]: http://edmundmartin.com/detecting-selenium/
[https_docs.mitmproxy.org_stable_concepts-certificates]: https://docs.mitmproxy.org/stable/concepts-certificates/
[http_spider.site-digger.com]: http://spider.site-digger.com/