AI 帮写爬虫，真的吗？ CodeWhisperer：当然！

我会带着你远行 2023-10-16 15:34 24阅读 0赞

2023 年技术圈什么最火？答案毫无疑问是 AIGC，伴随该项技术的发展，新的编程方式也出现了，那就是用 AI 辅助编程，有了 AI 的加持，开发人员的效率和生产力可以得到大幅度的提升。今天我们就介绍一款非常棒的人工智能编程工具 [Amazon CodeWhisperer][] ， 相信我，用上他之后，你的工作效率至少能翻一倍。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer]

在日常的编码工作中，你是否会碰到如下难题？

1.  接触了一款全新的 Python 模块，不知道如何开启 hello world；
2.  模块的某个方法，忘记了参数和返回值，反复切换手册会打断思路；
3.  不想写注释；
4.  写了一段代码，但是并不健壮，担心有难以发现的漏洞；
5.  ……

如果你正在被这些问题困扰，那 Amazon CodeWhisperer 能非常好的解决上述问题。

下面跟随我的脚步，开启 CodeWhisperer 的实践吧！

### CodeWhisperer 初始化 ###

CodeWhisperer 支持的 IDE 包括 Visual Studio（VS）Code（本篇博客使用的 IDE） 和 JetBrains IDE（IntelliJ、PyCharm、CLion、GoLand、WebStorm、Rider、PhpStorm、RubyMine 和 DataGrip），安装过程只需要几分钟，这里我们不详细展开讲解，大家可以参考 [官方文档][Link 1] ，官方还贴心的准备的视频教程~

本篇博客我们使用 VSCode 完成一个爬虫项目实践，可以直接在 VSCode 插件中检索【CodeWhisperer】，直接安装即可（已经有将近 200W 的安装量啦，要抓紧跟上大家的节奏），安装完毕，在 VSCode 侧边栏中会出现 CodeWhisperer 插件图标，如下所示。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 1]

初始化过程中最重要的就是账号的链接，点击上图【Connect to ……】链接，之后按照步骤登录账号，一系列的操作之后，浏览器出现下图绿色状态提示界面，此时账号对接已经完成。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 2]

返回到 VSCode 中，会发现 Amazon CodeWhisperper 帮助手册已经打开，建议阅读一下 ，里面已经整理了插件的基础使用说明。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 3]

与此同时，VSCode 左下角开发者工具（DEVELOPER TOOLS）也已经显示链接到 Builder ID。至此，我们的前置工作已经全部完成，下面可以开始进行工具使用。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 4]

### CodeWhisperper 使用 ###

##### **简单逻辑示例** #####

CodeWhisperer 插件安装完毕，默认会开启 Auto-Suggesions（自动建议模式），此时当我们在编写注释或代码之后，CodeWhisperer 会自动给我们提供代码提示，这个过程就像超强版的语法提示，如果你还没有安装好插件，可以先看一下动图，整体感受一下。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 5]

CodeWhisperer 的代码提示，在 VSCode 中可以使用**左右方向键**进行选择，使用 **Tab 进行确认**，其他按键表示不采纳提示代码。初次体验下来，正如插件名称（Whisperer：低语者）所描述的一样，就像是编辑器在轻轻的和我们说着即将要敲入的代码，如果同意，可以一键采纳，不同意，直接忽略即可。

##### **代码翻译示例** #####

拥有此功能之后，很多简单的程序完全可以基于智能提示编写完毕，但这肯定不够，我们需要 CodeWhisperer 完成更有挑战的事情，在 Python 爬虫领域，经常需要将一段前端 JS 代码用 Python 重新实现。

> 下面提供一段 JavaScript 中生成 **UUID**的代码，然后用 Python 复写。

p = function(e) {
        
      var t = e || null;
      return null == t && (t = "xxxxxxxx-xxxx-4xxx-yxxx-xxxxxxxxxxxx".replace(/[xy]/g, (function(e) {
        
          var t = 16 * Math.random() | 0;
          return ("x" === e ? t : 3 & t | 8).toString(16)
      }
      ))),

在 VSCode 中直接输入你的需求，然后 CodeWhisperper 会给我们一个完整的实现示例，可以看到代码重写完全正确。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 6]

##### **加密函数示例** #####

除了翻译代码外，在编写爬虫案例的时候，如果你对某些加密函数使用详情有遗忘，可以让 CodeWhisperer 直接给出示例，快速唤醒自己的记忆。

下图为输入注释 `# 使用 Python 实现 hmac_sha256 加密函数` 获取函数的使用示例代码。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 7]

如果在使用 CodeWhisperer 的过程中按错按键，即没有使用 Tab 确认代码，可以随时按下快捷键 Alt+C，CodeWhisperer 代码提示会再次出现，又可以继续加速你的开发效率了。

##### 混合加密示例 #####

如果将上述逻辑都定义为单逻辑，那下述需求就是一个复合逻辑示例了，在实际编码中，会碰到需要将两种加密混合使用的情况，需求如下：

> 使用 Python 实现 Base64 + AES 加密字符串

在 IDE 中输入上述注释信息，然后回车，CodeWhisperer 就会自动生成后续代码，其中部分逻辑可以一次性完成，效果如下，其中在核心逻辑部分，CodeWhisperer 表现非常优秀，答案秒输出，并且直接可用。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 8]

##### 算法模板示例 #####

在业务逻辑的编写过程中，有时会用到常见算法，例如快排、堆排、哈希等，这些算法很多都类似模板代码，在编写的时候，如果可以一键生成，能大幅度提高代码编写速度，包括算法改写速度，在 CodeWhisperer 中，可以通过注释快速生成。

> 使用 Python 生成快排代码

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 9]

体验 5 个示例之后，CodeWhisperer 的使用非常简单，而且无需切换编辑窗口，在 IDE 的代码文件中直接完成了 AIGC 的问答流程，响应速度非常快，代码准确性很高。

单独的案例对 CodeWhisperer 已经没有难度了，接下来我们尝试完成一个完整的 Python 爬虫案例（咱们看一下只写注释，能不能完成一个合格的爬虫采集程序）。

### CodeWhisperer 项目实战 ###

> 目标采集站点为作者博客，无侵权问题。

编写爬虫基础框架注释，包含如下内容：

1.  程序使用的采集模块
2.  目标采集站点地址
3.  采集的目标标签
4.  数据存储到文件
5.  发送采集到的数据到指定邮箱

#### 第一步：输入如下注释，获取网页响应内容 ####

> 使用 Python requests 模块采集 [https://blog.csdn.net/hihell?type=blog][https_blog.csdn.net_hihell_type_blog]

# 使用 Python requests 模块采集 https://blog.csdn.net/hihell?type=blog
    
    import requests
    
    url = 'https://blog.csdn.net/hihell?type=blog'
    
    headers = {
        
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
        }
    response = requests.get(url, headers=headers)
    
    print(response.text)

写完注释，直接回车之后，CodeWhisperer 直接给我们生成了对应的代码，过程中只需要按下 回车和 Tab 键即可。

如果你觉得上述代码有些简单，可以在代码基础上继续完善，例如将请求头进行完善，增加 referer 和 host 参数，直接在需要修改的位置添加注释即可。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 10]

#### 第二步：编写目标数据采集函数 ####

这一步，我们要使用 lxml 模块中的 etree 提取目标标签，继续将我们的逻辑输入到注释注释中，然后回车。

> 使用 etree 模块提取网页响应中所有的 article 标签

# 使用 etree 模块提取网页响应中所有的 article 标签
    
    from lxml import etree
    
    html = etree.HTML(response.text)
    
    article_tags = html.xpath('//article')
    
    print(article_tags)

此时目标博客标签已经被初步提取，下面要将标题和超链接地址进行再次提取，这里的注释需要尽可能编写清晰，如果你对 Python 爬虫技术栈有一定了解，到这里就会发现 CodeWhisperer 对代码编写提速效果。

# 循环 article_tags 提取其内部的超链接标签的 href 属性和 h4 标签文本
    # 注意标签结构是 超链接 a 标签含后代 h4 标签
    for article in article_tags:
        href = article.xpath('./a/@href')[0]
        title = article.xpath('./a//h4/text()')[0]
        print(href, title)

#### 第三步：数据存入到 csv 文件中 ####

写入文件的逻辑属于常见操作，直接输入函数需求，相信 CodeWhisperer 会直接生成的，输入的参考注释如下：

> 编写一个 csv 文件写入函数，其包含 2 个参数，分别是 title 和 href

# 编写一个 csv 文件写入函数，其包含 2 个参数，分别是 title 和 href
    
    def write_to_csv(title, href):
        with open('codewhisperper_demo.csv', 'a', encoding='utf-8') as f:
            f.write(title + ',' + href + '\n')

`write_to_csv()` 函数调用放到上述循环中即可完成本步骤。再次运行代码，在爬虫目录会生成对应的文件，打开文件得到目标数据，效果图如下所示。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 11]

到这里一个简单的爬虫写完了，但是我们的工作还没有完成，要继续优化这个程序。

#### 第四步：将采集到的数据，发送到 163 邮箱 ####

输入注释：`# 编写一个邮件发送函数，将刚刚生成的文件 codewhisperper_demo.csv 发送到指定邮箱`，CodeWhisperer 瞬间就会帮助我们生成一个参考函数，实际效果如下图所示。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 12]

> 将上述代码中的账号和密码修改为自己真实数据，即可实现一键发送邮件。

打开收件箱，可以看到刚刚的邮件已经发送成功，CodeWhisperer 给我们提供了一种邮件发送的实现，你可以再其基础上进行改造，以满足个性化的需求。

![AI 帮写爬虫，真的吗？ CodeWhisperer：当然！][AI _ CodeWhisperer 13]

### CodeWhisperer 使用总结 ###

在博客开篇，我提出了编码过程中几个比较头疼的问题，尤其是第二个，程序员**在编码过程中总是切出去查找代码示例和文档手册，从而打断编码思路**，而 CodeWhisperer 非常完美的解决了该问题，在编码的过程中，Amazon CodeWhisperer 自动提供编码建议，同意就使用，不同意就舍弃，真正实现了沉浸式编程。

除此之外，CodeWhisperer 还可以基于代码和注释生成新的业务代码，尤其当我们 Python 工程师接触一个新的模块时，他可以快速的产出示例代码，而且生成的代码与我们编码风格非常相似，甚至编码风格和命名规则都可以完美学习到。在编码代码过程中，CodeWhisperer 还会自动为我们的代码提供注释参考，让我们将更多精力投入到业务逻辑中。

将 CodeWhisperer 用起来吧，几分钟之后，你就会深刻的感受到编码效率的提升！

[Amazon CodeWhisperer]: https://aws.amazon.com/cn/codewhisperer/
[AI _ CodeWhisperer]: https://img-blog.csdnimg.cn/61293cb80aca4becae16725896ef9c5e.png#pic_center
[Link 1]: https://aws.amazon.com/cn/codewhisperer/resources/#Getting_started/
[AI _ CodeWhisperer 1]: https://img-blog.csdnimg.cn/f0e36c5a35c04583952e55eab4f4c5a9.png#pic_center
[AI _ CodeWhisperer 2]: https://img-blog.csdnimg.cn/5257fe19b0f948ceba50e28604e41296.png#pic_center
[AI _ CodeWhisperer 3]: https://img-blog.csdnimg.cn/9b8288c15d0d48fabc7219cbbde4e75e.png#pic_center
[AI _ CodeWhisperer 4]: https://img-blog.csdnimg.cn/39adbc132cab4d0fa57e5753137dae3c.png#pic_center
[AI _ CodeWhisperer 5]: https://img-blog.csdnimg.cn/bc2cec9e458845859e9c407965d14bf5.gif#pic_center
[AI _ CodeWhisperer 6]: https://img-blog.csdnimg.cn/db9f971ca08d40049dd09568a7c5064f.gif#pic_center
[AI _ CodeWhisperer 7]: https://img-blog.csdnimg.cn/fb246f5e97eb4ab1bf3e214b0ad852fe.gif#pic_center
[AI _ CodeWhisperer 8]: https://img-blog.csdnimg.cn/2ac742fe8ee7485c9fb9339bb4fa32d5.gif#pic_center
[AI _ CodeWhisperer 9]: https://img-blog.csdnimg.cn/5d6a833843244f55a1dd91b654961e2c.gif#pic_center
[https_blog.csdn.net_hihell_type_blog]: https://blog.csdn.net/hihell?type=blog
[AI _ CodeWhisperer 10]: https://img-blog.csdnimg.cn/25c42d64300d49aa94c686437cf0bbec.gif#pic_center
[AI _ CodeWhisperer 11]: https://img-blog.csdnimg.cn/063e360391b44a98ba66e22f256f49f6.png#pic_center
[AI _ CodeWhisperer 12]: https://img-blog.csdnimg.cn/e66a4370988f4355bedf72b4bb411e76.gif#pic_center
[AI _ CodeWhisperer 13]: https://img-blog.csdnimg.cn/bab22c89e7514e3580e5344bee7c1d40.png#pic_center