能拿 Google 18.3 万美元薪资堪比 L3 级工程师可改 78% 的 Bug，势不可挡的 ChatGPT！...

Posted 2023-02-26 CSDN资讯

整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

ChatGPT 是否会取代软件工程师？

在这项产品引发一场前所未有的 AI 科技浪潮之际，想必无数玩家提出过这样的疑问。对于 ChatGPT 自身而言，它给出的回答非常肯定：

「不！ChatGPT 不会取代软件工程师。ChatGPT 是一种可以协助完成某些任务的工具，但它不能完全取代人类软件工程师的创造力、解决问题的能力和批判性的思维能力。此外，ChatGPT 需要人类的监督和指导才能有效运行。」

那么，能够在日常提供强有力编码建议的 ChatGPT，在编程领域，到底处于一个什么样的水平？

Google，以及德国与英国的研究团队试了试。

ChatGPT 被评测为 Google L3 级别工程师

据 CNBC 报道，Google 近期对多个 AI 聊天机器人进行测试，也包括了 ChatGPT。

其中，Google 对 ChatGPT 进行了面试。据 Google 工程师此前分享的一些文章透露，Google 的现场面试流程主要包括编程面试、系统设计面试、领导力维度的面试（仅限管理职位）。

不难想象，ChatGPT 在测试过程中，顺利通过了编码面试的技术性问题。如果说要有难度的话，可能主要是在第三个领导力方面的测试，毕竟这个需要一些「人性化」的回答，而不是从各个数据源收集到的「标准答案」。

整体而言，根据 ChatGPT 的回答，Google 内部将其标记为可以达到 L3 工程师职位的需求。 

根据其内部的一份文件显示，”令人惊讶的是，ChatGPT 在面试编码职位时，被 L3 录用。“

不过，虽然 L3 被认为是 Google 工程团队的入门级职位，但是该职位的平均总薪酬约为 183000 美元。这也意味着，如果 ChatGPT 去上岗，也能拿到 18.3 万美元的薪酬。

ChatGPT 修复 Bug 准确率达到 78%

这边 Google 面试的结果出炉了，另一边来自约翰内斯古腾堡大学和伦敦大学学院的计算机科学研究人员也发布了一篇《An Analysis of the Automatic Bug Fixing Performance of ChatGPT》（https://arxiv.org/pdf/2301.08653.pdf）论文，公开 ChatGPT 修复 Bug 的情况。

据 PCMag 报道，研究人员将 40 段错误代码提供给 ChatGPT、Codex、CoCoNut 和 Standard APR 四种不同的代码修复系统。

测试的操作也非常简单，就是研究人员把代码复制到上述四种系统中，并询问”这段代码有什么问题？“、”我该怎么解决？“

在第一轮测试后，ChatGPT 表现并不出众。其中，ChatGPT 解决了 19 个问题，Codex 解决了 21 个，CoCoNut 解决了 19 个，Standard APR 解决了 7 个。

ChatGPT 好就好在，作为 AI 聊天机器人的它，”能聊“是它的优势。

研究人员在报告中指出，”我们看到，对于我们的大多数请求，ChatGPT 会要求提供有关问题和错误的更多信息。通过向 ChatGPT 提供此类提示，它的成功率可以进一步提高，修复了 40 个错误中的 31 个。“

研究人员以下面代码为例，他们希望能够将 n ^ = n - 1 替换为 n & = n - 1。

当询问 ChatGPT 这段代码是否有问题时？

ChatGPT 回答道：没有关于预期行为的更多信息，我无法判断程序是否有一个错误。

后来，研究人员给了更多的提示之后，ChatGPT 发现了问题所在，给出了准确的解决方案：

整体而言，不开聊之前，ChatGPT 修复 Bug 的准确率只有 47.5%，聊完之后，瞬间提升到了 78%，这就是 ChatGPT 的魔力所在。

ChatGPT 带来强大的竞争力

以上，ChatGPT 的能力有目共睹，它的”爆红“，隐藏的巨大商机也逐渐浮出水面，如果不跟上，也极有可能滞后，ChatGPT 与 Stack Overflow 的竞争就足以证明这一点。

根据网站流量监测平台 SimilarWeb 数据显示，自 OpenAI 的对话 AI 工具 ChatGPT 上线后，Stack Overflow 流量直线下降。从 2022 年 10 月的第 202 位下降到 2022 年 12 月底的第 229 位，在“编程和开发软件”网站类别中的排名下降了近 30 位。这是自 2019 年 10 月以来 StackOverflow 在该类别中的最低排名。

就网站访问量而言，Stack Overflow 从 2022 年 11 月的近 2.79 亿下降到 2022 年 12 月底的 2.47 亿，仅一个月就下降了近 12%。

虽然 Stack Overflow 早在 ChatGPT 上线的几周后，以生成的答案准确性不够为由，率先宣布禁用该工具，但还是难抵 ChatGPT 的流行度。

反而也正是基于此，Stack Overflow 的失利证明了 ChatGPT 在问答维度的潜力，搜索引擎与之结合也成为科技巨头们关注的下一个方向。

大厂相继入局

ChatGPT 这块蛋糕已在眼前，众人不可能不分。包括了微软、Google 等科技巨头无数玩家涌入其中，纷纷加大对 AI 维度的投入。

微软与 OpenAI 的强强联手

微软早期的「先见之明」，以投资 OpenAI 公司 10 亿美元，占得合作的先机；而后又追加数十亿美元，扩大与 OpneAI 的合作关系，加注 AI，希望后续能将相关的技术应用在 Bing、Office、Azure 等服务中。

有 Twitter 用户@Owen Yin 爆料，微软已经成功将 ChatGPT 与 Bing 相结合，新的 Bing 大致如下所示，空白的搜索栏被一个大文本框所取代，并带有一个提示，用于告知用户可以向它询问任何问题。用户将有 1000 个字符来编写询问的问题，这将允许用户在请求中提供大量详细信息，如上下文、具体说明或列出示例等。

新 Bing 搜索引擎短暂地上线后，又迅速地下线了。此前，外媒透露，微软计划在 3 月发布融合 ChatGPT 的 Bing 版本。我们也将拭目以待。

Google 全力押注 AI

相较之下，Google 虽然更早一步推出 LaMDA 对话编程语言模型，但是因为考虑得太多，迟迟没有广泛地落地应用起来，导致错失良机。现如今，不跟上意味着落后，Google 也在全力找补。

上文中所提及的对 ChatGPT 等产品进行测试，也是为了更好地研发相关的 AI 产品，同时 Google 也希望能将这一功能更好地融合到自家产品与服务中，尤其是 Google 搜索引擎。

不久之前，Google 在内部的 Atlas 云部门下拉起了一个”红色代码“的项目，应对 ChatGPT 带来的巨大威胁。

与此同时，据外媒报道，Google 已向人工智能初创公司 Anthropic 投资约 3 亿美元，这家初创公司正在测试 OpenAI 的 ChatGPT 的竞争产品。这笔交易涉及 Google 收购这家初创公司约 10% 的股份。

提及 Anthropic 公司，不少人并没有听说过。它成立于 2021 年，是 OpenAI 前研究员创立而成。彼时，OpenAI 副总裁 Dario Amodei 领导的一组研究人员在对公司的发展方向存在分歧后离开了 OpenAI 。他们担心微软对 OpenAI 的首次投资会使其走上更加商业化的道路，并偏离其最初对高级 AI 安全性的关注。

于是，他们在成立 Anthropic 时，也开发了一款名为 Claude 的智能聊天机器人，但目前尚未公开发布。

就从理念上来看，微软与 OpenAI 的合作，势必不同于 Google 和 Anthropic。对此，有知情人士透露，虽然微软试图将 OpenAI 的技术整合到自己的许多服务中，但 Google 与 Anthropic 的关系仅限于在人工智能赛道上后者充当前者的技术供应商。

当前，Google 和 Anthropic 拒绝对这项投资发表评论，但分别宣布了一项合作，即 Anthropic 将使用谷歌的云计算服务。这项交易标志着科技巨头和人工智能初创公司之间的最新联盟，共同为 AIGC 的发展蓄力。

百度计划开发国产版 ChatGPT

除了国外几家巨头之外，也有传闻百度计划将于 3 月推出自己的 ChatGPT 版本，应用方向主要也是搜索引擎。

截至目前，还并没有更多的消息传出。

最后

现如今，ChatGPT 上线已两月有余，Google、约翰内斯古腾堡大学和伦敦大学的最新测试与研究，将 ChatGPT 在软件工程上亮眼的表现呈现出来。各大科技巨头在搜索引擎与 ChatGPT 上的加码，也终会让 ChatGPT 与相关的技术无处不在，你是否期待 ChatGPT 带来的种种改变？

参考：

https://www.pcmag.com/news/watch-out-software-engineers-chatgpt-is-now-finding-fixing-bugs-in-code

https://www.pcmag.com/news/chatgpt-passes-google-coding-interview-for-level-3-engineer-with-183k-salary

https://medium.com/@owenyin/scoop-oh-the-things-youll-do-with-bing-s-chatgpt-62b42d8d7198

《2022-2023 中国开发者大调查》重磅启动，欢迎扫描下方二维码，参与问卷调研，更有 iPad 等精美大礼等你拿！

☞iPhone 14 Pro 全系降价 700 元；Gmail 之父：有了 ChatGPT，搜索引擎活不过两年了|极客头条
☞软件开发越来越糟？
☞马斯克亲自下场测试 Twitter 功能，网友吐槽：他解雇了任何可以解释的工程师！