告别直觉驱动：一项实验揭示AI开发时代JavaScript框架的真实表现

在很长一段时间里，Web开发领域很大程度上依赖直觉和市场炒作，而非具体数据来驱动决策。技术选型往往被宣称为“快如闪电”或“对开发者极其友好”，但这些断言通常缺乏实证支持。

批评者将这一持续多年的阶段形容为肤浅的流行文化现象，以及前端工程领域“迷失的十年”——技术决策由主观感受主导，事后才被编造出各种理由来合理化。这种对实证的排斥，部分源于对开发者体验最优化的追求，比如在React中编写JSX带来的愉悦感。

然而，行业如今已进入一个“代理时代”，即软件主要由自动化智能体而非人工编码完成。尽管人类开发者不再逐行敲代码，但凭感觉做决策的习惯依然根深蒂固。

开发者们现在又开始力挺特定框架，理由无非是这些框架“更适合AI代理”，声称用它们生成的应用加载更快、错误更少——依然拿不出任何实际基准测试数据。由于缺乏经验证据，一位开发者决定设计一个受控实验，来测量不同JavaScript框架在由AI代理部署时的实际表现。

测试方法围绕构建一个虽小但功能完整的Pokémon应用展开，利用PokéAPI提供数据。这个应用类似于维基百科这类内容驱动型网站，包含宝可梦列表及其属性、技能和游戏数据，并配有搜索与筛选功能。

实验中，AI代理被指示使用多种JavaScript及元框架（如Next.js、Nuxt和SvelteKit）构建该应用。

每个框架都启用了官方模型上下文协议（MCP）或指定的技能集，以确保公平表现，并反驳那些关于“训练数据不足”的说辞。架构和渲染策略（如服务端渲染与客户端渲染）未作硬性规定，所用模型为Opus 5.

5，并采用高努力度运行。生成的应用通过多项指标进行评估，包括开发时长、Token消耗量、代码总行数，以及在Lighthouse中获得的性能与可访问性最终得分。

为防止代理绕过需求，输出结果需通过严格的规格一致性测试套件验证。此外，可访问性评估依据的是无障碍树而非原始DOM，成功兼容了使用影子DOM和Web组件的框架。

最终，实验揭示了高度的随机性行为。由于大语言模型本质上就是随机词生成器，结果可能因偶然因素而大相径庭——当代理在开发过程中遇到糟糕的轨迹时，偶尔会生成质量较低的应用。

来源: Hacker News