这个案例我愿称之为"数据飞轮的教科书"：一个让用户免费"给 AI 答案投票"的学生项目，攒下 8200 万张真实投票，然后把基于这些投票的评测能力卖给 AI 公司——商业化上线 8 个月，年化收入 1 亿美元。最值得琢磨的不是数字，是它怎么让几十万人心甘情愿免费干活。

一、起点：Vicuna 到底行不行

2023 年，UC Berkeley 的团队做出开源大模型 Vicuna 后遇到一个问题：AI 写邮件、写文章这类任务没有标准答案，到底怎么判断哪个模型更好？于是他们做了一个极简网站：同一个问题交给两个匿名 AI 模型回答，用户看完直接投票选更好的那个。这就是 Arena。2023 年 4 月上线时只有 9 个模型，第一个星期就收到 4700 张投票；到 2026 年 6 月官方披露，平台已产生超过 7 亿次对话、8200 万张投票，每月访问用户超 1000 万。收入更夸张：2025 年 9 月才正式推出面向 AI 公司的收费评测服务，8 个月后年化收入 1 亿美元。

二、为什么传统评测失灵了

传统大模型评测像考试：提前准备一套题，把模型放进去做，算正确率。但模型变强后有两个问题：一是题目会变旧——公开测试题发布几年后，模型很可能已在训练数据里见过类似内容；二是很多 AI 任务本来就没有唯一正确答案。"帮我把这封辞职邮件写得委婉一点"，A 模型写 300 字、B 模型写 100 字，都没有事实错误，怎么打分？"给我的 AI 创业公司想 10 个名字""帮我设计三天东京旅行计划"——很难拿标准答案逐字比对。Arena 的办法是换思路：不再让研究人员猜用户喜欢什么，直接让用户选。

Arena 来自 Berkeley 的 Sky Computing Lab，两位核心创始人 Anastasios Angeloulos 和 Wei-Lin Chiang 当时都是计算机博士项目的研究人员，还是室友，后来分别成为 CEO 和 CTO，背后还有 Ion Stoica 教授等研究者。他们的研究论文把这套方法称为基于人类偏好的两两比较，并发现真实用户投票与专家评审结果有较好一致性。方法不复杂，复杂的是大规模运行之后，Arena 得到了一种非常难买到的数据：真实的人，拿着自己的真实问题，在两个 AI 答案之间做出的选择。

三、产品只有四步：提问、盲测、投票、揭晓

核心玩法至今简单：第一步输入你本来就想问 AI 的问题；第二步系统随机给出两个匿名模型（不告诉你是谁，避免品牌偏见——如果先说右边是 GPT，很多人没认真看答案心里就有判断了）；第三步看答案投票（左边好、右边好、平局、都差）；第四步投完才公布模型名字。只有这种匿名"对战模式"的投票才进入公开排行榜，自己指定模型的比较不算。

排名方法可以理解成国际象棋排名：不是让每个模型做同一张卷子，而是不断安排比赛，A 赢 B、B 赢 C、C 又在另一类问题上赢 A，比赛多了系统就估算出相对表现，同时展示排名的不确定范围。还有一个关键数据：每个月大约 70% 的用户问题都是新的——昨天有人问"Gemini 和 Claude 谁更会写 Python"，今天有人上传设计稿让模型写网页，明天有人拿合同问 AI。模型很难提前背答案，考试题是研究人员出的，Arena 的题是每天几百万用户临时出的。

四、用户为什么愿意免费打分

Arena 没给用户发工资，为什么这么多人愿意投票？因为对用户来说，他不是在"做数据标注"，他只是在免费使用 AI：本来就想问 Claude，现在同时给两个答案，反而多了一次比较；两个版本都摆在面前，本来就要选一个，点一下投票只要几秒。Arena 甚至不给投票设现金奖励——它认为没有外部报酬的投票反而更接近真实判断。平台上还有大量开发者、研究人员和专业用户，这些人普通标注公司根本没法统一招募。

过去 AI 公司想收集"人更喜欢哪个答案"，通常要自己准备问题：找标注员、培训规则、按条付钱。Arena 把顺序倒过来：用户自己带问题进来、AI 自己回答，用户本来就要选一个答案，Arena 只是把这个选择动作保存下来。一次点击没有多少价值，8200 万次点击放在一起，价值完全不同。

五、大厂开始把新模型偷偷放进来

网站上线后，模型公司很快注意到它，因为它们有同样的问题：新模型发布之前，怎么知道普通用户到底喜不喜欢？一家大模型公司内部同时有很多版本——参数、提示词、训练数据、安全规则都不同，内部测试都不错但只能发布一个。Arena 出现后多了一个办法：把模型匿名放进去让真实用户测。2024 年据报道，OpenAI、Google、Meta 和 xAI 都曾在 Arena 上测试模型；一个曾以"im-also-a-good-gpt2-chatbot"匿名出现的神秘模型，正式发布时就是 GPT-4o——用户当时并不知道自己在测试 OpenAI 下一代产品。这种测试很乱，但真实世界本来就很乱。

六、排行榜免费，那到底卖什么

很多人以为 Arena 是"AI 排行榜网站，靠广告赚钱"——不是。公开排行榜一直免费，真正收费的是 AI Evaluations（AI 模型评测服务）：2025 年 9 月推出，面向大模型公司、企业和开发者，提供基于真实用户反馈的深度模型评测。为什么"谁排第一"还不够？看 Arena 自己做过的分析：2024 年 Meta 发布 Llama 3，Arena 单独分析其与头部模型的对战数据，发现 Llama 3 在开放式写作和创意问题上表现很好，但数学和代码问题更容易输，问题越难胜率下降越明显，而且它的回答更友好更像聊天，容易获得部分用户偏爱。普通用户看排行榜够了；但 Meta 模型团队要问的是：为什么排第六？用户在哪些问题上喜欢我？是代码能力问题还是答案太长？专家用户和普通用户评价一样吗？Arena 后来甚至单独研究搜索模型的用户偏好，发现回答长度、引用数量和引用来源的具体程度都与偏好明显相关——这类数据才是模型团队能拿回去改产品的。要强调的是，Arena 明确表示商业客户不能获得排行榜优待，公开模型按同一套方法计算：客户买的不是排名，是评测。

七、商业化时间线：4 个月 3000 万，8 个月 1 亿

2024 年团队还公开表示不急着盈利，两位负责人还在读博；2025 年 4 月宣布成立公司，5 月完成 1 亿美元种子轮（a16z 和 UC Investments 领投），9 月 AI Evaluations 上线收费；2026 年 1 月，商业产品推出约四个月后年化收入达约 3000 万美元，同月完成 1.5 亿美元 A 轮（投后估值 17 亿美元，累计融资 2.5 亿美元）；再过几个月，2026 年 6 月，年化收入冲到 1 亿美元。为什么这么快？因为它碰到的是 AI 公司越来越大的成本：模型越做越多，判断模型有没有变好也越来越难。训练结束不是终点，后面还有评测、比较、调参、找失败案例、再训练、再评测——迭代越快评测越多。收入按使用量计算，客户评测越多用得越深收入越高：它卖的不是一个人每月 99 美元的账号，是模型公司反复需要的评测基础设施。

八、飞轮与软肋

Arena 的循环非常清楚：免费产品带来用户 → 用户带来真实问题和投票 → 评测数据越来越丰富 → 模型公司愿意把新模型甚至未发布模型放进来 → 新模型越多用户越想来（很多爱好者专门来猜"这个匿名模型是谁"）→ 投票继续增加 → 再把评测能力卖给模型公司。平台也早已从文字扩展到代码、图片、视频、搜索和 Agent 评测：新上线的 Agent Mode 让不同 AI Agent 处理研究、写报告、做网页等多步骤任务，上线一个月达到每月超 500 万次交互、周增长约 10%——模型越复杂，评测越要复杂，Arena 的生意跟着这个变化一起走。

但它最大的资产其实很脆弱：信任。假设模型公司花钱能买到更好的排名，用户就不再相信榜单，不认真投票，真实数据减少，模型公司也不再需要它。所以它一边收费一边反复强调商业评测和公开榜单分开、统一规则评测、匿名模型正式发布后分数先标"初步结果"。投票操纵的风险也真实存在——2025 年一篇 Arena 研究人员参与的论文发现，若无防护，攻击者约一千次恶意投票就可能明显影响排行榜；Arena 随后加强了机器人防护、恶意用户检测、限流、验证码和登录。这也是它和数据公司的区别：数据公司质量下降只是产品变差，Arena 失去中立性，整个商业模式都会出问题——因为客户真正花钱买的，就是"这些票确实来自真实用户，而且用户投票时不知道自己在帮谁"。

我的总结："免费用户生产数据、付费客户消费数据"这个结构，和站内刚发过的免费反诈网站的冷启动是同一套心法的两种用法；而"把用户本来就要做的动作变成资产"的思路，在OpusClip 的增长复盘里也出现过——产品的最佳数据源，往往就是使用过程本身。