前言见：Google Search 淘气三千问: Q1～Q5
Q7: Google 是怎么做线上实验的？
在我 18 年写的这篇博客《ABTest 平台设计 - 如何进行流量分桶》里，我就引用了 Google 2010 年 KDD 发表的层叠并行实验平台论文《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》。国内很多公司的在线实验平台，可能都是通过参考这篇论文而起步的，所以实验平台这块不再多说，感兴趣的可以看下论文，或者我之前的系列文章。
这里我想说的是实验变量的控制。在上一篇博客《Google Search 淘气三千问: Q6》中提到了一些特征变量，在看原始文档时你会发现它的类型可能会是 QualityNsrVersionedFloatSignal，其实这就是一个带版本的浮点数组。
简单看规律，那就是如果一个特征是 ground truth 类统计特征，它在协议中就只是一个数值类型；如果一个特征是模型打分类特征，它可能就会是一个带版本的数值数组。
这也就是说，Google 在设计协议的时候，就已经考虑到了哪些特征需要做实验，而哪些不用。这会让他们的线上实验更加容易和系统化。
BTW，在 Google ContentWarehouse API 中读到 Google 把线上实验称作 Live Experiment，简称 LE，这将对我们阅读其它参考资料时有所帮助（见Q8）。
GoogleApi.ContentWarehouse.V1.Model.QualityNsrExperimentalNsrTeamData
Experimental NsrTeam data. This is a proto containing versioned signals which can be used to run live experiments. This proto will not be propagated to MDU shards, but it will be populated at query time by go/web-signal-joins inside the CompressedQualitySignals subproto of PerDocData proto. See go/0DayLEs for the design doc. Note how this is only meant to be used during LEs, it should not be used for launches.
Q8: Google 做 Live Experiment 时关注哪些核心指标？
在美国司法部起诉 Google 的案子中，一个由 Pandu Nayak 起草的标题为《Ranking Newsletters » 2014 Q3 Ranking Newsletters » Aug 11 - Aug 15, 2014》的文件被作为证据提供，里面提到了 Google 2014 年在做 LE 时观察的几个核心指标：
- CTR: 点击率，这个可能不用解释
- Manual Refinement: 手工优化(Query)的平均次数，当你对搜索结果不满意时，你可能会手工修改 Query 内容再次发起搜索
- Queries Per Task: 单任务 Query 数，解决一个需求时的平均搜索次数
- Query lengths (in char): Query 平均长度，以字符为单位
- Query lengths (in word): Query 平均长度，以单词为单位
- Abandonment: 平均放弃（次数？），当你在搜索完成后不再继续搜索时，被视为一次放弃
- Average Click Position: 平均点击位置，在搜索结果页中用户可能会点击多条结果，对多条结果的位置进行平均。
- Duplicates: 重复搜索行为，可能是因为网络、速度等问题，导致用户重试
这肯定不是 Google 做 LE 时观察的所有指标，但肯定是其中最重要的几个。因为这份文件讨论的内容是 2014 年 Google 用户在桌面和手机端的行为和意图差异，以决定 Google 在两端的工作计划，这在当时应该是非常重要的一件事。
Q9： Google 怎么衡量 Query 的用户满意度？
在《Ranking Newsletters » 2014 Q3 Ranking Newsletters » Aug 11 - Aug 15, 2014》这个文件里，还提到一个很关键的信息，就是 Google 怎么衡量搜索 Query 的用户满意度（在 one-box 直接满足的场景）。这可是搜索引擎的核心问题，因为你只有知道用户对什么满意，才能保证你的产品方向是对的。
衡量 Query 满意度的第一个指标，是 singleton abandonment。singleton abandonment 是指一次孤立的搜索行为，即在这次搜索前用户没有搜索任何 Query，在这次搜索后用户也没有更换 Query 进行第二次搜索。
文件里提到一个有意思的点：Google 之前的一个研究发现，非 singleton abandonment （换了很多 Query 后放弃了继续搜索）能更好的刻画不满意率，但不适合刻画满意率。虽然 singleton adandonment 不能孤立的作为一个强正向信号（用户不满意也可能放弃继续搜索），但在有直接答案的情况下，比如结果页内就能满足，比如天气、词典等，Google 认为它是一个足够的正向信号。
衡量 Query 满意度的第二个指标，被涂黑了。但这是唯二的两个指标，我非常感兴趣，所以我进行了一个大胆的猜测。我把原文片段和猜测的部分放到了下面：
第一个涂黑的地方太短，又很重要，因为文件说 Google 把它当成一个明确的正向信号。所以我猜测是 CTR，但又不确定有什么修饰词。Page CTR 这个词大家不常说，但是 Google AdSense Help 里对这个术语有定义。第二个涂黑的地方涂得不完全，露出了一些字母边缘，虽然长但还是能硬猜一下。希望不要误导大家。
把 CTR 当成一个满意信号很好理解：如果 Query 通过摘要满足了，那用户就没有其他行为了，就是 singleton abandonment；如果摘要没满足，但是用户点击消费了搜索结果，然后也没有继续搜，那就是 singleton CTR。
也就是说，在衡量 One-Box（天气、词典等摘要满足的结果） 对用户 Query 满意度的影响方面，Google 使用了 singleton abandonment 和整页级别的点击率作为指标。