流程顺了,是哪一步在真正起作用
一套动作做下来结果不错,最容易得的结论是这套东西管用。这句话本身没什么信息量,因为它把整套动作当成一个整体在评价。整体评价的麻烦在于,下次要在别处复用的时候,不知道哪一段该照抄、哪一段可以随手改,也没有办法解释它为什么管用。
真正起作用的那一步,通常不是最显眼的那一步。显眼的是动作,比如动手改价、报活动、换图;而让这些动作落到正确位置的,往往是前面某个看起来只是准备的环节,比如把读数对齐、把该看的几个数定下来。
一种找法是顺着链条往回走。结果出来了,问这个结果是在哪一步之后才变得有方向的。有方向的含义是,那一步做完之后,后面每一步的走向都大致定了。顺着这个标准往前找,往往能找到一处稍微窄一点的地方。
另一种找法是看这一步被做错时的表现。有些步骤做错了会立刻露出来,比如数算错了、话传错了,这类步骤重要,但它的重要是合格意义上的重要,不太影响结论的方向。真正影响方向的那一步,做错了往往不会立刻响,只是整轮结果悄悄偏一点。
还有一种更直接的表现:这一步做与不做,讨论的内容会变。不做它的时候,会上讨论的是哪几个动作做得不到位;做了它之后,讨论的是这个方向对不对。讨论层级变了,说明这一步不只影响效率,它改变了整轮事情的性质。
看起来同样必要的步骤,作用其实差别很大。有的步骤撑的是速度,去掉之后慢一点但结论不变;有的步骤撑的是结论,去掉之后快一点但结论会飘。把这两类混在一起,就会得出处处都重要的结论,而处处都重要等于没有优先级。
判断点这一层尤其容易被数错。一套动作里可能有好几个做判断的地方,但真正定方向的只有一个。想把这个数量和别的站点对一对,知虾的站点分析一栏把各站类目结构摆在同一个页面上,九个站点的公开数据可以切着看。把定方向的当成选幅度的,就会在验证时把力气花在无关紧要的位置上。
执行步骤的功劳容易被高估,因为它看得见、做得多。但执行步骤在多数情况下是替换性很强的环节,换一种做法结果差不太多;而定方向那一步,做法一换结论就跟着换。可见程度和重要性在这里是反着的,这是个需要事先预防的错觉。
还有一种情况是两处同时起作用,而且它们互相咬着。比如先定看哪几个数,再定到什么程度动,这两步任何一步单独改动都不会有明显变化,只有两个一起改才看得出。忍不住想掰开的时候,知虾的关键词分析一栏可以按站点把词分开摆,看同一批词在两边是不是同一批,这样至少能确认要拆的到底是同一件事还是两件事。遇到这种组合,不要硬拆成单步去验证,而要把它当成一个单元来看。
如果实在找不到哪一步在起作用,先别急着下结论说整套都重要。更可能的情况是找的位置不对:只盯着动作层看,没有往判断层去。动作层天然地都很像,样子都很忙;判断层安静,但方向是在那里定的。
有一种省事的排除法:把整套动作按顺序排一遍,然后从后往前问,去掉这一步,前面那几步做出来的东西还有没有意义。有意义的说明这一步只是承接;没意义的说明前面几步的价值全都挂在这一步上,那才是真正起作用的那一处。
起作用的那一步,还有个体量上的特征:它要处理的信息量往往比想象中小。可能只是一句话、一个数、一次判断。信息量不大,却决定了后面所有动作的方向,因为它是唯一一个把外部情况转换成内部方向的位置。
还要留意一种假象:某一步看着在起作用,是因为它总是和另一步一起出现。比如每次定方向之前都会先开个碰头会,于是把功劳记到碰头会上。碰头会本身可能什么都没决定,真正定方向的还是在那之后独自看数的那一刻。
从这几个角度看下来,起作用的那一步往往有三个共同点:它在前半段,它处理的量小,它的结果决定了后面所有动作的走向。按这三条去筛,通常能筛得只剩一两处,剩下的就是后面几节要单独摘出来看的部分。
筛完之后不要急着定性,先把候选写下来。写下来的好处是,第几轮再看时能对照,也能发现同一个位置反复出现在候选里。反复出现的那个位置,比一次筛出来的位置更值得先动,因为它在不同的轮次里都影响方向。
最后要提醒一句:找起作用的那一步,目的不是把别的步骤都否掉。整套动作能跑起来,靠的是所有步骤都在;这里要找的只是其中影响方向的那一处。找到它,就能在改动、复制、交代的时候知道哪一处不能随手改,其余可以灵活处理。

中间三格是这一层真正下功夫的地方,跳过它们就只能凭印象
把某一步拿掉,结果会不会明显变差
把某一步拿掉看结果变不变差,是分辨哪一步起作用的办法里最省力的一种。它的道理很朴素:如果这一步真的撑着结论,拿掉之后结论应该会晃;如果拿掉之后什么都没发生,那这一步在这轮里就没有承担方向,只是在做重复或者铺垫。
拿掉之前要先定好看什么。看结果本身容易偏,因为结果受的因素多,单轮的波动盖过差别。更稳的是看过程里的某个明显标记,比如判断的反复次数、回头改的次数、卡住的时长。标记比结果更早显出来,也更少被别的因素干扰。
拿掉一步的时候,要把它的工作临时交给别人或者临时省掉,两条路的结果不一样。交给别人的时候,实际上是在测这一步能不能被替代;省掉的时候,测的是这一步有没有必要。两种测法回答不同的问题,混在一起用,得到的结论会互相矛盾。
有的步骤拿掉之后结果反而变好,这种情况不稀奇。原因通常是那一步在当初是被别的问题逼出来的,那个问题已经不在了,步骤还在,就成了纯负担。这不是流程写错了,是条件变了之后没人回头看那一步还有没有必要。
拿掉的幅度也要小心。有些步骤不能整段拿掉,只能拿掉其中的一部分,比如把每天做改成隔天做。整段拿掉会把别的环节也带得走不动,这时候你测到的是连锁反应,不是这一步本身的价值。幅度要小到只影响这一步。
一次只拿掉一步,这是最基本的纪律。同时拿掉两步以上,就算结果变了也说不清是谁的原因;同时拿掉两步而结果没变,也说不清是两步都不重要还是互相抵消。想快一点,唯一的办法是分几轮分着拿,而不是一轮里多拿。
拿掉之后要跑够一轮完整的循环再下结论。一轮循环指的是从起手到收口走完,中间该有的意外也遇上一次。只跑了半天就下结论,测到的往往只是暂时的不顺手,等手顺了之后差别会自己收窄,那和流程本身没有关系。
有些步骤拿掉之后短期看不出问题,过一段时间才显出来。这类步骤往往承担的是防错,平时不出事的时候它什么都不做,一去掉,出事的概率升高,但升高的幅度要攒够样本才看得见。这类步骤不能靠单次拿掉来验证。
反过来,有些步骤拿掉之后立刻出现混乱,这是最明确的一类。立刻混乱说明别的环节都在等它输出,它撤销之后下游全部停住。这类步骤不用再验证,它属于链上的必经之处,要验证的是它做得够不够好,而不是它有没有用。
拿掉实验最容易被忽略的一点是回退。拿掉之后如果情况变差,需要能很快把这一步放回来,并且放回来之后整条链能回到原来的样子。做不到快速回退的步骤,就不适合拿来做这个测法,风险大过收益。
还有一种测法比拿掉更温和:把它做得比原来差一点。原来花一小时做的,改成十分钟粗做。这样不用真的撤销一个环节,也能看出它对结果的支撑程度。温和做法的好处是随时可以补回来,代价是差别的幅度也小一些。
拿掉的结果怎么看,也有一套讲究。差别大不等于这一步要留,差别小也不等于这一步要去掉,得配合这一步的成本看。成本低而差别小的可以留着,成本高而差别小的才是值得考虑去掉的那一类。
有一种拿掉实验几乎在所有团队里都会得出同一个错误的结论:拿掉之后团队用别的办法把窟窿补上了,然后觉得这一步可有可无。实际上补窟窿花掉的是别处的力气,那部分代价不会出现在结果数字里,只会出现在别处的进度上。
所以拿掉实验要连着看两个地方:结果有没有变,以及别的地方有没有被挪用来补窟窿。只看结果,会得出这一步没用的结论;只看窟窿,会得出处处都不能动的结论。两个一起看,才知道这一步真实的重量。
拿掉实验的结论要写清楚边界:在哪一轮、剥掉了什么、看到了什么变化。不写边界,下一轮再看到类似情况时,会把它当成普遍规律用。一步一步积累下来的这些边界,才是这套动作最后能被说清楚的基础。
总结一下这一节的判断法:定好看什么标记,一次只剥一步,跑满一轮,随时能退回来,同时盯住别处有没有被挪用。五条都做到,拿掉实验给出的信号是可靠的;少做一条,得出的结论就要打个问号再往外用。

靠上的三步一摘就掉,靠下的那几步摘掉看不出来
怎么知道好结果是流程带来的还是人凑巧做对
好结果出来之后,最难的判断是它到底该记在谁头上。同一套动作,有人做出来效果好、有人做出来效果平,这时候第一反应是动作本身没问题,是人不行。可这个反应太快了,因为动作执行得好不好,很多时候本身就是动作设计的一部分。
把人凑巧做对和流程在起作用分开,有一个很实用的角度:看结果是不是稳定地重复出现。同一个人同一套动作连着几轮都拿到相近的结果,流程的成分就重;同一套动作在这一轮好、下一轮平,而动作并没有变,那多半是外部条件在波动。
另一个角度是看偏离出现的位置。如果偏离总是出现在同一步上,说明这一步的容错空间小,或者这一步的做法写得太含糊,靠操作者的临场判断补上。偏离随机分布,则更可能是外部条件在晃,不是动作本身的问题。
还有一个角度是看补齐的方式。人凑巧做对的时候,事后往往说不清自己为什么那么做,只是当时觉得该那么动。流程在起作用的时候,操作者能说出自己是看了哪个数才那么决定。说不说得出来,比结果好不好更能说明问题。
要注意一种常见情形:动作写得越含糊,越容易把功劳记到人身上。含糊的地方多,执行者必须自己补很多判断,这些判断一旦做对,结果就好。看上去是这个人厉害,实际是这套动作把该定的地方留成了空白。
反过来,把功劳全记到人身上也有代价。记到人身上,下一次就会依赖同一个人,而且这个人自己也说不清哪一步是关键,因为他的贡献分散在很多细小的临场决定上。等到要解释为什么好的时候,能给出的只有一句凭感觉。
还有一种情况是人和流程其实都对,但两者的贡献被记反了。人做对的往往是在流程该定的地方临时定了一下;流程起作用的往往是它让人在固定的时刻看到了该看的东西。前者是补漏洞,后者是搭骨架,两者的价值完全不同。
想要分清楚,可以在同一套动作里换一次执行的时间或者顺序,其余都不动。如果换时间之后结果落回同一条线上,说明这套动作的方式在起作用;如果换一下就明显变化,说明起作用的是当时那个时间点上的条件,而不是动作。
也可以用两轮对照来看。第一轮照常做,第二轮把其中一个含糊的地方写清楚,其余不动。如果第二轮的结果更集中、偏离更少,说明这个含糊点原来靠人在兜,写清楚之后人不用兜了,动作自己就能走。这是分辨人和流程最直接的信号。
分辨的时候要警惕一种自我安慰:结果好的时候说是流程设计得好,结果差的时候说是执行不到位。这种记法永远可以解释一切,也永远学不到东西。比较诚实的做法是事先定好:这一轮如果好,好在哪里要能指出来;不好,不好在哪里也要能指出来。
还有一种情况是两者都起了作用,而且都不可少。比如流程把该看的东西摆出来了,但看出来这件事还是靠人。这种情况不要勉强做出归因,直接把它记成需要人和动作同时到位的位置,下一轮再验证一下缺哪一半会更吃亏。
判断人凑巧做对还有一个辅助线索:看这个人在别的环节上是不是也同样出色。如果只在某一个位置特别准,其他位置平平,那说明不是整体水平的问题,而是那个位置的做法本身留白太多,碰巧被这个人填对了。
所以分辨人和流程,最终落到的不是给谁发奖,而是判断下一步该改哪里。功劳在人身上,方向是把这个人的判断依据写下来;功劳在动作上,方向是把这个动作固定住,让别的地方也照它来。两个方向完全不同,一开始记错,后面就白费。
有时候一轮的结果既不能归人也不能归动作,只能归时机。这不是回避,而是一种真实状态:那段时间里外部条件正好顺,什么动作都能出结果。承认这一种的代价是这轮看起来白做了,好处是下一轮不会再拿同样的动作去等同样的风口。
把这一节收一下:人凑巧做对的特征是说不清、不稳、只在个别位置准;动作起作用的特征是能指出来、能重复、换时间还成立。按这三个特征去对一次,多数轮次都能分辨出来,分不出来的那一部分留着,不要硬给结论。
最后要说的是,人和动作的功劳本来就常常连着,分不清是常态而不是失误。重要的是知道自己在哪一处分不清,以及分不清的时候按哪一头处理。按动作处理的人会去补文字,按人处理的人会去留人,方向不同,这一层的工作就是为这个方向服务的。
| 步骤 | 摘掉之后看到什么 | 算不算它起作用 | 理由 | |||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 取 | 数 | 与 | 报 | 数 | ||||||
| 晚 | 半 | 天 | , | 结 | 论 | 没 | 变 | |||
| 不 | 算 | |||||||||
| 只 | 是 | 慢 | 了 | 一 | 截 | , | 方 | 向 | 没 | 动 |
同时改动好几步,就分不清是哪一步的功劳
看完一轮,觉得有四五处都该改,一次性全改了,这件事在团队里非常常见。原因也很自然:问题都是同时看到的,改起来也顺手一起做。但它带来一个没法修补的后果,这一轮结束之后,谁也不知道结果是哪一处带来的。
分不清的原理不复杂:结果只有一个数,而改动有五个,五个改动里任何一个都可能解释这个结果。极端情况下,五个改动里有两个是正向的、三个是负向的,最后结果平平,你会得出五处都没用的结论,而实际是有两处相当有用。
更麻烦的是改动之间会互相影响。某一处单独改看不出效果,配上另一处改就很明显;或者某一处单独改有效果,配上另一处就被抵消。这类组合效应不看单个改动的表现,只看它们同时存在时的整体,分不清的时候最容易把它整段否定掉。
现实里有些改动确实只能一起做,比如两处改动都是为了配合同一件事,单做一处根本跑不起来。遇到这种情况,可以把这两处当成一个改动单元来记录,不要试图把它们切开。单元内部的归因做不到就别做,承认它是一个整体就行。
处理多改动的办法里,最实用的是排队。把所有想改的地方按你判断的重要性排一遍,只取最前面的一两处先动,其余的记下来等下一轮。排队的好处不只是让归因变清楚,还会顺便帮你看清哪些改动其实没那么急。
排队的另一个好处是保住注意力。一轮里改五处,团队要同时盯五个地方,结果每个地方都只盯了一点点;改一处,所有的注意力都压在这一处上,出任何变化都能被立刻看到。归因的条件首先是能看见。
如果实在忍不住想多改,有一个折中的做法:把想改的分成两组,一组是必需改的,一组是顺带的。必需改的必须改,否则事情走不下去;顺带的那些记录下来,等这一轮结束、必需改的那组有了结论之后再动。这样至少保住了一条清晰的线。
还有一个常被忽略的问题:同时改多处,连过程都变得说不清。上面在改、下面在进行,中间出了岔子的时候,没有人知道是原来的毛病还是新改动带出来的。归因失效不只是针对结果,过程也一样,而且过程的影响更早显出来。
记录的方式也很影响能不能归因。改之前把原来的状态写下来,改的时候把每一处改了什么、什么时候改的写下来,改完之后把观察到的变化写下来。三样都不写,就算只改了一处,过两周也想不起来当时是什么样子。
有一种情况容易骗过自己:多处改动里,有一处效果特别大,明显看得出是它起的作用,于是把其余几处的记录全都丢了。这种做法在这一轮可能没错,但它同时丢掉了那几处到底有没有用的信息,下一轮想再调的时候又要从头再看一次。
还有一种情况恰好相反:多处改动之后结果没什么变化,于是得出都不该改的结论。这种情况更常见的解释是改动都偏了,或者彼此抵消,或者改的幅度不到。在没有分开看之前,得不出任何一处的结论,得出来也是运气。
从长期看,改动的排队不只是为了归因,它本身是一种工作方式。每次只推进最要紧的一两处,一轮下来会留下两三条可以站得住的结论;同时推进五处,一轮下来留下的是一条也说不清的印象。积累的速度差别,几年下来非常明显。
如果一轮里必须同时动好几处,那就事先接受这一轮不能用来归因,把它当成一次探索。探索轮的作用是找可能性,不是确认结论;要确认,必须另开一轮,把其中一处单独拎出来再走一遍。把探索和确认混在一轮里,两头都做不好。
排的时候还有一个顺序上的讲究:先动那些一旦动了就会影响别处的改动。这类改动越早动越好,因为它会把后面的条件改变,后面的改动得按新的条件来定。反过来,先动末端的小改动,等前面那处一动,前面的结论又得重来。
还有一种做法是把同时改动分散到不同位置上。比如两处要改,一处改在取数的环节,一处改在动手的环节,两处影响的是一整条链上的不同段。这样即便同轮进行,影响的方向也能从表现上大体分开,比两处都改在同一段上好得多。
说到底,这一节讲的不是不要一次改多处,而是改的时候要知道自己丢掉了什么。想留归因,就一次只动一处;想抢时间,就承认这一轮不能用来归因。最怕的是既想抢时间又想留结论,最后两头都没有,还要拿一个说不清的结果去做下一步的决定。
留个对照,才知道这道流程值不值
对照这两个字听起来像是一门专门的技术,实际在流程上它的含义很朴素:在做改动的同时,留一条没有被动过的线,让它照原来那样继续走。有了这条线在,改动之后的变化才有落点,否则所有变化都可以被解释成别的原因。
最廉价的对照就是过去。同一套动作前几轮的表现本身就构成一条线,改动之后的东西跟这条线比。用历史当对照的麻烦在于,期间别的东西也在变,单量的自然波动、季节的推移、平台的调整都会让这条线自己漂移。
稍微好一点的做法是留一部分照旧走。比如六个类目里留两个继续用原来的做法,另外四个改。两个类目就是这条线的当下版本,它跟着同一段时间的外部条件一起走,比历史线干净得多。留哪两个不用挑,随便留,只要不动就行。
还有一种是留在一段时间上。比如前半月照旧,后半月改,中间不重叠。这种做法简单,但要求两段时间的外部条件接近,否则两段的差别会混进结论里。判断接近不接近,可以看那段时间里自然波动大不大。
对照要留多久,取决于这一步影响的东西多久才显形。影响当天数的,留几天就够;影响后面几轮判断的,可能要看两三周。留得太短,看到的是噪声;留得太长,中间的别的原因会慢慢渗进来,两侧都做过头就白留了。
对照那条线本身也要被看着。它不能是一个没人管的东西,因为它也有自己的波动。如果它这阵子正好也在涨,那改动那条线的涨幅就得减掉这一部分才算数。减掉的办法不必复杂,两边变化的方向对一下大致就够了。
有一个常见误区是把对照理解成一定要做一次严格的比对。多数时候用不着那么重,只需要在你改的时候忍住手,让一部分保持原样。这个动作的成本几乎为零,唯一需要的是提前决定留哪一部分、并且守住不碰它。
留对照最容易被破坏的时刻是忙的时候。一忙,没改的那部分也被顺手改了,因为当时觉得不改不行。所以留对照这件事要事先说清楚,让所有人都知道这一部分这阵子不碰,不然它会在你需要它的时候刚好被破坏掉。
对照的价值不只是事后解释,它还能在过程中给你反馈。如果改动的线与没改的线走势几乎一样,那说明改动没起什么作用,不用等到轮末就知道,可以提前停下来想清楚,而不是把这一轮走完再后悔一次。
还有一种对照是反过来的:把改动放到最不被看好的那一处去。团队普遍觉得某一步没用,那就先只动那一步。如果它真的没用,结果不动,你就顺手证实了一个判断;如果结果动了,你得到的是一条比预期更有价值的信息。
对照要能回答问题,前提是两条线之间只差一处。差了多处,上面对话里说的那些道理又都回来了。所以留对照和一次只改一处,是同一件事的两个面。做不到只改一处,对照的意义会立刻打折扣。
对照的结论要看幅度,不只看方向。方向对了但幅度小到落在自然波动之内,其实说明不了什么。判断幅度有没有超过自然波动,办法是先看没改的那条线平时自己晃多少,晃动的范围就是这条线的底噪,超过底噪才算真的变了。
价值这件事也要这么算。一道流程值不值,不在于它看起来多完整,而在于它相对于没改的那条线多拿出了多少。多拿出来一点,值得留;跟没改那条线贴着走,那它在这一轮里的存在就没有被证明,留不留可以先搁着。
有时候两条线都没动,只是换了执行的人,也会看出差别来。这种情况要警惕,因为它测的不是流程,是人。用这种对比得出的结论,只能说明这个人的作用,用来说明流程本身是站不住的,这个界线要事先分清。
留对照的成本分布不对称:留的时候很便宜,事后想补是补不回来的。所以宁可多留一次,也别指望事后能用别的方式还原。很多团队的问题不是不会算,而是等到要算的时候发现已经没有可比的线了。
把这一节收一收:对照不是一套复杂的办法,而是三个具体动作的合成:改之前留一条不动的线,改的时候只动一处,改之后拿两条线的幅度差去比。三个动作做到,这一轮就知道值不值;少一个,这一轮的结论就只是印象。

同一批步骤,只要一次动的数量上去,能说清的格子就一片片空掉
哪一步在起作用,往往和当初想的不一样
一轮结束,团队里往往已经形成了对因果的集体印象:事情好了,是因为前面那几件大家都看重的事做对了。可实际拆开看,起作用的位置常常和大家看重的位置不在一处。这类偏差非常普遍,而且越是有经验的团队越容易发生。
偏差的第一个来源是先做后看。团队先有了某个动作,后来才拿它去解释结果。解释的时候自然会把注意力放在已经存在的动作上,而那个真正定方向的动作因为天天都在做、太不起眼,反而不会被提起。
偏差的第二个来源是把显眼当重要。改价、报活动、换图这三类动作看得见,容易被记住;对齐读数、把该看的数定下来这类动作安静,做完之后没有痕迹。远看一段时间的经历,想起的都是有动作的那些,安静的那些被忘掉了。
偏差的第三个来源是踩着同一个位置反复出现,反而不被看见。每天都做的那一步,大家默认它本来就该存在,不会把它列为候选。要克服这一点,需要专门把它从背景里拿出来问一句:如果今天开始不做,会怎么样。
还有一个偏差来自语气。会议上说得最响的位置,会后就成了因果的中心,哪怕那个位置在数据上没什么支撑。判断这一条的办法是看证据落在哪,不看谁说的。声音大小和重要性之间没有任何关系。
容易被低估的往往是判断前的那一小段准备。把几个数凑齐、确认口径、把上一轮的状态看一眼,这些都不算动作,但少了它们,后面的判断就是拿错的底在进行。这一段的贡献不出现在结果上,因为它做好之后,一切都显得理所当然。
另一类常被低估的是拒绝的动作。看着不合适就不动,这个决定在记录里是一片空白,看起来什么都没做。可它挡掉的往往是后面一连串的麻烦。评价流程作用的时候,只看做成了什么,就会把这一类贡献完全漏掉。
容易高估的则是那些和结果同时出现的动作。结果好的那阵子正好在报活动,于是报活动被记成关键。要看这一点成不成立,得回到没报活动的那几轮,看结果是不是也一样好。只看有动作的那些轮次,永远得不出结论。
如果当初想的位置和实际位置不一样,也不是白费。原来的想法至少给了你一个候选名单,把那些位置逐个摘掉看过一遍,剩下的那个就是真的。重要的是把这一遍真的做完,而不是把候选名单当成结论直接接受。
找差异还有一个顺手的做法:让两三个人分别独立写一份哪一步关键。写得一致的位置,多半是共识也是真的;写得差得多的位置,说明那个位置的判断没有共同依据,正好是下一轮要盯的地方。不一致本身也是信息。
另一种办法是看时间。真正起作用的位置,往往在时间上靠前。如果结果的变化总是在某个位置之后立刻出现,位置就越靠前;如果变化总是拖到很晚才显出来,起作用的东西可能在更前面的某个地方,只是被后面的动作盖住了。
有时候差异不在位置上,而在幅度的判断上。大家都同意某一步重要,但实际它的作用比想象中小得多;另一处大家觉得只是顺手,作用却大。修正这类偏差需要幅度上的比较,光看谁重要谁次要不够,还要看差多少。
修正认知的意义不只是让结论更准,它还会改变下一轮的动作安排。认错了位置,下一轮的力气就花在无关的地方,而且因为有效果的心理预期,人还会把不明显的效果说成有效果。认对位置,力气花在点上,一轮就能看到变化。
还有一种偏差要单独提,就是位置认对了但原因认错了。比如某一步确实起作用,但起作用的不是它做的那个动作,而是它逼着大家在同一时间看同一个数。这种时候照抄动作没用,要照抄的是它带来的那个效果。
把这一节的话说清楚:先有想法的位置和实际起作用的位置不一致,是正常状态,不是失误。不一致的时候不必推翻先前的判断,只要把候选逐个过一遍。过完之后剩下的那个位置,才是这一套动作里真正该盯住的地方。
最后再提一句,这种差异会随着条件变化而移动。这一轮起作用的那一步,下一轮可能就不是它了。所以找位置不是做一次就完的事,每一轮结束时顺手问一句这一轮是哪一步在起作用,比一次性搞一份长期结论更靠得住。

每多叠一步,能落到具体某一步上的份额就往下掉一截
管不管用,验证过才有资格说
管不管用这句话,说出来很容易,说清楚很难。难的地方在于,绝大多数关于管用的说法其实只是在描述一种印象:这段时间挺顺的,所以那套东西应该是有用的。印象不是结论,它没有办法在需要做决定的时候支撑起一个判断。
有资格说这句话的前提,是自己的归因过程能被复述出来。别人问为什么觉得这一步在起作用,你能说清拿什么跟什么比过、比的结果是什么、有没有排除掉别的可能。说不清这一点,结论就还停在猜测的层次上。
验证过不等于做过一次对照。做过一次对照只是拿到一个信号,信号能不能立住要看后面重复的情况。一轮里表现出来的差别,可能是这一步的原因,也可能是那一阵刚好赶上的别的什么。至少要在两个不同的时候看到同一个位置表现出一致的作用。
还有一种看起来像验证其实不是的做法:改完之后结果变好了,于是确认改动有用。这个推理漏掉了一件事,结果变好也可能是那段时间本身在变好。要排除这一条,必须有同期没被改过的部分来做参照,参照不动而改动部分动了,才算数。
反过来也要留出承认管不了的余地。有的环节改了几轮都看不出明显的差别,这说明不了它没用,也可能是这一处的作用本来就在底噪以下,这一轮的条件看不出。这种情况正确的说法是没测出来,而不是测出来没用。
验证做不完的时候,不要就此把结论写得很笼统。比较诚实的写法是标出边界:在这一段时间、这一类货、这几个环节没动的前提下,这一处看起来在起作用。边界写清楚了,别人拿到这个结论的时候知道它能用到哪里。
还有一种成本要算进去:验证本身也在消耗这一轮的机会。留对照、一次只动一处、跑够一轮,这些做法都会让改动变慢。所以不是每一处都值得验证,值得验证的是那些一旦认错,后面会连着错好几轮的位置。
值得优先验证的位置有几类。一类是每次判断都要经过的地方,它错一次会错一整批;一类是刚加进来还没有被时间证明的地方;还有一类是团队里对它的作用意见不一致的地方。这三类验证一次的价值,比验证十处边角要高。
验证的结论最终要落到一句话上:这一处做了和不做,差别在哪里。这句话要具体到可以照着做判断,而不是笼统地说有用。比如把看数的时间从早上挪到中午,判断的反复少了一半,这就是一句可以被别人使用的话。
这类结论积累起来,会慢慢改变整套动作的样子。原来哪些步骤是必做的,哪些是可以按情况省掉的,哪些是看着必要其实只是习惯,一轮一轮验证下来就有了清楚的分布。没有验证,所有这些位置都得按同样的重量对待,力气就平均地散掉了。
想在改动之外再找一条参照,知虾的竞品监控一栏把对手的价格变动按日更新到前一交易日,用它可以看清这次变化是自己改出来的还是整片市场都在同步动。拿它当外部线的前提是同一批对手、同一段时间,两边口径不一致的时候这条线也就失效了。
所以验证的终点不是得到一个漂亮的比例,而是让你在下一轮遇到同类情形时,能少走一段。知道哪一步不能随手动、哪一步可以省、哪一步动了要先看什么,这三条足够让下一轮的判断快很多,也稳很多。
验证的频率也不必太高。业务在变,上一轮验证过的位置在新条件下可能换人,所以过一段时间回头再看一次是必要的。这个间隔不用定得很死,感觉条件动了、或者连着几轮结果都对不上预期,就该重新看一遍那一处。
最后提醒一点:验证过程的记录最好留得住形状,也就是别人能看懂你当时比的是什么。只写结论不写比法,过几个月连自己都会怀疑当时的数据是不是记错了。有比法在,结论才能被后面的人接着用或者接着推翻。
有一些位置可能永远验证不了,比如只在极端情况下才起作用的那几步。这类位置的处理方式不是硬凑验证,而是承认它防的是小概率,平时看不出任何差别,只能按小概率事件的代价来决定要不要留它。
把这一节说完整:有没有资格说管用,取决于三件事——能不能说清比的是什么、有没有在至少两个时间点上看过、有没有把结论的边界写出来。三件都做到,这句话才有分量;差一件,它都还只是当时的一种印象。