前言：
測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。
他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。
我覺得很值得多看看，所以做了筆記跟大家分享。
這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~
..........
《硅谷增長黑客實戰筆記》曲卉
#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"
#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"
# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"
# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"
#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"
#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"
#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"
#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"
#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"
---九篇專訪的摘要全文---
#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters
-北極星指標是會變動的
-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。
-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶
-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。
-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響
-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。
-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求
#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。
-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。
-以每週的循環討論測試設計、結果與去留。
-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。
-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的
#9-3 GloStation / Postmates（送餐）, 陳思齊
-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。
-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。
-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。
-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。
-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等
-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。
-用少於10%的流量，可以做任何測試。
#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。
-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。
-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情
-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法
#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan
-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。
-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）
-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。
-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。
-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。
#9-6 Camera360(Photo Editor), 陳思多
-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）
-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本
-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。
-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。
#9-7Square(支付服務）, 羅揚 James Luo
-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。
-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。
-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。
-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』
-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。
-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』
#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白
-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。
-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。
-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。
-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。
-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)
-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。
#9-9 Keep(運動）/豆瓣(社群), 張弦
-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。
-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。
-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。
-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。
---以下是關於團隊的摘要---
#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"
#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"
# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"
#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"
#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"
# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”
#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”
# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”
# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”
羊毛記四部曲 在 [心得] 羊毛記三部曲- 看板book 的推薦與評價
閱讀的順序依序為羊毛記、星移記、塵土記。即使這是一部虛構的小說，閱讀過程卻時常
不寒而慄，整個故事的開端與現實太接近，醫療機器人發明在即，或許在某個未來就會有
「地堡」以某種形式出現在現實世界裡，或者在地表以下，或者在天空之上。
-----
※關於故事特質※
如何成功地讓讀者沉溺進龐雜的地堡故事，是一件困難的事，我想作者在這裡用了一些技
巧。
在敘事主線之外，綴敘了許多支線故事，除了左右情節發展的重要腳色外，也大量描寫了
一些比較不重要的「平民」，透過對這些地堡居民生活的敘述、他們彼此之間的互動、他
們與主角間的往來，去鋪陳出地堡人民的世界觀，也鏡映出主角的性格，取代平鋪直敘的
方法，用富有變化的方式去建構出這個地底的世界。
此外，書中以極其詳盡的方式描繪一切，包括周遭環境的變化，身邊他人的言語表情，或
者角色所擁有相關的記憶聯想、以及人性那些矛盾的糾結等，很多原本可以簡單敘述的情
節被一層一層的拆解，並添加元素。這種方式，讓資訊在無形中進入腦海，無形中成為當
然的常識，讓讀者對故事環境暸若指掌，而我們之所以能對故事知曉的如此清晰我們就當
然地就身處在故事裡，只有地堡的居民能對情節了解地如此透徹，我們如今成為了地堡的
居民。
然而這畢竟是個大部頭的故事，為了讓讀者持續地對故事產生興趣，作者在時間、空間上
都做了許多地切割，讓場景不停地跳換，在過去、現在之間，在樓層與樓層之間、地堡與
地堡之間切換，透過這種安排，將整個故事切碎為許多個小片段，也緊湊了節奏，比起漫
漫無期地直敘法，讀起來較為輕鬆，也更引人入勝。
(以下有雷)
※關於故事內容※
三部曲看完之後，我認為最重要的詞，一個是「名字」，一個則是「決定」，最後一個是
「真相」。
「名字」糾纏了整個舊世代的人，精確一點，是不願忘記舊世代的人，那些「精神不正常
」而被送去冬眠的人們，即使他們後來被賦予了新的名字。名字不僅僅是個代號，也是在
隱隱之中刻錄不同名字一個人生命歷程的碑石。不同的名字區隔出了不同的人，乘載了不
同的記憶，那也是每個人所以獨特之處。當名字被替換、記憶被重新設定，便與過去名字
所搭載的那部分人生斷裂，過去成了一團虛無，人彷彿失了根，失了根的人無法踏實的生
活。所以為什麼唐諾汲汲營營於抓住自己的過去，甚至阻止這一些期望能回復過去，所以
為什麼達西在想起自己的身分後能微笑赴死，因為帶有新名字的世界不屬於自己活著並沒
有意義，他們已經在找回過去的記憶的路上獲得重生。
故事的最後，「名字」引發的思考又隱微的在新世界出現，比如最後地堡所在地找回了「
美國喬治亞州富爾頓郡」的地名，然而，在少了那一群當年的美國人之後，這還是屬於這
一塊地域的名字嗎?當年的星座名稱已經亡佚，茱麗葉將盧卡斯的名字寄託在星座上，向來
是人們搭載著名字生活，然而當肉體死去之後，我們的靈魂被寄於名字上得以存續。
而「決定」左右著整部故事，比如說霍斯頓的赴死、彼得貝爾寧的抗命、瑟曼一夥訂定公
約、安娜調換權限、雪莉回第十八地堡引爆炸藥，故事圍繞著一連串的決定，決定影響了
故事發展。既然決定這麼重要，那什麼是好的決定呢?
第十八地堡毀滅之前，茱麗葉和盧卡斯曾經討論到這個問題。
「我們的所作所為將會永遠存在，不管我們做了什麼，那些決定永遠不會改變。」
「就像外面的足跡，那是一連串的決定所留下來的，還有我們犯下的每個錯誤也是。」
「不過，我們所有正確的決定也會永遠存在，那是永恆的。」
「所以我們絕對不能搞砸。」
所以茱麗葉與盧卡斯汲汲營營地想要做出最正確的決定，而最後的結果是第十八地堡數千
人命的殞落。唐諾一心一意要阻止這個他也協力建造的體制怪獸，安娜掉包的權力也一度
允許他執行任何他想做的事，然而，做了無數決定之後唐諾卻無法再做任何決定。
好的決定如此重要，尤其當手握權力，每個決定都是涉及眾多他人的權利甚至是性命。為
何故事裡這些「好人」一再做出失敗的決定?我想那是因為他們缺乏了最重要的「真相」。
唐諾在沒有了解全盤的「公約」之前，憑著自己獲得的部分真相，任意行事，如果唐諾不
殺了安娜，如果唐諾能殺了瑟曼，結局會不會好一些?如果茱麗葉不要莽撞的挖坑道，不要
那麼早在未切斷「氬氣」管線前就先切斷攝影機線路讓第一地堡發覺，盧卡斯能不能不死
，能不能拯救更多人?而最後，唐諾做出了他最後一個決定也是最好的決定，炸毀邪惡源頭
，便是基於他想通了全盤的計畫；茱麗葉最後帶領大家得到第二人生，也是在透過夏綠蒂
而了解方向在哪後所採取的行動。
※關於小抱怨※
閱讀的過程裡，存了沉溺於故事中受劇情轉折而獲得地驚訝，最多的便是憤恨，看著唐諾
被瑟曼玩弄時，自己彷彿也成為被瑟曼玩弄的一員，被玩弄於股掌之間，總是要透過瑟曼
不經意的脫漏口風才能獲得較為全面地了解到底發生了什麼事，在那之前就只能與唐諾過
著彷彿瞎子摸象的生活，那種被蒙在鼓子裡的感覺不好受，讓人容易憤怒。在長久幾乎無
止期的憤怒中，最後也只能習慣這一切，雙手一攤佩服作者的構思。
需要習慣的，還有沉重的死亡，平民的死亡或許還不那麼令人在意，然而當每一部曲開頭
出現的，或者那些佔據大部分情節，初讀時總認為可以是主角角色的死亡，總是沉甸甸地
扣在心上，比如霍斯頓、米森、盧卡斯等，甚至是唐諾即使續命了如此久，過程也是受盡
折磨。這些總讓人在閱讀時心中默默哀求作者手下留情，最後卻總不能如願。至少，最低
限度的希望，希望達西抵達新世界的小小祈求也在最後被無情摧毀。
除了上面這些個人情緒性的理由以外，真的要挑出一些小缺點的話，帶入偏見是一個小問
題，比如說在對話中帶入包括「伊朗」、「中國」等這些國家作為對壞分子的想像，或許
帶入現實中實際存在的國家能讓整個故事更逼真，但我想這對被影射的國家來說並不公平
。另外，故事裡也存在一個邏輯缺陷是，既然第一地堡擁有攝影機監視其他地堡，而他們
也懂整個制度最大的缺陷在於高層本身的叛變，那麼為什麼第一地堡也裝上監視器呢?即使
只裝一部監視器，就裝在電梯裡，他們也能因而察覺夏綠蒂的甦醒，進而阻止達西背叛與
整個邪惡體制的崩潰，那麼故事恐怕就得繼續下去。
當然這些缺點不影響整部故事的宏偉，也不影響那些對我們世界之後發展方向的警覺，對
我們人性裡劣敗處的省思以及對善良光明處的覺察，這仍舊是一部值得推薦的好書。
-----
故事由那些有理想勇氣的人被送出地堡用潔白羊毛擦拭髒污地堡鏡頭開始，隨著時間星移
而得知前生，人類經歷過文明發展的高峰而毀滅自己，最後又以原始的姿態回到大地，一
切來自於塵土的終將歸於塵土。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.246.222
※ 文章網址: https://www.ptt.cc/bbs/book/M.1456421434.A.293.html
※ 編輯: JoSue (140.112.246.222), 02/26/2016 01:31:58
※ 編輯: JoSue (114.136.97.56), 02/27/2016 00:09:40
※ 編輯: JoSue (114.136.97.56), 02/27/2016 00:14:15
... <看更多>