§ Perplexity 在正常情況下會使用宣告的爬蟲 UA(PerplexityBot、Perplexity-User)存取內容,但一旦遇到封鎖,就會切換成偽裝成 Chrome 瀏覽器的「隱形爬蟲」。§ Omnicom Media Group 旗下的 PHD 為 OpenAI 首家全球媒體代理商。§ TTD 2025 年第二季財報成長放緩。§ Hulu 將於 2026 年全面併入 Disney+,整合為單一 App。§ TikTok 與 Booking.com 整合推出飯店預訂功能。§ Google 計畫推出 AI 搜尋廣告。§ X 平台計劃在 AI 聊天機器人 Grok 的回應中導入廣告。
TPG 週報會在台灣時間每週一早上 8:00 出刊,每一期將由 TPG 成員分享當週所閱讀的大小新聞與短評,還有不分新舊的優質閱讀文章分享。
【新聞短評】
OpenAI Names PHD Global Media AOR As It Ramps Up Advertising
OpenAI 任命 Omnicom Media Group 旗下的 PHD 為其首家全球媒體代理商(AOR),負責全球媒體規劃與採買,象徵公司從過去的內部與專案式推廣轉向長期合作夥伴模式。這一步正值 OpenAI 加速消費者行銷投資之際,延續其今年初針對大學生的 ChatGPT 推廣活動與 2024 年的超級盃廣告。
在前 Coinbase CMO Kate Rouch 掌舵行銷後,OpenAI 開始布局更積極的品牌行銷,但她已於 6 月因乳癌診斷暫時休養,由前 Meta CMO Gary Briggs 代理職務。據 COMvergence,OpenAI 2024 年在美國媒體投資不足 100 萬美元,但預計將快速成長。(by Richard)
‘It’s Never Too Late’: OpenX CEO John Gentry On Suing Google For Crushing Competitors
OpenX 在最新對 Google 提起的聯邦訴訟中,重提 2018 年的重大打擊:來自 DV360 的需求突然下滑逾 40%,且毫無預警、原因不明,最終導致公司在半年內裁員近半。直到 2023 年 DOJ 的反壟斷訴訟揭露「Project Poirot」計畫,OpenX 才得知 Google 早在 2017 年便暗中將交易導向自家 AdX,並打壓使用 Header Bidding 的競爭對手。CEO John Gentry 表示,這種反競爭行為至今仍在持續,必須透過判決改變遊戲規則。
Gentry 回顧當年形容為「極度混亂且艱難」,不僅業務重創,也被迫放棄一半員工。他批評 Google 的 Unified Pricing Rules(UPR)限制發布商自主定價,並改變競標基礎,讓像 OpenX 這樣的交易所更難贏得曝光。儘管與 Google 在 DV360 與雲端服務上仍有合作,OpenX 希望藉由這起訴訟爭取公平競爭環境與結構性改變,而不只是金錢賠償。(by Richard)
The Trade Desk Lays Out Its Case To Beat Walled Gardens. Does Wall Street Buy It?
The Trade Desk 公布 2025 年第二季財報,營收達 6.94 億美元,較去年同期的 5.85 億美元成長 19%,淨利則由 8,500 萬美元微增至 9,000 萬美元。然而,成長率從去年同期的 26% 放緩至 19%,淨利率也從 15% 下滑至 13%,使投資人反應冷淡,財報公布後股價下跌約 25%-30%。
公司同時宣布人事變動:早期投資人 Alex Kayyal 將接任 CFO,取代 Laura Schenkein;AI 廣告創意新創 Rembrand 創辦人、前 BlueKai CEO Omar Tawakol 將加入董事會。執行長 Jeff Green 再次強調 The Trade Desk 對「開放網路」的長期看好,認為最終廣告預算將從 Google、Amazon 等圍牆花園轉向開放網路,但目前仍面臨市佔劣勢。AI 方面,公司主力 AI 廣告平台 Kokai 已佔整體預算的 75%,並預計年底前全數客戶將全面採用。(by Richard)
Disney's ESPN to acquire NFL media assets in major deal
Walt Disney 旗下的 ESPN 與美國國家美式足球聯盟(NFL)達成重要協議,ESPN 將收購 NFL Network 及相關媒體資產,換取 NFL 持有 ESPN 約 10% 股權,估值約 20 至 30 億美元。這筆交易有望強化 ESPN 即將推出的 29.99 美元/月串流服務,涵蓋 NFL、NBA、WNBA、MLB 與 NCAA 女子籃球錦標賽等多項賽事,並整合《SportsCenter》、《Pardon the Interruption》等節目。ESPN 將獲得 NFL Network 的電視與串流播放權,每年播出七場比賽,並收購 NFL Fantasy 及取得 RedZone 頻道的有線與衛星分銷權。
NFL 主席 Roger Goodell 表示,這筆交易將延續 NFL Network 的傳承並帶來創新內容。雖然 NFL 保有 RedZone 的數位發行權與其他資產,但雙方結盟將利用 ESPN 的分發優勢擴大市場與創意發展,改變美國與全球體育媒體生態,提升球迷觀賽體驗並開創新商機。(by Johnny)
Disney Will Unify Hulu and Disney+ Into A Single App Next Year
Disney 執行長 Robert Iger 在財報會議宣布,Hulu 將於 2026 年全面併入 Disney+,整合為單一 App,這是收購 Comcast 所持 Hulu 股權後的重要一步。Hulu 品牌與內容將保留,並於今年秋季取代 Disney+ 國際版中的 Star 品牌,實現跨品牌內容融合。目前 Disney+ 與 Hulu 合計訂閱人數已達 1.83 億人,顯示整合策略具市場吸引力。三大服務 Disney+、Hulu 與 ESPN Direct 將共享統一技術平台與營收架構,並以 29.99 美元/月套裝販售。
內容策略上,ESPN 正擴大體育版圖,取得 WWE 未來五年旗艦賽事獨家串流權,並與 NFL 達成收購 NFL Network 與 RedZone 頻道的協議。雖然印度 Star India 的虧損與傳統電視廣告下滑影響體育營收,但整體營收年增 2%、串流事業年增 6%,反映 Disney 透過平台整合與內容集中配置,在競爭激烈的市場中持續強化地位。(by Johnny)
TikTok is rolling out a new way for creators to make money from travel videos
TikTok 與 Booking.com 整合推出飯店預訂功能,使用者可在 App 內選擇日期、查看價格、設施與評論,並透過影片標註飯店提升曝光。同步推出的「TikTok Go」計畫,讓粉絲數達千人以上的創作者替飯店、餐廳等業者宣傳並賺取佣金,降低變現門檻。該功能與計畫已在美國上線,目標促進旅遊、零售與餐飲發展。
除了高價飯店商品,TikTok 也推進 TikTok Shop 與本地商家服務,讓網紅以短片帶貨並獲取分潤,並藉「Places」分頁鼓勵使用者探索景點與活動。此舉不僅強化 TikTok 的電商與社群生態,也拓展創作者與業者的商業機會,展現短影音平台的多元變革。(by Johnny)
Advertisers are shifting to digital even as traditional maintains strong performance
DoubleVerify 報告顯示,廣告主正將預算從傳統媒體轉向數位,社群媒體與 Commerce Media Network 成為投資重心,CTV 預算正快速追趕並與印刷媒體並駕齊驅。今年消費者在 CTV 上的觀看時間將首度超越一般電視。然而,傳統媒體在廣告認知度、購買意願與品牌好感度等表現仍優於 CTV 與數位廣告,電視廣告曝光量更是 CTV 的六倍,廣播電台在付費音訊廣告上亦領先。
報告提醒,過度依賴數位歸因可能忽略傳統廣告的價值。廣告主應重新定義績效,將品牌提升與實體客流量納入評估,並結合傳統與數位媒體策略,以應對隱私規範與廣告阻擋器等挑戰。(by Jeremy)
LiveRamp grows 11% YoY on the back of commerce media, Netflix deals
LiveRamp 今年營收年增 11%,成長動能來自三方面:新數據無塵室產品 Cross Media Intelligence 協助廣告主分析跨出版商活動並去重;商務媒體業務拓展至美食外送、金融與房地產等新垂直領域;以及 AI 驅動的商業應用成長,部分零售商預計假日季 20% 活動由 AI 生成。美國商務媒體預算預計將從 666 億美元增至 2029 年的 1,161 億美元。
LiveRamp 與 Netflix 的整合已從數十品牌擴展至數百家,並嘗試以使用量計費取代訂閱制,吸引大型連鎖餐廳等新客戶。公司正定位為後 Cookie 與 AI 時代的行銷連結中樞,若能成功擴張,將有望在碎片化市場中脫穎而出。(by Jeremy)
Google looks for wide release of ads in AI Mode—but advertiser concerns linger
Google 計畫大規模推出 AI 搜尋廣告,將廣告直接嵌入 AI 生成回應中,以提升可見度與互動性,彌補 AI 可能造成的點擊率下降。雖然 Google 稱此舉能改善成效,但在反壟斷訴訟與監管審查壓力下,廣告主對產品透明度仍有疑慮,並對其他平台如 The Trade Desk 產生興趣。
對廣告主而言,完全脫離 Google 生態不切實際。未來應在利用 Google 覆蓋率的同時,推動其提高透明度,並密切觀察 AI 對搜尋行為的影響,提前調整廣告策略,以因應市場變化。(by Jeremy)
AI in Search is driving more queries and higher quality clicks
近幾個月來,多方來源聲稱,內容平台從 Google 搜尋獲得的流量正在枯竭,並指出 Google 在搜尋結果中引入 AI 摘要(AI overviews)後,點擊搜尋結果中連結的使用者變少了。但本週,Google 搜尋副總裁兼負責人 Liz Reid 在部落格文章中反駁了這些說法,強調 Google 自家的數據並未顯示有任何負面影響。
Google 認為,整體來說,來自 Google 搜尋導向網站的自然點擊總量,與去年相比大致保持穩定。此外,平均點擊品質也提升了。然而,這種說法想必對任何一家數位媒體、內容平台皆不能買單。根據華爾街日報報導,AI Overviews 與 AI Mode 導致使用者依賴 AI 回答,減少點擊傳統搜尋連結,造成 HuffPost、Washington Post、Business Insider、The New York Times 等數家大型內容平台自然流量下降。例如 Business Insider 自 2022 年 4 月至 2025 年 4 月間流量下滑 55%,導致大規模人力裁撤。(by Brick)
Musk Says Ads in Grok Will Fund xAI’s AI Costs
Elon Musk 宣布,X 平台計劃在 AI 聊天機器人 Grok 的回應中導入廣告,以籌集資金應付昂貴的 GPU 成本,支持大型語言模型開發。他構想未來廣告投放將高度自動化,廣告主只需上傳素材,系統即可完成目標設定與優化。此外,X 也計劃將推出結帳功能,推出平台內直接購物。然而,這個消息出現在前任 CEO Linda Yaccarino 離職後不久,她任內致力於修復廣告主關係,但廣告收入仍低於 Musk 接手前。
Musk 領導下,X 更聚焦 AI 工具與商業化,但 Grok 曾因散播極端與反猶內容短暫下線。最終,此計劃兼具商業潛力與高度爭議性,能否成功取決於 X 對品牌安全的管理與執行成效。(by Brick)
【長文閱讀】
Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives
生成式 AI 與 AI 助理服務的崛起,讓「爬蟲」不再只是搜尋引擎的專屬工具。過去,搜尋引擎透過批次爬取與索引,建立搜尋功能吸引消費者,消費者點擊後則會轉換為網站的流量與曝光,形成一個生態系統。而網站方則可以透過 robots.txt 等機制,決定哪些內容可以被抓、哪些不行。
然而,生成式 AI 的應用模糊了這條界線。一方面它們透過爬蟲去爬取了全球網路上的大量資料,訓練出高品質的大型語言模型。另一方面,許多 AI 也提供了由使用者即時觸發,現場去抓網頁內容回覆問題的 AI 代理人(AI Agent)模式。
這種 AI 代理人模式對網站、品牌與內容創作者來說,等於是顛覆了了既有的網站爬蟲控制與流量關係。上週 Cloudflare 便與 Perplexity 正面交鋒,針對 Perplexity 的 AI 爬蟲提出了嚴厲的指控。
Cloudflare 的指控:隱形爬蟲繞過封鎖
Cloudflare 指出,Perplexity 在正常情況下會使用宣告的爬蟲 UA(PerplexityBot、Perplexity-User)存取內容,但一旦遇到封鎖,就會切換成偽裝成 Chrome 瀏覽器的「隱形爬蟲」,使用未公開的 IP、跨不同網段(ASN)來閃避封鎖,甚至也忽略 robots.txt。
為驗證此事,Cloudflare 建立了全新、從未被搜尋引擎索引的測試網域,並在 robots.txt 中全面禁止爬取,同時啟用 WAF 規則封鎖 Perplexity 官方宣告的爬蟲。結果顯示,Perplexity 仍能回答含有這些測試頁面細節的問題,證明繞過行為存在。
Cloudflare 更量化了它所觀察到的爬取行為:
- 官方爬蟲請求量(PerplexityBot、Perplexity-User):每日約 2,000–2,500 萬次請求,這是 Perplexity 以公開身分進行的抓取流量。
- 偽裝爬蟲請求量(偽裝成 Chrome 瀏覽器):每日約 300–600 萬次請求,涵蓋數千萬個網域,這部分就是 Cloudflare 指控的隱形爬蟲。
換而言之,Cloudflare 指控約有 1/4 的 Perplexity 爬蟲都是在網站主未知的情況下,偽裝成一般使用者的流量來爬取網站上的各式頁面。
良好爬蟲的政策能怎麼做?
Cloudflare 借此重申「良好爬蟲」應遵循的五大原則,並以 OpenAI 的爬蟲為正面範例:
- 透明度(Be transparent):誠實標示自己的爬蟲,提供清楚標示的 user agent、公開 IP 範圍,並提供聯繫方式。
- 守規矩(Be well-behaved netizens):避免過度流量、敏感資料抓取或使用隱匿手段規避偵測。
- 明確目的(Serve a clear purpose):讓網站方能清楚知道爬蟲存在的目的與用途,例如語音助理、比價服務等。
- 活動分離(Separate bots for separate activities):不同任務使用不同爬蟲,讓網站方能細緻決定允許與否,而不是「一刀切」。
- 遵守網站規則(Follow the rules):檢查並遵守 robots.txt、遵守速率限制,不繞過安全防護。
Cloudflare 也呼籲,這些原則應該被正式標準化,因此特別點名 IETF(Internet Engineering Task Force,網際網路工程任務組)。
IETF 是一個負責制定網際網路技術標準的國際組織,像是 HTTP、TLS、DNS 等核心協定都是由它推動。Cloudflare 希望透過 IETF 制定針對 AI 爬蟲與 agents 的新規範,讓網站方與 AI 平台在同一套標準下互動,減少爭議與誤解。
Perplexity 的反駁:這不是爬蟲,是使用者代理人
Perplexity 則反駁,這是對 AI 代理人(AI Agent)的誤解。它們相信這些資訊爬取的請求是即時由使用者觸發,而不是 Perplexity 預先批次爬取,他們也不會儲存這種資料、不用於 AI 訓練,與傳統爬蟲的行為本質不同。
他們更指控 Cloudflare 流量歸因錯誤:
- 那 300–600 萬日請求,其實來自第三方雲端瀏覽器服務 BrowserBase,Perplexity 僅少量使用(每日 < 4.5 萬次)處理特殊任務。
- Cloudflare 的方法論模糊、拒絕回答技術澄清,甚至發佈了與事實不符的「Perplexity 爬蟲流程圖」。
在價值觀層面,Perplexity 認為,Cloudflare 的做法會造成「兩級網路」:能否存取資訊取決於工具是否被基礎建設商如 Cloudflare 的「認可」。這將限制資訊流通、鞏固既有巨頭的優勢,並扼殺創新服務的生存空間。
技術與規範的灰色地帶
這場爭論的核心,其實在於爬蟲與代理人的界線模糊。
- 傳統爬蟲:批次抓取、建立索引,受 robots.txt 約束。
- AI 代理人:即時抓取、立即回覆,現行規範並未針對這種模式設計。
對網站方來說,當無法區分「合法 AI 代理人」與「惡意爬蟲」時,最保險的做法就是全面封鎖。但對 AI 平台而言,如果每一次使用者即時抓取都被視為爬蟲違規,就失去了提供即時資訊的核心價值。
產業影響
短期內,更多內容提供者可能採取強硬封鎖 AI 代理人存取內容,並要求 DSP、SSP 等廣告技術平台跟進過濾。AI 平台則必須調整技術與合規策略,避免被誤判成惡意流量。
長期來看,這場爭議可能加速「AI 爬蟲專屬協議」或 Web Bot Auth 等新標準的制定,讓網站方可以針對不同型態的 AI 流量做精細化管理。至於「誰有權抓取內容」這個問題,將成為 AI 搜尋與助理服務競爭的關鍵戰場。
結語:AI 時代的「爬蟲契約」
Cloudflare 與 Perplexity 的衝突,不只是技術糾紛,而是 AI 時代對「開放網路規則」的重新談判。
如果現行的 robots.txt 無法處理 AI 代理人的即時抓取模式,那產業就需要新的「內容存取契約」,在保護網站方利益的同時,也讓合法的 AI 服務得以運作。
最終的問題,不是 AI 能不能抓,而是誰來決定、怎麼抓、抓了能不能用。若無法建立信任機制,網路將走向封閉與孤島化,這對創新與內容多元化,都無疑將是一場倒退。(by Richard)
【技術議題】
【聯繫與社群】
有任何問題與反饋?歡迎與我們聯繫: [email protected]
也歡迎在 LinkedIn 上追蹤我們,接收即時發刊與活動訊息!
核稿編輯:Ariel,部分內容亦有透過 AI 協助撰寫