Jeff Dean
Google DeepMind 首席科學家
關於
Jeff Dean 是 Google DeepMind 首席科學家,也是 Google 資深研究員。他主導或共同主導了 Google 許多最重要的技術專案,包括 MapReduce、BigTable、TensorFlow 及張量處理器(TPU)。他在大規模分散式系統與機器學習上的工作,為現代 AI 基礎架構奠定了重要基礎。他共同撰寫了神經網路擴展的影響力論文,並在 Google 的 AI 領導力上居關鍵地位。
主要貢獻
- 共同設計 MapReduce 與 Bigtable,定義了 Google 大規模資料基礎設施的核心模式
- 協助打造 Spanner 等分散式系統,讓全球尺度儲存與計算更可靠
- 主導 Google Brain 與 DistBelief,協助深度學習從研究程式碼走向工業級工具
- 協助讓 TensorFlow 成為 Google 之外許多機器學習團隊的標準工具
- 支持 Google TPU 專案,使客製化 AI 加速器成為現代模型訓練與服務的核心
- 共同撰寫多篇 scaling 與系統論文,影響大型神經網路如何跨資料中心訓練
- 也象徵 Google 的雙面性:擁有世界級 AI 基礎設施,卻常被批評產品化速度慢於競爭對手
影片與訪談
思想連結
吳恩達
曾經合作AI 先驅與教育者
Google Brain 始於 2011 年的一項副業計畫:一邊是懂得讓上千台機器像一台機器運作的 Google Fellow,一邊是深信神經網路缺的不是巧思、而是規模的史丹佛客座教授。那是這個信念最早獲得工業級算力的地方之一。此後兩人也沿著這個領域的兩種角色分道——Dean 留下來建造其他一切賴以運行的基礎設施,吳恩達則離開,去把這件事教給數百萬人。
en.wikipedia.org · en.wikipedia.org
傑佛瑞·辛頓
曾經合作AI 先驅與研究者
2013 年 Google 收購辛頓那家只有三個人的公司,他因此進了 Dean 共同創立的 Brain 團隊;兩年後,兩人與 Oriol Vinyals 合寫了〈Distilling the Knowledge in a Neural Network〉。那篇論文指出:大模型輸出的軟機率,比它當初訓練用的硬標籤含有更多教學資訊——小模型可以從大模型的不確定性中學習。十年之後,蒸餾既是前沿能力得以進入一般裝置的途徑,也成了國際爭論的核心:誰有資格向誰的模型學習。
arxiv.org · en.wikipedia.org
Chris Lattner
曾經合作Modular 共同創辦人暨執行長
Lattner 於 2017 年加入 Google Brain 負責 TensorFlow 的基礎架構,Dean 是他的主管;照他自己的說法,MLIR 起於 Dean 的一句話:我同意我們有個編譯器問題,你去做一個新的編譯器來收拾這團亂。做出來的是一套共享的中介表示法,讓多種框架能對應多種晶片——包括 Dean 一手促成的 TPU。這也提醒我們:讓大模型成為可能的,多半不是架構,而是管線,由那些把硬體與語言讀成同一個問題的人搭起來。
modular.com · en.wikipedia.org
黃仁勳
思想對照創辦人暨執行長・NVIDIA
這是策略的對立,而非人的對立。面對 AI 的算力問題,黃仁勳的答案是讓一家公司的晶片與軟體成為所有人租用的基底;Dean 所在的 Google 則造出 TPU,好讓自己不必去租。兩者之間橫著這個領域安靜的憲法問題——智慧的機具究竟該是一個由單一主導供應商構成的市場,還是每個夠大的行動者都自己動手做的東西——如今每一間前沿實驗室,都落在這條線上的某處。