大模型创业太累，大模又一大牛决定重回大厂。型创

Yi Tay，业太曾是牛逃Reka AI联合创始人，也曾是回大还胖谷歌大模型PaLM、UL2、厂融Flan-2、资亿捉襟Bard的美金重要参与者。

本周是见肘斤他回到谷歌的第一周，也是大模他离职创业一年半之后，选择回归老身份的型创开始。

他将继续担任谷歌DeepMind高级研究员，业太向谷歌大神、牛逃也是回大还胖他之前的老板Quoc Le汇报。

回顾过去这段创业经历，厂融他表示学到了很多，比如基础设施方面的知识、如何从头开始训练大模型等等。

但与此同时，他也经历了一些不那么好的时刻：

公司费劲筹集的一亿多美金，对于一个不到15个人的团队仍然紧张，还差点卖身自救。

个人层面，他的身心健康受到了很大影响。由于工作强度大和不健康的生活方式，他还长胖了15公斤。

为此他表示：

放弃舒适区并创业对我个人来说真的很可怕。

大牛重回谷歌大厂

去年三月末，他官宣离职谷歌参与创业RekaAI，并担任该公司的首席科学家。

在此之前，他在谷歌大脑工作了3.3年，参与诸多大模型的研究，撰写累计约45篇论文，其中16篇一作，包括UL2、U-PaLM、DSI、Synthesizer、Charformer和Long Range Arena等，约20次产品发布，妥妥大牛一位。

从技术角度上讲，他坦言学到了很多关于在谷歌没法学到的知识。

比如学会使用Pytorch/GPU 和其他外部基础设施，以成本最优的方式从头构建非常好的模型。

为此他还在个人网站上分享了相关经验：训练模型的首要条件是获取计算能力，但这一过程就好像买彩票。

并非所有硬件都是一样的。不同算力提供商的集群质量差异非常大，以至于要想训练出好的模型需要付出多大的代价，这简直就是在抽签。简而言之，LLM 时代的硬件彩票。 这与在谷歌使用TPU相比，这些GPU的故障率让他大吃一惊。

此外他还吐槽外部代码库的质量远远落后谷歌的质量，这些代码库对大规模编码器-解码器训练的支持非常少。

但这种持续遇到问题持续解决的经验， 并非痛苦反而很有趣，并且最终凭借着自身技术实力也挺了过来。

在创业初期，他们的旗舰模型Reka Core在Lmsys首次亮相，就跻身第7位，公司排名前五，实现了对GPT-4早期版本的超越。

目前他们主要有四个模型，适用于不同的应用场景。

而真正“打倒”他驱使他离职的，是更为现实的原因。

就公司层面来说，作为初创企业，其资金、算力和人力跟其他实验室相比都要少得多。

就算他们分批筹集了一亿多美金，对于一个不到15人的团队仍然不够。

今年5月Reka AI还被曝出卖身自救，Snowflake正就以超过 10 亿美元收购Reka AI的事宜谈判。

不过现在来看，收购事宜还没有谈成。在Yi Tay宣布新动向后，他们紧急发声，现在公司还在积极招人ing。

而就他个人来说，这是段非常紧张的时期。尤其刚开始创业的时候妻子怀孕，他不得不同时兼顾两边，由此身心健康受到很大的损害。

并且由于高强度的工作和不健康的生活方式，他长胖了15公斤。

不过他自己也曾透露过自己有睡眠障碍。

种种原因，他决定重回谷歌，回归到一个研究者的身份。

在初创企业世界探索了一年半之后，我决定回归我的研究根基。

在分享经历的开始，他写下了这样一句话。

回到谷歌之后，他将探索与大模型相关的研究方向，以高级研究员的身份，向大神Quoc Le汇报。

在博客的最后，他感谢了创业这段时间始终联系的谷歌老朋友。

并且还特地感谢了在新加坡同他共进晚餐的Jeff Dean，并且提醒他Google 很棒。（Doge）

谷歌老同事：欢迎回来

一些谷歌老同事在底下纷纷表示：Welcome back！感觉像是过了十年。

值得一提的是，像这种大牛重返大厂并非个例。

今年8月谷歌以25亿美元打包带走了明星AI独角兽Character.AI的核心技术团队，远高于Character.AI 10亿美元的估值。

其中包括两位创始人——Transformer“贡献最大”作者Noam Shazeer和Daniel De Freitas。其中Noam Shazeer出任Gemini联合技术主管。

这样看起来，对于这些大牛来说，大模型创业确实不易，重返大厂确实是个不错的选择，至少钱够算力够、安安心心做研究。

而随着新一轮的洗牌期到来，更多技术大牛朝着科技巨头聚拢，也已经初见端倪。

• ·[赛后采访]KSG.妖刀：今天有点慌了，训练赛一落千千千丈，轻语会限制小落
• ·声援！本泽马弟弟转发维尼修斯社媒动态图片❤️
• ·英媒：阿莫林已口头同意执教曼联，可能要求超700万英镑的年薪
• ·德罗巴与金球得主自拍🤳邦马蒂笑容甜美 罗德里反向剪刀手✌️
• ·自主研制！“清航叁号”新型发动机成功测试飞行
• ·谁最可惜？近15年金球奖第二名：范迪克、莱万、维尼修斯、小白…
• ·没来领奖！德罗巴：很失望前教练没来这，恭喜安帅又创造历史
• ·皇马认为金球不给维尼修斯就该给卡瓦哈尔，缺席因觉得未被尊重
• ·宋凯回顾02世界杯：当时出言不太逊，现在看可能是天花板了
• ·恩比德复出赛季首秀演砸！11投9铁仅13+3+5 八罚全中被讽罚球机器
• ·ATP年终总决赛小组赛：弗里茨、辛纳迎“开门红”
• ·[流言板]大鸟和魔术师谁更强？麦迪：很难比较，都很强
• ·华为鸿蒙生态武汉创新中心启用：全国最大、设施最先进！
• ·男子高速违停脱光衣服趴方向盘上睡觉：罚200元、记9分
• ·极氪：和领克全面整合、联手覆盖高端豪华和中高端市场
• ·[独家報告]9场3分钟!崔永熙被外国教练冷淡对待，中国国家队主力卻打不上比赛！崔永熙表示好死不赖活着!