Alex Smola 与李沐师徒官宣创业：舍亚马逊，入大模型

导读：作者 | 李梅　　编辑 | 陈彩娴　　雷峰网消息：近日，亚马逊机器学习部门原杰出科学家 /VP Alex Smola 与首席科学家李沐师徒二人已从亚马逊离职，并且确立新去向

　　作者 | 李梅

　　编辑 | 陈彩娴

　　雷峰网消息：近日，亚马逊机器学习部门原杰出科学家 /VP Alex Smola 与首席科学家李沐师徒二人已从亚马逊离职，并且确立新去向：进军大模型方向创业。

　　此前两个月，雷峰网与接近李沐师徒二人的 AI 行业人士交谈，获悉二人有离职打算。但直到今天，二人动态才最终确定。

　　据微信公众号 " 亲爱的数据 " 消息，Alex Smola 于 2023 年 2 月从亚马逊离职后公布了新的创业项目——一家人工智能公司 Boson.ai，担任首席执行官兼联合创始人。其 Linkedin 资料也更新了新的公司信息。

　　而其弟子李沐这次也再次追随了导师的脚步。

　　从李沐到卡内基梅隆大学 Alex Smola 门下读博开始，这两位顶级 AI 科学家师徒的轨迹就高度重合。2016 年两人就曾在深度学习落地潮中一同创业，如今在 ChatGPT 引起的新一轮 AI 大模型热潮之际，两人抓住机遇从大厂离职创业，新事业令人期待。

　　关于 Boson.ai 这家新公司，目前的公开资料还不多，Alex Smola 简短透露称：" 我们正在做一件大事……请保持关注。如果您想从事可扩展基础模型方面的工作，请联系我。" 官网目前也在建设中，页面显示其创业方向为大模型。

　　Boson.ai 官网

　　李沐的公开资料还尚未显示其最新动向，但他已在 Github 上亲自创建了新公司的项目：

　　1

　　深度学习框架开创者李沐

　　李沐

　　ACM 班的 " 沐神 " 传说

　　李沐的大学本科在上海交通大学 ACM 班度过。ACM 班由总教头俞勇领衔，旨在培养计算机科学家，汇聚了一群最聪明的年轻人。

　　李沐 2004 年入学，在吕宝粮教授的实验室学习，开始接触人工智能。从大一开始，李沐就被周围同学尊称为 " 沐哥 "，据他的室友李佐凡回忆，李沐有一股难以压制的领袖气场从内而外地散发出来，让人不禁仰视。

　　2007 年夏，李沐去微软亚洲研究院实习，在互联网搜索与挖掘组（WSM）和搜索技术中心（STC）受 Steve Macbeth 指导（现在亚马逊任 CE 技术总监）。这是李沐与工业界的初次接触。

　　毕业后，李沐并没有直接去业界找工作，当时计算机虽是社会上的热门专业，但 IT 公司还没有那么厉害，尤其是 AI 方面的技术还没那么强。所以在 2009 年 8 月，李沐作为访问学生到香港科技大学继续深造，之后在那里继续担任研究助理。

　　初去百度做广告系统

　　2011 年，李沐尝试申请了一次美国的博士项目，但当时拿到的 offer 里并没有特别合适的导师。所以李沐选择留在了国内，北上投奔师兄戴文渊，在百度做广告方面的工作。

　　在百度的一年，李沐的主要工作是利用广告数据训练能够预测用户点击广告率的模型。李沐从中积累了不少工业界经验，也为他后来开发机器学习系统的长久事业开了一个头。李沐后来在回顾百度的这段经历时也说到，在百度 " 遇到的很多问题成为了之后研究方向的来源，当时深度学习刚出来，冥冥中觉得应该是大规模机器学习的未来 "。

　　一年后，李沐决定再次踏上求学之路。在百度的经历让他清楚了自己的研究短板，而当时国内的机器学习系统并不发达，选择他选择了 CMU 和 MIT 两所美国学校，把之前的博士申请材料重新寄了一遍，结果很顺利地拿到了 CMU 的 offer。

　　某次，李沐在百度的食堂与余凯、张潼一同就餐，谈到去 CMU 读博，余凯和张潼就建议他去 Alex Smola 教授门下，并写了一封推荐信过去。

　　百度少帅与 MXNet

　　李沐去 CMU 读博的前半年，Alex 还在谷歌工作，由于经费不足，就找来另一位做分布式系统的教授 Dave Andersen 一同指导李沐。

　　在博士第一年结束的暑假，李沐去谷歌实习，主要在研究内部代码和文档，了解了谷歌的基础架构，开了眼界。当时 Google Brain 成立不久，李沐在那里见识了 Jeff Dean、Geoffrey Hinton 等大牛。

　　博士第二年，李沐实现了一个通用的分布式机器学习框架，即 Parameter Server（论文：Parameter Server for Distributed Machine Learning）。该框架一开始的目的是为了做实验更方便，李沐花了大量时间去设计接口，做了多个版本实现，还做了一些工业界级别的大规模实验。最后，这项工作发表在了机器学习系统领域的顶会 OSDI 上。Parameter Server 后来还合并到了 MXNet 项目中。

　　李沐对深度学习的接触并非起于在 CMU 的博士研究，而是在国内的百度见证了深度学习的火热。时任百度深度学习研究院（IDL）副院长的余凯是他的引路人。当时，余凯正在百度推动深度学习，启动了 " 少帅计划 " 以吸引优秀的年轻 AI 人才。李沐入选该计划，并 " 入坑 " 深度学习。也是在余凯的建议下，李沐开始酝酿做一个深度学习开源平台。

　　回到 CMU，李沐先是继续做 Parameter Server 项目，写了许多代码，并帮助用户使用这些代码。但遇到不少困难，比如由于忽视代码的易读性，导致只有少部分人能理解代码从而做一些开发，再者，没有人能一起审核代码接口，导致这些接口个人风格强烈，但很难做到对所有人都简单明了。

　　幸运的是，李沐发现了当时在华盛顿大学读博的陈天奇，当时陈天奇在做 XGBoost 项目。两人交流以后，发现很多基础部件是可以多个项目共同使用的，而不是每个项目都造一个轮子。于是，李沐与陈天奇在 Github 上创建了 DMLC（Distributed Machine Learning Community）组织。

　　MXNet 项目也在这个组织中很快启动。李沐将三个不同的开源项目合并到了一起，分别是由在美国的陈天奇的 CXXNet，张铮及其学生王敏捷牵头的 Minerva，以及颜水成学生林敏牵头的 purine2，最终创建了 MXNet 框架，并于 2015 年年底开源。

　　2

　　" 参数服务器之父 "Alex Smola

　　Alex Smola 是国际机器学习的知名科学家，此前在亚马逊期间致力于构建人工智能和机器学习工具。在分布式深度学习框架领域，他曾提出并行 LDA（Latent Dirichlet Allocation）的框架，是参数服务器概念的最早来源。

　　Alex Smola

　　Alex Smola 于 1996 年在慕尼黑工业大学获得硕士学位，曾在慕尼黑科技大学、帕维亚大学和霍姆德尔的 AT&T 研究院学习物理学。1998 年，他获得柏林工业大学的计算机科学博士学位，先后去往柏林 GMD 软件工程和计算机体系结构研究所和澳大利亚国立大学信息科学与工程研究院工作。2004 年，他在 NICTA 的统计机器学习项目中担任高级首席研究员和项目负责人，2008 年起入职雅虎研究院。

　　2012 年春至 2014 年底，Alex Smola 在谷歌研究院工作，中间从 2013 年起，他开始担任 CMU 的教授，指导李沐，后来于 2016 年加入 AWS。

　　3

　　李沐师徒的亚马逊往事

　　2016 年李沐准备从 CMU 博士毕业，那段时期深度学习的落地十分火热，科学家纷纷从学术界去往工业界，各种巨资收购初创公司不断。当时李沐在国内的许多好友都纷纷创业，如余凯离开百度创立地平线，戴文渊从华为离开、创立第四范式。

　　李沐也跃跃欲试，与两位导师 Alex 和 Dave 以及 Ash Munshi 一起，创立了公司 Marianas Labs，李沐出任 CTO。

　　中途，Dave 离开公司，去了谷歌与 Jeff Dean 一起做 Tensorflow。之后，公司的项目果然被一个小上市公司看中，就将公司卖了出去。但后来他们认为这家公司不靠谱，就考虑不再合作，另做打算。当时的 Alex 在阳谷县（SunnyVale）买了房，有还贷的经济压力，于是选择去了亚马逊，担任 AWS 副总裁级别科学家（Distinguished Scientist），从 CMU 重返工业界。

　　所以，这次短暂的、并不算很成功的创业之旅就此终止，李沐也总结了一些教训和经验：团队和技术强是一方面，更重要的是要把产品做好。

　　在这时，李沐收到了 Jeff Dean 从谷歌抛来的橄榄枝。机会很诱人，但李沐考虑到 MXNet 的后续发展，觉得去亚马逊是更好的选择，" 自己挖的坑，总是要自己填的 "。李沐便追随导师 Alex，以兼职的身份去了亚马逊，直接向 Alex 汇报，带着一些人做 MXNet 的开发和 AWS 上深度学习的应用。

　　随后，李沐完成博士学位后，于 2016 年 7 月正式加入亚马逊 AWS。亚马逊的人工智能部门彼时刚刚成立，对深度学习框架正有着强烈的需求。李沐的新目标不再仅仅是深度学习框架的研发，还包括让框架更好地服务用户。在他看来，分布式系统最难的不是如何让每个机器计算的多快，而是机器之间的通讯，如何减少通讯提升交互效率，对系统来说也至关重要。

　　2016 年 11 月，MXNet 被亚马逊选为官方开源平台，这对于 MXNet 和李沐而言是一次重大胜利。

　　起初李沐因为想要填 MXNet 的 " 坑 " 而追随导师加入亚马逊，六年多来也主要围绕 MXnet 展开工作，如今看来他已找到了待发掘的 " 新坑 "。而对于 Alex Smola 而言，上一次的短暂创业因为背负房贷压力而终止，这次他与弟子再次创业，想必房贷的经济压力早已解决，也有足够的资本来投身烧钱的大模型领域。

　　当下大模型的火热对人才的吸引力巨大，AI 科学家离开大厂、创业入局 ChatGPT 已成趋势，期待李沐与 Alex Smola 师徒在这一赛道上的新动作。

　　参考链接：

　　https://mp.weixin.qq.com/s/EEUDKjcEgvD1lGWCXHI36w

　　https://alex.smola.org/

　　https://zhuanlan.zhihu.com/p/25099638

　　https://mp.weixin.qq.com/s/GIkUsPZDsCs3PpZVYXnB_w

　　更多内容，点击下方关注：

　　未经「AI 科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

　　公众号转载请先在「AI 科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。

　　雷峰网