我在 iPhone 上装了 70 亿参数大模型，来自陈天奇团队最新成果

导读：跑大语言模型的门槛，已经降低到一部 iPhone 了。　　当然安卓版本也有，只要手机 RAM 够 6G，听上去是不是比用 2060 还要震撼？　　而且这次还是开箱即用的版本

　　跑大语言模型的门槛，已经降低到一部 iPhone 了。

　　当然安卓版本也有，只要手机 RAM 够 6G，听上去是不是比用 2060 还要震撼？

　　而且这次还是开箱即用的版本！

　　这个项目名为 MLC LLM，与之前的 WebLLM 同出自知名学者陈天奇团队。

　　截止目前已在 GitHub 上斩获超 6800 星。

　　目前可以测试的模型有羊驼家族（基于 LLaMA）的 RedPajama 和 Vicuna。

　　可选模型参数分别为 30 亿和 70 亿，与很多在线 Demo 规模也相当了。

　　RedPajama 团队表示，这一成果打开了大模型私有化部署的可能性。

　　除了诗歌，故事也能创作，甚至还能写出内心戏来。

　　不只是爱情，其他类型的故事也难不倒它。

　　除了文学上的应用，我们不妨再来试试它的实用功能。

　　我们让它生成了一道夏威夷披萨的菜谱，看上去还蛮不错。

　　旅游计划也可以让它来安排。

　　我们再来看看它在理工科上的表现怎么样。

　　首当其冲的是代码，我们让它尝试用 Python 写了一段寻找最大数的代码。

　　想不到上来就是一通枚举……不过结果倒也是符合要求。

　　def max_of_three ( num1, num2, num3 ) :

　　 if num1 > num2 and num1 > num3:

　　 return num1

　　 elif num2 > num1 and num2 > num3:

　　 return num2

　　 elif num3 > num1 and num3 > num2:

　　 return num3

　　 return None

　　num1 = 11

　　num2 = 45

　　num3 = 14

　　max_value = max_of_three ( num1, num2, num3 )

　　print ( "The maximum value is: ", max_value )

　　不过遇到稍难的问题，它的编程能力就有些捉襟见肘了。

　　至于数学和逻辑推理则一言难尽，不过毕竟为适配手机参数有限，倒也情有可原。

　　我们还试了试用中文进行提问，但发现目前对中文的适配还有些问题。

　　另外，移动 APP 目前还不具有保存聊天记录功能，切出界面时一定要小心小心再小心。

　　虽然目前能在手机上跑的大模型能力还有限，但团队也展示了未来更多发展方向。

　　比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App 嵌入、去中心化等等。

　　如何安装

　　这款大模型支持 iOS、安卓移动设备，以及 Windows 和 Mac

　　iOS 用户可以先安装好 TestFlight，然后从下面的传送门申请测试：

　　传送门：https://testflight.apple.com/join/57zd7oxa

　　如果名额已满，也可以用 GitHub 上的代码自行编译安装

　　传送门：https://github.com/mlc-ai/mlc-llm

　　传送门：https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk

　　桌面用户请参阅官方教程：

　　传送门：https://mlc.ai/mlc-llm/