26年前的奔腾II电脑也能运行大型语言模型？EXO Labs展现AI普及的可能性

EXO Labs团队近期在社交媒体上发布视频，展示一台运行Windows 98系统的26年历史奔腾II电脑成功运行大型语言模型（LLM）的成果。这台配置仅为350MHz CPU和128MB内存的老式电脑，通过运行基于Andrej Karpathy的llama2.c开发的定制纯C推理引擎，成功生成了一个关于“Sleepy Joe”的故事。

EXO Labs由牛津大学的研究人员和工程师组成，其目标是“普及人工智能”。他们认为，当前AI技术被少数大型企业掌控，可能对文化、真相和社会产生负面影响。因此，他们致力于构建开放的基础设施，让任何人都能在任何地方运行AI模型。

此次实验的成功，得益于llama2.c的轻量化设计，以及团队使用老旧的Borland C++ 5.02 IDE和编译器进行代码编译。实验结果显示，在26万参数的LLM模型下，这台老电脑的生成速度达到每秒35.9个token；而在1500万参数的LLM模型下，速度略高于每秒1个token；使用10亿参数的Llama 3.2模型时，速度则显著下降。

EXO Labs的未来目标是通过BitNet项目进一步推动AI普及。BitNet是一种使用三元权重的transformer架构，能够显著降低模型的存储空间需求，并在CPU上实现高效运行。他们认为，BitNet架构有潜力让即使是旧款硬件也能运行大型语言模型，从而真正实现AI的普惠化。