树莓派集群上运行llama 65B模型？（GitHub议题）

GGML是一个开源库，用于在低资源设备上运行语言模型。最近，团队已经进行了并行推理的MPI（Message Passing Interface）工作。现在，随着这些变化的实施，团队正在努力在树莓派集群上推理llama 65B模型。这一行动可...

Read More