在这篇文章中，我们将探讨如何利用Meta新发布的最先进的开源大型语言模型Llama-3，实现在完全本地化基础设施上的进阶版RAG（检索增强生成）。这篇文章是使用Llama-3进行进阶RAG实施的实战指南。
深入学习机器学习中module 'd2l.torch' has no attribute 'train_ch3'报错的问题
网上搜了下，主要是最新版本和书里的版本不一致的问题，可以到https://github.com/d2l-ai/d2l-zh/blob/master/d2l/torch.py把这个torch.py文件下载下来，到指定的python的库下面把对应文件替换掉就好。
Published:
20 Mar 2024
cuda及pytorch对应版本安装
由于单机两张卡，4090+2080Ti,在跑qwen1.5-14B模型的时候用到了两张卡，其中提示到flash-attn2只支持ampere或更新的GPU，查了下发现它暂时还不支持2080，搜了下网上说可以降到flash-attn1.x。于是尝试了pip install flash-attn=1.0.9.
Published:
11 Mar 2024
