今天是2024/7/18.

vllm0.5.2最近一周出了个不好搞的新issue，会遇到torch.ops._C没有rms_norm，或者没有reshape_and_cache_flash这两个属性的问题。

完整报错如下:

AttributeError: ‘_OpNamespace’ ‘_C_cache_ops’ object has no attribute ‘reshape_and_cache_flash’

AttributeError: ‘_OpNamespace’ ‘_C’ object has no attribute ‘rms_norm’

rms_norm issue链接

reshape_and_cache_flash issue链接

————————————————————

我没找到好的解决办法，issue里说的情况都是在用源码安装后遇到的，我直接在干净环境ubuntu20.24 cuda12.2下面pip安装，仍然遇到了问题。而且问题指向是torch里的class缺少属性，因此我猜测是torch的问题，vllm的每个版本又强制要求某个torch版本，因此我只能选择之前的vllm版本。

出错的安装环境:

torch2.3.1, vllm0.5.2

我回退了几个版本，用了pip install vllm0.4.0，它默认使用torch2.1.2，然后就不报错了。(如果不知道vllm有哪些版本，可以这样:pip install vllm3516356 随便打个数字，pip会报错说没有这个版本，然后告诉你可选择的所有版本)

下面是vllm官网quickstart里的例子，可用于测试vllm是否工作。

<code>from vllm import LLM, SamplingParams

prompts = [

"Hello, my name is",

"The president of the United States is",

"The capital of France is",

"The future of AI is",

]

sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")code>

outputs = llm.generate(prompts, sampling_params)

# Print the outputs.

for output in outputs:

prompt = output.prompt

generated_text = output.outputs[0].text

print(f"Prompt: { prompt!r}, Generated text: { generated_text!r}")

~

~

——————————————————————

其他的错误

有些人虽然正常运行了，但是能看见warning: 没有flash attention。

你安装pip install flash-attn，运气不好又遇到这个：

ImportError: cannot import name ‘packaging’ from ‘pkg_resources’

原因是setuptools太新了，回退到pip install setuptools==69.5.1 --no-cache-dir就可以了。