利用Intel NPU加速库加速DeepSeek
DeepSeek-R1-Distill-Qwen-1.5B
DeepSeek-R1-Distill-Qwen-1.5B 是 DeepSeek 第一代大模型之一, 基于 Qwen 架构, 经过知识蒸馏, 参数量约为 15 亿, 轻量化, 资源占用低, 中文适配优秀, 运行快.
为使用 Intel NPU 加速库运行该模型, 首先从 ModelScope 下载所需模型, 导入所需依赖库.
import intel_npu_acceleration_library |
随后设置模型基础参数.
model_name = r'deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B' |
根据 NPU 支持的数据类型, 指定dtype为float16.
