GLM-4.7-FLASH和Qwen3-Coder-Next都不支持

[470335075]

Motivation

GLM-4.7-FLASH和Qwen3-Coder-Next都不支持，支持列表已经更新了，实际测试镜像还未更新，期待

Related resources

No response

Additional context

No response

[aipolly]

在main分支，强更transformer后可以用原版，量化版只能等turbomind引擎支持吧？

[simonjhy]

turbomind尽快支持GLM系列吧

[lvhan028]

首先，非常感谢大家对 turbomind 的支持和喜爱。

为了能拓展 turbomind 支持的模型，引擎侧需要经过较大的重构。这项工作在进行中，其工作量和难度比我们预估的要高。

而且，在重构做好后，对 GLM 和 Qwen3-Next 的支持并不能一蹴而就，这两个模型的算子要在 turbomind 中定制开发，难度也不小。

因组内的资源倾斜在对 Intern 系列模型研发的支持上，对 turbomind 上的投入比较有限，这也导致 turbomind 的迭代缓慢，让用户们比较着急，对此，我们也深感抱歉，但，真的尽力了。希望大家能多多体谅。

因为 turbomind 在模型支持上门槛很高，所以在 lmdeploy 中我们开发了 pytorch engine，作为兜底方案。GLM4.7-Flash 和 Qwen3-Coder-Next 在其中已经支持了，同样能够兼容 v100 及以上的显卡。希望能对大家有所帮助。

[470335075]

非常感谢您，能让我们这些V100的垃圾佬还能体验AI时代最新的模型！非常感谢

[RNGMARTIN]

确定可以使用pytorch模式在V100上启动glm4.7flash么？ 我现在每次启动都报错OutOfResources: out of resource: shared memory
Required: 102400
Hardware limit: 98304

[bash99]

首先，非常感谢大家对 turbomind 的支持和喜爱。

为了能拓展 turbomind 支持的模型，引擎侧需要经过较大的重构。这项工作在进行中，其工作量和难度比我们预估的要高。

而且，在重构做好后，对 GLM 和 Qwen3-Next 的支持并不能一蹴而就，这两个模型的算子要在 turbomind 中定制开发，难度也不小。

因组内的资源倾斜在对 Intern 系列模型研发的支持上，对 turbomind 上的投入比较有限，这也导致 turbomind 的迭代缓慢，让用户们比较着急，对此，我们也深感抱歉，但，真的尽力了。希望大家能多多体谅。

因为 turbomind 在模型支持上门槛很高，所以在 lmdeploy 中我们开发了 pytorch engine，作为兜底方案。GLM4.7-Flash 和 Qwen3-Coder-Next 在其中已经支持了，同样能够兼容 v100 及以上的显卡。希望能对大家有所帮助。

期待未来能支持qwen 3.5模型，甚至先支持 text-only 模式也很好