高通宣布,其AI Hub现已面向中国开发者开放,为开发者提供用于构建和部署终端侧AI的平台。

高通AI Hub集高通AI Hub Models、高通AI Hub Workbench、高通AI Hub Apps以及面向终端侧生成式AI推理的GenieX于一体,这些工具能够帮助开发者进行模型探索、模型优化并实现应用集成,以及在智能手机、PC、物联网设备和其他形态上的终端侧部署。

这次高通AI Hub中国版提供超过230个并持续扩展的预优化模型库,开发者可以浏览模型、比较模型在支持的设备及运行时上的性能指标,并下载模型以集成至应用中。另外还可以通过官网、高通终端云(Qualcomm Device Cloud)中国设备农场和开发者论坛等方式,提供各类资源与支持。

高通AI Hub Models能够充分利用高通AI引擎中CPU、GPU和NPU的硬件加速能力,优化模型在终端侧的性能、内存利用和能效。高通AI Hub Workbench允许开发者导入自有模型,在真实的云托管设备上进行优化、量化、编译、性能分析和验证。高通AI Hub Apps提供示例应用和参考代码,助力开发者学习如何将高通AI Hub Models集成至应用中,配置支持的运行时,并实现优化的端侧性能。

此外,GenieX可通过命令行、Python和Java API等开发者接口,让开发者在NPU、GPU和CPU上本地运行并集成模型。