引擎层,不是调度层
直击卡内计算与显存瓶颈,而非把请求分发到更多机器。同行多在开源调度上做包装,我们下潜到算子与内存布局。
不周山是一支专注推理引擎层的工程团队。我们相信大模型降本的主战场不在"多买卡", 而在"把每张卡的潜力挖干净"。我们不卖算力、不做调度,只做一件事 —— 让跑在你机房里的 GPU,吞吐更高、延迟更低、单位成本更便宜。
直击卡内计算与显存瓶颈,而非把请求分发到更多机器。同行多在开源调度上做包装,我们下潜到算子与内存布局。
越受限的卡,优化收益越长。中端卡(L40S / RTX 6000 Ada / 国产卡)带宽受限,恰恰是量化与推测解码收益最大的战场。
覆盖 NVIDIA Hopper / Ada / Blackwell 全系,并已打通摩尔线程、壁仞等国产 GPU 的 PTQ 通路与 kernel 移植。
从权重压缩到解码策略,从批处理到算子实现,逐层剥掉推理链路上的每一分浪费。
支持 NVFP4 / MXFP4 / FP8 / AWQ 多档精度。逐专家校准(MoE per-expert)、敏感层保护、混合精度回退,把权重压到 1/4,精度损失控制在 1% 以内。
小模型起草、大模型并行验证,把自回归串行解码变成"一次验证多个 token"。在长输出与高并发场景下收益尤为显著。
请求级动态拼批与抢占调度,消除 padding 空转与队头阻塞,让 GPU 在真实波动流量下仍保持高 occupancy。
算子融合、KV Cache 布局重写、访存对齐与 Tensor Core 利用率调优。这一层没有开源捷径,全靠 profiling 驱动的手工活。
已完成摩尔线程(MUSA)、壁仞等架构的 kernel 移植与量化通路打通,让国产卡的可用吞吐不再受限于厂商默认实现。
基线冻结 → 单变量变更 → run_id 全登记 → 回滚预案。每一步可复现、可审计,交付的是可验证的收益,不是 PPT 里的倍数。
覆盖 NVIDIA 全代际与主流国产加速卡。按各家官方软件栈原生对接,不做兼容层转译 —— 你机房里的卡,就是我们的主战场。
每个阶段有明确产出物与门控标准,不达标即止损,不靠话术推进。
采集 as-delivered 基线(厂商已调优状态),固定模型、batch、并发、输入分布,建立唯一可比的对照口径。
产出:基线冻结记录表PTQ 校准 + 敏感层识别 + 混合精度方案定案,跑通 perplexity 与业务指标双回归,确认精度损失落在承诺区间内。
产出:量化方案 + 精度报告逐项开启推测解码、连续批处理与融合算子,每次只改一个变量并登记 run_id,保留回滚点。
产出:逐项收益拆解表真实流量压测、稳定性与长跑验证,输出三方对照看板与部署文档,完成团队交接。
产出:实测报告 + 部署包以下为我们在典型硬件上的实测对照,基线统一取厂商默认配置(as-delivered)。真实收益取决于模型结构、硬件代际与流量特征,最终以 POC 报告为准。
只要你的推理账单对 GPU 数量敏感,单卡效率就是最直接的成本杠杆。
银行 / 保险 / 电商 / 航空 —— 并发会话一卡顶多卡,单位服务成本直接下探。
企业开发平台 —— 补全与生成的响应速度,直接决定开发者付不付费。
自动驾驶公司 / 车厂部门 —— 显存降下来,边缘与车端才跑得动大模型。
三甲医院 / 医疗药企 —— 本地部署,数据不出院。
游戏开发商 / 平台 / 虚拟社交 —— 语音与内容生成的边际成本,决定虚拟世界的规模上限。
对冲基金 / 券商 / 银行量化 —— 本地部署,量化合规且快。
在线教育 / 语言学习 —— 一张卡同时服务更多学生,生均成本指数级下降。
机器人 / 手机厂商 —— 让大模型跑上端侧。
跨境电商 / 工具电商 —— 文案批量生成、商品图自动修图,SKU 越多收益越大。
政府 / 国防承包商 / 安全机构 —— 全栈私有化,支持国产。
影视 / 短视频 / 广告 —— 每秒视频生成成本,直接决定内容产能。
工业机器人 —— 多模态边缘,视觉语音一体。
工程日志式更新:我们正在哪些硬件上、把哪些模型跑到了什么状态。
完成主流硬件官方性能表的统一归档与口径对齐,作为后续所有优化收益的唯一对照锚点,杜绝"自说自话的倍数"。
在 397B 级 MoE 模型上放弃"全量 INT8"零收益方案,改走混合精度路线,显存占用压至约 218GB,单卡可承载。
在信创硬件上启动为期 14 天的推理优化 benchmark,全程执行单变量变更纪律与 run_id 登记,逐项收益可拆解。
就新一代数据中心 GPU 的租赁与验证环境展开对接,补充更前沿硬件上的优化数据积累。
我们不卖概念,先在你自己的硬件上跑出可复现的数字,再谈合作。
2 周
在你指定的硬件与模型上跑基准优化,出具对照报告与三方看板。数据可对外署名引用。
推荐作为合作起点按量 / 年费
以容器或二进制形式交付推理引擎,按 token 用量分成或年费授权。不涉及源码交付。
含 SLA 与版本迭代项目制
面向金融、政务、医疗等合规场景,现场或专有云交付,配合国产化硬件适配与信创要求。
支持驻场与交接培训