RMQ3x
Dense专业推理,驱动实际行动。
针对法律、调查、安全治理、科研与社会研究打造的专业模型。连接方案设计、代码生成、工具调用与结果验证,让 Agent 将专业判断转化为行动,交付文书、代码与研究成果。
理解专业问题
联系事实、证据与领域知识,推演因果、检验假设,形成有依据的判断与方案。
完成实际工作
制定检索策略,生成数据查询与验证代码,调用专业工具执行任务、检验结果。
延续任务进程
承接前序发现与执行反馈,修订方案、推进验证,完成调查、研究与业务工作。
RMQ 系列模型
RMQ3x 与 RMQ4,RMinte 专业模型系列。为法律、调查、安全治理、科研与社会研究打造,连接领域知识、深度推理与工具执行,让 Agent 从理解问题、形成判断走向持续行动,交付文书、代码与研究成果。
专业推理,驱动实际行动。
针对法律、调查、安全治理、科研与社会研究打造的专业模型。连接方案设计、代码生成、工具调用与结果验证,让 Agent 将专业判断转化为行动,交付文书、代码与研究成果。
联系事实、证据与领域知识,推演因果、检验假设,形成有依据的判断与方案。
制定检索策略,生成数据查询与验证代码,调用专业工具执行任务、检验结果。
承接前序发现与执行反馈,修订方案、推进验证,完成调查、研究与业务工作。
深入复杂问题,驾驭长程任务。
为跨领域、多阶段、需要反复验证的专业工作打造,覆盖法律、调查、安全治理、科研与社会研究。衔接任务规划、代码计算、工具使用与研究迭代,保持目标、约束和阶段成果的连续性,让 Agent 推进复杂调查与研究项目,完成从问题到成果的交付。
联结不同领域的知识与证据,解释问题机制,检验竞争性假设,形成逻辑严密的专业判断。
统筹调查规划、信息检索、代码计算与结果复核,将阶段性发现转化为后续行动。
吸收新增证据、计算结果与实验反馈,修订假设、完善方案,产出可检验的研究成果。
以 RMQ 构建专业 Agent。连接行业知识、业务系统与专业工具,将专业目标转化为连续行动。
推理引擎
RMQ3x 与 RMQ4 已运行于 RMinte 自研 C++ 推理引擎和深度定制的 vLLM。围绕模型结构与 RM-01 的硬件平台,我们深入优化算子、执行路径与运行时,让模型能力建立在高效的推理实现之上。
RMinte 自研 C++ 引擎的 Runner 自身内存开销约为 2 MB,不含模型权重、KV Cache 与上下文等占用。在相同模型、精度与量化配置下,prefill 与 decode 性能均优于我们已优化的 vLLM 实现,兼顾输入处理与逐 token 生成的效率。
针对 RM-01 的 GPU、统一内存与缓存结构,我们设计 CUDA 算子,合并投影与相邻运算,并按矩阵规模选择计算路径。权重加载、量化存储与运行时布局共同减少内存分配和中间结果搬运,将资源留给模型计算。
引擎支持连续追加输入,将输入处理与回答生成分开调度。前缀缓存与递归状态管理复用已有计算,内存与 SSD 分层存储承接上下文。模型随新消息、文档与任务反馈推进处理,在需要输出时启动 decode。
这种执行方式让 Agent 能够持续接收上下文,无须每次输入都触发回答。从会议中的持续聆听,到案件材料的增量分析,模型随信息更新推进处理,在需要时参与判断与行动。
RMinte 围绕模型执行与硬件特性,完成 GPU 算子的移植与重写,处理 PTX 与编译工具链的兼容问题,并推进 FlashInfer 推理内核库、Transformers 5 模型库的适配与集成。
在 Fused MoE 内核调优中,我们解决了相关流程中的 Triton 兼容问题,使内核参数能够针对模型配置与硬件特性进行调优。同时,对推测解码等执行流程进行定制优化,提升模型推理效率。
定制 vLLM 已支持 RMQ3x 与 RMQ4,也为 RM-01 运行其他适配的开源模型提供推理基础。用户可以围绕任务选择模型,在同一台设备上构建不同的专业应用与 Agent 工作流。
RMQ3x 与 RMQ4 结合递归记忆、注意力检索与针对性训练,构建专业分析和工具执行能力。自研推理引擎围绕模型结构与硬件特性,优化计算路径、数据访问和任务调度,让这些能力服务于长文档、多轮交互与持续运行的 Agent。