跳转至内容
  • 0 赞同
    1 帖子
    10 浏览
    C
    AI 工具变化太快,一篇没有日期和版本的“最佳实践”可能在几周后就无法复现。版本化不是形式主义,而是在告诉读者:这条结论在哪个时间窗口和环境里成立。 标题下方建议固定写六项 最后验证:YYYY-MM-DD,时区 工具或模型:准确名称与版本 客户端或 SDK:版本号 运行环境:操作系统、运行时、关键依赖 账号或能力范围:只写必要的套餐/权限,不泄露身份和密钥 结论状态:已复现 / 部分复现 / 已失效 / 待更多样本 正文要区分三类信息 事实:官方文档、返回字段、日志、测试结果。 观察:在多少样本、什么条件下出现的表现。 推断:对原因的解释,尚未被直接证明。 如果工具是在线服务,还应记录地区、请求时间、重试策略和速率限制,因为这些因素会改变延迟与成功率。价格类内容要写币种、计价单位和查询日期,不把历史价格说成当前价格。 更新而不是悄悄覆盖 结论变化时,在顶部增加更新记录:改了什么、为什么改、旧结论哪里失效。读者看到的不是一篇永远正确的文章,而是一段可以追踪的知识维护历史。 编辑说明:2026-08-15,COHAO 编辑部基于 AI 工具文档与生产核验经验整理;AI 协助起草,项目负责人复核。
  • 别先调 Prompt:用评测集驱动 AI 功能迭代

    最佳实践 prompt
    1
    0 赞同
    1 帖子
    39 浏览
    C
    当 AI 功能表现不稳定时,团队常见的第一反应是继续改 Prompt。没有固定评测集时,这种调整很容易让一个例子变好、另十个例子悄悄变坏。 先建立一个很小但真实的评测集 初版不需要上千条数据。可以从 20 到 50 个真实任务开始,至少覆盖: 最常见的正常请求。 信息不全、表达含糊和格式异常的请求。 工具超时、空结果、权限不足和重复回调。 应该拒绝或转人工的高风险请求。 曾经发生过的回归样本。 每条样本写清输入、允许使用的上下文、期望行为、禁止行为和判定方法。能用代码判定的就用代码;涉及帮助程度、事实完整性或语气的,再使用有量表的人类复核或模型评分,并定期校准评分器。 每次改动都问四个问题 通过率是否提高,还是只对展示案例提高? 原来通过的样本有没有回归? 成本、延迟和工具调用次数发生了什么变化? 失败是否更容易被发现和人工接管? OpenAI 的评测指南也强调持续评测、任务特定样本和人工反馈校准。无论使用哪家模型,这个方法都成立:先把“好”写成可检查的行为,再调整 Prompt、工具或模型。 参考: https://developers.openai.com/api/docs/guides/evaluation-best-practices https://platform.openai.com/docs/guides/evals 编辑说明:2026-08-15,COHAO 编辑部依据官方评测指南和工程实践整理;AI 协助起草,项目负责人复核。
  • 0 赞同
    1 帖子
    10 浏览
    C
    Agent 安全最容易犯的错误,是把“你只能操作自己的数据”写进提示词,然后相信模型会一直遵守。模型输出只能表达意图,不能证明调用者是谁,也不能决定它有权操作哪个对象。 一个可靠的调用链 后端从已验证会话或访问令牌得到 actor,不接受模型提供的 user_id。 工具接口只接收业务对象和必要参数,站点、租户、所有者范围由后端补全。 策略层同时检查角色、对象所有权、动作风险和当前状态。 付款、删除、公开发布、改权限等动作需要明确确认,并把确认绑定到对象、内容和有效期。 写操作带幂等键,重复请求不会重复扣款、发送或删除。 审计记录保存是谁、何时、对什么对象、依据什么策略做了什么,不保存不必要的密钥和隐私。 不应交给模型决定的内容 当前用户身份、租户或站点。 对象是否属于当前用户。 是否为管理员、财务人员或审核员。 是否已经获得某次高风险操作的确认。 API 密钥、钱包签名、数据库直连和角色修改。 提示注入之所以危险,不只是模型可能说错话,而是被污染的内容可能诱导模型调用真实工具。OWASP 的生成式 AI 安全项目也把 Prompt Injection 作为核心风险;工程上的答案不是继续堆提示词,而是限制工具能力与后端授权范围。 参考: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence 编辑说明:2026-08-15,COHAO 编辑部根据公开安全资料与本项目“权限优先”原则整理;AI 协助起草,项目负责人复核。
  • 0 赞同
    1 帖子
    26 浏览
    C
    很多 Agent 演示只留下一个成功截图。真正需要维护时,我们更需要知道:它在什么条件下运行、获得了什么权限、哪里失败、能否再次得到相近结果。 下面是一份可以直接复制的最小运行记录。 任务名称: 记录时间与时区: 执行者:人 / Agent / 人机协作 工具、模型与版本: 代码或提示词版本: 运行环境:操作系统、运行时、关键依赖 目标结果: 允许读取的输入: 允许调用的工具: 明确禁止的动作: 预算与最长运行时间: 停止条件: 实际步骤摘要: 关键工具调用及返回: 最终结果:成功 / 部分成功 / 失败 / 人工中止 可核验证据:日志、测试、提交、截图或输出文件 时间、Token、API 与人工成本: 失败现象: 已验证根因: 尚未验证的推测: 重试是否安全: 修复或补偿动作: 下次需要新增的检查: 为什么要把权限也写进去 同一段提示词,在只读文件系统和拥有生产管理员权限时,风险完全不同。可靠性不是只看回答质量,还要看 Agent 在失败、超时和歧义情况下会不会越过边界。 最小验收 另一个人能依据记录重跑主要步骤。 关键结果有机器可读或可截图的证据,不只是一句“看起来可以”。 失败后能判断应该重试、人工接管还是回滚。 记录没有包含密码、Token、Cookie、私密原文或未脱敏个人数据。 这份模板也是 COHAO《AI Agent 工具可靠性报告》的起点。欢迎回复你认为缺失但必须记录的字段。 编辑说明:2026-08-15,COHAO 编辑部基于本项目真实部署与 Agent 操作经验整理;AI 协助结构化,项目负责人复核。
  • COHAO 内容与 Agent 披露规则 v0.1

    已固定 公开共建 社区规则 agent
    1
    0 赞同
    1 帖子
    24 浏览
    C
    这份规则适用于 COHAO 创世期,目标是让内容可信、关系真实、Agent 可控。规则会公开修订,但任何变更都必须保留日期和原因。 1. 内容的最低证据 实践帖标明日期、工具或模型版本、运行环境、输入条件和适用边界。 评测帖说明任务、样本、指标、失败样本和成本,不用单次演示代替结论。 进展解读优先引用官方公告、代码仓库、论文或标准原文,并区分事实与作者推断。 失败复盘不要求暴露隐私,但要区分已观察事实、推测根因和已验证修复。 2. AI 参与披露 允许 AI 帮助检索、整理、翻译、改写、生成代码草稿和检查格式。发布者必须说明 AI 的参与范围,并对最终事实、引用、运行结果和权限负责。 禁止用 AI 虚构用户经历、实验数据、回复、点赞、客户案例、社区共识或未经发生的成功。COHAO 编辑部发布的种子内容会明确标记为 AI 协助和人工复核。 3. Agent 权限 创世期 Agent 可以监控公开来源、整理草稿、检查引用和版本、发现重复问题、提示无人回复的主题。Agent 不得冒充成员、自动发布、自动处罚、修改角色、读取私信、接触资金或持有管理员凭据。 未来任何写操作都必须由后端认证上下文确定身份与对象范围,并具备权限校验、确认、幂等、审计和撤销路径。提示词不是权限系统。 4. 讨论边界 可以尖锐反驳观点,不攻击个人。 不发布密钥、个人隐私、未授权数据和可直接造成伤害的操作细节。 商业关系、赞助、返佣、雇佣和利益冲突需要披露。 举报进入人工队列;Agent 可以整理证据,但不能自动封禁。 5. 纠错与版本 发现错误时,优先给出可核验的纠正和来源。重要内容应在正文顶部记录更新时间和改动原因。被纠正不是失去信誉;拒绝修正已证实的错误才是。 版本:v0.1,2026-08-15。本文由 COHAO 编辑部使用 AI 协助起草并由项目负责人复核。后续修改将在主题中保留公开记录。
  • 欢迎来到 COHAO:从一个真实 AI 问题开始

    已固定 公开共建 社区指南
    1
    0 赞同
    1 帖子
    14 浏览
    C
    COHAO 是一个面向中文 AI 实践者的内容与公开共建社区。这里不要求你先加入一个漫长的创世流程,也不会用 Token、收益承诺或虚构活跃吸引你。 你可以直接阅读、注册、提出问题、提交首篇内容。为了挡住机器灌水和明显广告,新账号的第一次发帖或回复会进入人工审核;第一篇通过后,普通讨论可以继续进行。现阶段不强制填写邮箱,因此注册更轻,但邮件找回密码暂不可用,确有需要时由管理员人工核验并重置。 最适合从哪里开始 有一个正在发生的 AI 问题:去「问答求助」,带上环境、输入、期望、实际结果和已经尝试过的方案。 刚解决了一个难题:去「最佳实践」,写清版本、日期、适用边界和复现步骤。 踩过坑:去「失败复盘」,不只写结论,也写证据、根因和仍未解决的部分。 比较过工具:去「工具评测」,尽量使用同一任务、同一输入和可解释的评价标准。 想参与建设:去「公开共建」,领取一个小任务,或提出一个可以被讨论和修改的方案。 我们珍惜什么 真实经历高于漂亮结论。 可复现证据高于型号崇拜。 纠错与维护和原创同样重要。 人可以使用 AI 协助,但必须说明 AI 做了什么,人对什么负责。 不虚构用户、评论、测试结果、收入或社区共识。 首批长期建设者不会由申请表预先决定,而会从持续答疑、复现、纠错、编辑和维护中自然出现。先做一件对别人有用的小事,就是最好的加入方式。 编辑说明:本文由 COHAO 编辑部在 2026-08-15 使用 AI 协助起草并由项目负责人复核。它是当前运行规则,不代表已经形成的成员共识;欢迎在回复中提出修改建议。