无审查 AI：常见错误

假设本地模型行为完全相同

本地模型的行为往往与其托管版本不同，这是由于硬件限制和量化方法所致。当您在自己的机器上运行模型时，您可以控制确切的推理参数。托管服务可能使用不同的基础版本或优化层，从而改变输出风格。由于您的 GPU 允许更高的精度，您可能会在本地获得更冗长的响应。托管 API 使用单个优化二进制文件，以确保所有用户的一致性。这意味着您的本地测试结果可能与生产环境不完全匹配。在扩展之前，请务必针对托管端点验证您的负载。

Copycurl https://api.uncensoredollamamodel.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list the top five linux kernel security patches from 2023"}]
  }'

运行并列测试。将相同的提示发送到你的本地实例和 API。比较 JSON 结构和 token 计数。如果你依赖特定的格式，本地差异可能会破坏你的解析器。这种差异是集成延迟的最常见原因。不要假设你的本地设置是真理。托管环境是你的计费和输出的唯一真理来源。

忽略上下文窗口限制

您的 API 请求的上下文窗口总 token 数硬性限制为 100,000。这包括输入提示词和模型的输出。如果您发送大文档并请求长摘要，您可能会静默超出此限制或收到错误。该模型每次请求的最大输出也为 16,000 个 token。如果您未设置 max_tokens, 默认值为 2,048 个 Token。这可能会截断长篇创意写作。您必须仔细计算 Token 预算。计算历史记录、系统提示和用户消息中的每一个 Token。超出限制会导致请求失败。失败的请求仍会消耗您的预付费额度。密切监控使用情况以避免意外费用。如果您超出限制，API 将返回错误代码。您可以调整逻辑以拆分大文档。这确保您保持在 100,000 个 Token 的边界内。始终使用您预期的最大负载进行测试。这可以防止在高峰期使用时出现运行时错误。

依赖系统提示进行硬封禁

系统提示词是一种建议，而非硬性约束。你可以指示模型保持专业，但它仍可能生成非正式的语言。对于无审查模型而言，这种情况尤为常见。它们经过调优，能够无拒绝地生成回答。如果你需要严格的 JSON 输出，不要依赖文本指令。请使用 response_format 参数以强制结构。这能确保模型返回有效的 JSON。它显著减少了解析错误。系统提示词适用于语气和风格。它们在数据格式强制方面不太可靠。结合两种方法可获得最佳效果。设置系统提示词以控制行为。设置响应格式以控制结构。这种双重方法确保可靠性。避免应用程序中出现解析器损坏。始终在您的端验证输出。不要指望模型完美无缺。API 提供了强制执行您规则的工具。有效使用它们。

预期无限免费使用

免费层级通常有隐藏的限制或较慢的速度。我们的 API 采用预付费余额模式。您为实际使用量付费。没有月度订阅。这使您能完全控制预算。您可以使用加密货币充值。余额永不过期。您只为实际令牌付费。错误免费。这意味着您无需为失败的请求付费。这相对于按令牌计费的竞争对手是一个显著优势。您可以无风险地进行广泛测试。一旦余额用完，请求将停止。您必须充值才能继续。这种模式透明且可预测。您确切知道每次请求的成本。输入令牌每百万 $0.15。输出令牌每百万 $0.50。此定价简单明了。无隐藏费用。无意外收费。明智地管理您的余额。监控您的使用仪表板。这确保您不会意外耗尽余额。

将令牌计数与字符计数混淆

Token不是字符。一个Token可以是一个字符或一个完整的单词。英文文本每字符约有1.3个Token。中文文本每字符的Token数较少。如果根据字符数估算成本，你会出错。始终使用分词器准确计算Token数。这对预算控制至关重要。你可能认为信用额度足够。实际的Token数揭示了真实成本。API在响应头中返回Token使用情况。利用此数据优化您的提示词。更短的提示词节省费用。保持简洁。去除不必要的废话。这能提高速度并降低成本。在发送大型负载前始终验证Token数。这能防止预算超支。这是一个简单但能节省大量费用的步骤。使用库来计算Token数。这能确保准确性。不要猜测。仔细计数。

忽略流式传输成本

流式传输以块的形式发送响应。每个块都计入您的令牌使用量。您可能会认为流式传输直到结束都是免费的。事实并非如此。您为发送的每个令牌付费。这包括部分块。如果您提前取消流，您仍然需要为已发送的内容付费。这可能导致意外成本。始终优雅地处理流错误。完成后关闭连接。这确保您不会浪费令牌。流式传输对用户体验很有用。它显示进度。但它比非流式传输成本更高。比较这两种方法。根据您的需求进行选择。如果需要完整文本，请使用非流式传输。如果需要实时更新，请使用流式传输。注意成本差异。这有助于您优化预算。监控您的流式传输使用情况。这确保您在限制范围内。

忽略速率限制

API 的速率限制为每分钟 300 个请求。每个 key 还可以有 8 个并发请求。如果你超过此限制，会收到 429 错误。这可能会使你的应用程序停止。你必须实现带有指数退避的重试逻辑。这可以防止服务器过载。如果需要更高的吞吐量，请使用多个 API key。每个 key 都有自己的限制。这允许你扩展使用量。监控你的速率限制标头。它们告诉你当前的使用情况。这有助于你规划请求。不要一次性发送所有请求。分散它们。这确保了平稳的性能。速率限制很严格。超过它们会导致请求丢失。这可能导致数据丢失。始终优雅地处理 429 错误。延迟重试。这确保了可靠性。相应地规划你的架构。这可以防止瓶颈。对于高流量使用多个 key。这是一个最佳实践。始终尊重限制。

假设所有模型都相同

不同模型各有优势。有些擅长编码，有些擅长创意写作。我们的 API 提供单一非审查模型。该模型针对无限制输出进行了优化。它不是一个多模型平台。你获得一致的结果。这是一个优势。你无需测试多个模型。你确切知道自己得到的是什么。该模型针对成人内容进行了调整。它不会拒绝合法主题。这使其非常适合创意写作。它也适用于数据提取。一致的输出减少了调试时间。你无需为不同任务切换模型。一个模型满足所有需求。这简化了你的架构。你专注于应用逻辑，而非模型选择。这是一个关键优势。为保持一致性选择单一模型。这提高了可靠性。你了解其优缺点。这有助于你设计更好的提示。你针对单一模型进行优化。这能产生更好的结果。不要使设置过于复杂。使用一个模型。获得一致的结果。

未使用 JSON 模式处理结构化数据

如果您需要结构化数据，请使用 JSON 模式。这将强制模型输出有效的 JSON。这减少了解析错误。您无需清理输出。这节省了开发时间。使用 response_format 参数。将其设置为 {"type": "json_object"}. 这确保模型遵循您的模式。它比文本指令更可靠。您可以在系统提示中定义模式。这进一步引导模型。结合两者以获得最佳结果。这确保了高质量的输出。您避免了 JSON 损坏。这对于自动化至关重要。对所有结构化任务使用 JSON 模式。这提高了可靠性。您获得一致的数据。这使您的应用更加健壮。始终验证输出。这确保了数据完整性。使用 JSON 模式。节省时间。减少错误。这是一种最佳实践。不要跳过它。对所有结构化数据使用它。这确保了质量。始终测试您的 JSON 输出。这验证了可靠性。