docs: correct misleading 'non-ASCII removed' claim in TokenJuice description (#2031)

Co-authored-by: 李冠辰 <liguanchen@xiaomi.com>
This commit is contained in:
Angular
2026-05-17 19:23:12 -07:00
committed by GitHub
co-authored by 李冠辰
parent db087a7d3e
commit 5b57c8b5a9
3 changed files with 3 additions and 3 deletions
+1 -1
View File
@@ -67,7 +67,7 @@ OpenHuman は、あなたの日常生活に統合されるよう設計された
- **電池同梱(Batteries included)**: ウェブ検索、ウェブフェッチ用[スクレイパー](https://tinyhumans.gitbook.io/openhuman/features/native-tools)、フルコーダーツールセット(ファイルシステム、git、lint、test、grep)、そして[ネイティブ音声](https://tinyhumans.gitbook.io/openhuman/features/voice)(STT 入力、ElevenLabs TTS 出力、マスコットのリップシンク、ライブ Google Meet エージェント)がデフォルトで組み込まれています。[モデルルーティング](https://tinyhumans.gitbook.io/openhuman/features/model-routing)が各タスクを適切な LLM(reasoning、fast、または vision)に振り分け、一つのサブスクリプションで提供します。「ファイル読み込みのためにプラグインをインストール」という煩わしさはありません。デバイス上のワークロード向けに [Ollama によるオプショナルなローカル AI](https://tinyhumans.gitbook.io/openhuman/features/model-routing/local-ai) も利用できます。
- **[スマートトークン圧縮 (TokenJuice)](https://tinyhumans.gitbook.io/openhuman/features/token-compression)**: すべてのツール呼び出し、スクレイプ結果、メール本文、検索ペイロードは、LLM モデルに渡される前にトークン圧縮レイヤーを通過します。HTML は Markdown に変換され、長い URL は短縮され、非 ASCII 文字は除去されるなど…。同じ情報をわずかなトークン数で得られます。コストとレイテンシを最大 80% 削減します。
- **[スマートトークン圧縮 (TokenJuice)](https://tinyhumans.gitbook.io/openhuman/features/token-compression)**: すべてのツール呼び出し、スクレイプ結果、メール本文、検索ペイロードは、LLM モデルに渡される前にトークン圧縮レイヤーを通過します。HTML は Markdown に変換され、長い URL は短縮され、冗長なツール出力は設定可能なルールレイヤーで重複排除と要約が行われるなど…。CJK、絵文字などのマルチバイト文字は書記素(grapheme)単位で完全に保持され、除去されることはありません。同じ情報をわずかなトークン数で得られます。コストとレイテンシを最大 80% 削減します。
- **[メッセージングチャネル](https://tinyhumans.gitbook.io/openhuman/features/integrations#messaging-channels)** と **[プライバシー & セキュリティ](https://tinyhumans.gitbook.io/openhuman/features/privacy-and-security)**: あなたが既に使っているチャネル全体での送受信が可能で、ワークフローデータはデバイス上に留まり、ローカルで暗号化され、あなた自身のものとして扱われます。
+1 -1
View File
@@ -67,7 +67,7 @@ OpenHuman is an open-source agentic assistant designed to integrate with you in
- **Batteries included**: web search, a web-fetch [scraper](https://tinyhumans.gitbook.io/openhuman/features/native-tools), a full coder toolset (filesystem, git, lint, test, grep), and [native voice](https://tinyhumans.gitbook.io/openhuman/features/voice) (STT in, ElevenLabs TTS out, mascot lip-sync, live Google Meet agent) are wired in by default. [Model routing](https://tinyhumans.gitbook.io/openhuman/features/model-routing) sends each task to the right LLM (reasoning, fast, or vision) under one subscription. No "install a plugin to read files" friction. [Optional local AI via Ollama](https://tinyhumans.gitbook.io/openhuman/features/model-routing/local-ai) for on-device workloads.
- **[Smart token compression (TokenJuice)](https://tinyhumans.gitbook.io/openhuman/features/token-compression)**: every tool call, scrape result, email body, and search payload is run through a token compression layer before it touches any LLM Model. HTML is converted to Markdown, long URLs are shortened, non-ASCII characters are removed etc... You get the same information but at a fraction of the tokens. Reducing cost &amp; latency by up to 80%.
- **[Smart token compression (TokenJuice)](https://tinyhumans.gitbook.io/openhuman/features/token-compression)**: every tool call, scrape result, email body, and search payload is run through a token compression layer before it touches any LLM Model. HTML is converted to Markdown, long URLs are shortened, and verbose tool output is deduped and summarised via a configurable rule overlay etc... CJK, emoji, and other multi-byte text are preserved grapheme-by-grapheme — never stripped. You get the same information but at a fraction of the tokens. Reducing cost &amp; latency by up to 80%.
- **[Messaging channels](https://tinyhumans.gitbook.io/openhuman/features/integrations#messaging-channels)** and **[privacy & security](https://tinyhumans.gitbook.io/openhuman/features/privacy-and-security)**: inbound/outbound across the channels you already use, with workflow data that stays on device, encrypted locally, treated as yours.
+1 -1
View File
@@ -65,7 +65,7 @@ OpenHuman 是一个开源智能助手,旨在融入你的日常生活。以下
- **开箱即用**:默认内置网络搜索、网页抓取[爬虫](https://tinyhumans.gitbook.io/openhuman/features/native-tools)、完整的编码工具集(文件系统、git、lint、test、grep)以及[原生语音](https://tinyhumans.gitbook.io/openhuman/features/voice)STT 输入、ElevenLabs TTS 输出、吉祥物口型同步、实时 Google Meet 智能体)。[模型路由](https://tinyhumans.gitbook.io/openhuman/features/model-routing)在一个订阅下将每个任务分派到合适的 LLM(推理型、快速型或视觉型)。没有"安装插件才能读文件"的摩擦。[可选通过 Ollama 使用本地 AI](https://tinyhumans.gitbook.io/openhuman/features/model-routing/local-ai) 处理端侧工作负载。
- **[智能 Token 压缩(TokenJuice](https://tinyhumans.gitbook.io/openhuman/features/token-compression)**:每个工具调用、抓取结果、邮件正文和搜索载荷在触达任何 LLM 模型之前都会经过 token 压缩层处理。HTML 被转换为 Markdown,长 URL 被缩短,非 ASCII 字符被移除等等。你获得相同的信息,但 token 消耗仅为原来的几分之一。最多可降低 80% 的成本和延迟。
- **[智能 Token 压缩(TokenJuice](https://tinyhumans.gitbook.io/openhuman/features/token-compression)**:每个工具调用、抓取结果、邮件正文和搜索载荷在触达任何 LLM 模型之前都会经过 token 压缩层处理。HTML 被转换为 Markdown,长 URL 被缩短,冗长的工具输出会通过可配置的规则层去重并摘要等等。中文、emoji 等多字节字符按字形(grapheme)完整保留,绝不丢弃。你获得相同的信息,但 token 消耗仅为原来的几分之一。最多可降低 80% 的成本和延迟。
- **[消息渠道](https://tinyhumans.gitbook.io/openhuman/features/integrations#messaging-channels)** 与 **[隐私与安全](https://tinyhumans.gitbook.io/openhuman/features/privacy-and-security)**:通过你日常使用的渠道进行收发,工作流数据保留在设备上,本地加密,始终属于你。