CtrlK
BlogDocsLog inGet started
Tessl Logo

数据处理器

数据处理与分析技能。当用户需要对知识库检索结果进行数据分析、统计计算、格式转换、数据提取或生成报告时使用此技能。支持 Python 脚本执行进行高级数据处理。

SKILL.md
Quality
Evals
Security

Data Processor

企业级知识库数据处理与分析技能，用于处理 RAG 检索结果和执行数据分析任务。

核心能力

  1. 数据分析: 对检索到的文档数据进行统计分析
  2. 格式转换: JSON/CSV/Markdown 等格式相互转换
  3. 数据提取: 从非结构化文本中提取结构化信息
  4. 报告生成: 生成数据分析报告和摘要

使用场景

当用户请求涉及以下内容时，使用此技能：

  • "分析这些数据"、"统计一下"、"计算总数/平均值"
  • "转换为 JSON/CSV 格式"
  • "提取关键信息"、"整理成表格"
  • "生成报告"、"数据汇总"

可用脚本

1. analyze.py - 数据分析脚本

分析输入的 JSON 数据，生成统计报告。

命令行用法 (仅供参考):

# 通过 stdin 传入 JSON 数据
echo '{"items": [1, 2, 3, 4, 5]}' | python scripts/analyze.py

# 或传入文件路径（需要文件实际存在）
python scripts/analyze.py --file data.json

使用 execute_skill_script 工具时:

  • 如果你有内存中的数据（如 JSON 字符串），使用 input 参数传入，不要使用 args
  • --file 参数仅用于读取技能目录中已存在的文件，不适用于传递内存数据
// ✅ 正确：通过 input 传入数据
{
  "skill_name": "数据处理器",
  "script_path": "scripts/analyze.py",
  "input": "{\"items\": [1, 2, 3], \"query\": \"统计分析\"}"
}

// ❌ 错误：--file 需要文件路径，不能单独使用
{
  "skill_name": "数据处理器",
  "script_path": "scripts/analyze.py",
  "args": ["--file"],
  "input": "{...}"
}

输入格式:

{
  "items": [数据项数组],
  "query": "可选的查询描述"
}

输出: JSON 格式的统计结果，包含计数、求和、平均值等。

2. format_converter.py - 格式转换脚本

在 JSON、CSV、Markdown 表格之间转换数据。

用法:

# JSON 转 CSV
echo '[{"name": "A", "value": 1}]' | python scripts/format_converter.py --to csv

# JSON 转 Markdown 表格
echo '[{"name": "A", "value": 1}]' | python scripts/format_converter.py --to markdown

# CSV 转 JSON
echo 'name,value\nA,1' | python scripts/format_converter.py --from csv --to json

3. extract_info.py - 信息提取脚本

从文本中提取结构化信息（数字、日期、关键词等）。

用法:

echo "2024年销售额为100万元，同比增长15%" | python scripts/extract_info.py

输出:

{
  "numbers": ["100", "15"],
  "dates": ["2024年"],
  "percentages": ["15%"],
  "amounts": ["100万元"]
}

处理流程

分析 RAG 检索结果

当需要分析知识库检索结果时：

  1. 收集检索到的文档片段
  2. 提取关键数据点
  3. 使用 analyze.py 进行统计
  4. 整理并呈现分析结果

示例：

用户: "帮我统计知识库中提到的所有产品销售数据"

步骤:
1. 使用 knowledge_search 检索相关文档
2. 整理数据为 JSON 格式
3. 调用 execute_skill_script:
   - skill_name: "data-processor"
   - script_path: "scripts/analyze.py"
   - 通过 stdin 传入数据
4. 解析输出并生成报告

数据格式转换

当用户需要特定格式输出时：

  1. 整理数据为标准 JSON 格式
  2. 使用 format_converter.py 转换
  3. 返回目标格式结果

最佳实践

  1. 数据预处理: 调用脚本前，确保数据格式正确
  2. 错误处理: 检查脚本执行结果，处理异常情况
  3. 结果验证: 验证输出结果的合理性
  4. 渐进处理: 大数据量时分批处理

输出格式

分析结果示例：

## 数据分析报告

### 基本统计
- 数据条数: 50
- 数值总和: 1,234,567
- 平均值: 24,691.34
- 最大值: 99,999
- 最小值: 100

### 分布情况
| 区间 | 数量 | 占比 |
|------|------|------|
| 0-1000 | 10 | 20% |
| 1000-10000 | 25 | 50% |
| >10000 | 15 | 30% |

### 结论
根据数据分析，XXX...

注意事项

  • 脚本在 Docker 沙箱中执行，确保安全隔离
  • 执行超时默认为 60 秒
  • 输入数据大小有限制，大文件请分批处理
  • 脚本输出为 JSON 格式，便于后续处理
Repository
Tencent/WeKnora
Path

skills/preloaded/data-processor/SKILL.md

Commit

c64a486

Last updated
First committed

Is this your skill?

If you maintain this skill, you can claim it as your own. Once claimed, you can manage eval scenarios, bundle related skills, attach documentation or rules, and ensure cross-agent compatibility.

Claim skill