excel_dedupe Skill

按指定列给 Excel 去重，并说明哪一行和哪一行重复

功能描述

按一个列、多个列或整行判断重复，保留第一次（或最后一次）出现的记录，同时返回重复明细：重复的是第几行、和保留的第几行重复、去重键是什么。只给「去重后剩多少行」往往不够排查问题，所以重复明细是重点。

所属分类

skills/excel/excel_dedupe/

调用方式

from skills.excel import excel_dedupe

excel_dedupe(
    excel_path='客户名单.xlsx',
    key_columns=['手机号'],
    output_path='去重后.xlsx',
)

参数说明

参数	类型	必填	默认值	说明
`excel_path`	str	是	-	需要去重的 Excel 路径
`key_columns`	str \| list	否	`None`	去重列，单个列名或列名列表；默认整行
`sheet_name`	str	否	`None`	工作表名，默认取第一个
`keep`	str	否	`'first'`	重复时保留 `'first'` 或 `'last'`
`case_sensitive`	bool	否	`True`	文本是否区分大小写
`output_path`	str	否	`None`	去重结果输出路径

返回值

dict，包含 sheet、key_columns、total、unique、duplicate_count、 duplicates、output_path。duplicates 每项含 row、kept_row、key。

使用示例

from skills.excel import excel_dedupe

result = excel_dedupe('客户名单.xlsx', key_columns='手机号')
print('共 {} 行，去重后 {} 行'.format(result['total'], result['unique']))
for item in result['duplicates']:
    print('第 {} 行与第 {} 行重复：{}'.format(item['row'], item['kept_row'], item['key']))

原始函数

contributors/my12yyds/excel_dedupe.py

excel_dedupe