字符串，列表去重
可以使用set对字符串或者列表去重，集合是无序，不重复的序列，可以使用set进行去重
#单词去重
def words_dumplate(sentence):
return ' '.join(set(sentence.split()))
print(words_dumplate("Python is great and Java is also great"))
#字符串去重
def str_dumplate(string):
return ''.join(set(list(string)))
lst=["1",2,4,3,2,4]
print(list(set(lst)))
运行结果：
Python Java also great is and
wrcegst
[3, '1', 2, 4]
使用set可以很方便的去掉字符串，列表的重复字符，但是使用这个方法有一个问题，就是得到新的字符串或列表元素顺序发生了变化
去掉重复元素，剩余元素仍保留顺序
def order_dumplate(lst):
#定义一个列表用来记录最终结果
new_lst=[]
for item in lst:
if item not in new_lst:
new_lst.append(item)
return new_lst
lst=["1",2,3,2,3,4,5,4]
print(order_dumplate(lst))
str1="e4r442ee44rrr"
print(order_dumplate(list(str1)))
代码可以进一步优化，使用生成器
def dedupe(items):
seen=list()
for item in items:
if item not in seen:
yield item
seen.append(item)
lst=["1",2,3,2,3,4,5,4]
print(list(dedupe(lst)))
如果给一个字典列表去重，需要指定一个函数用来将序列中的元素转换为可哈希的类型
def dedupe(items,key=None):
seen=list()
for item in items:
val=key(item) if key else item
if val not in seen:
yield item
seen.append(val)
lst=["1",2,3,2,3,4,5,4]
print(list(dedupe(lst)))
lst1=[{"x":1,"y":2},{"x":2,"y":"3"},{"x":1,"y":3}]
lst2=[{"x":1,"y":2},{"x":2,"y":"3"},{"x":1,"y":3},{"x":1,"y":2}]
print(list(dedupe(lst1,key=lambda x:x["x"])))
print(list(dedupe(lst2,key=lambda x:(x["x"],x["y"]))))
运行结果：
['1', 2, 3, 4, 5]
[{'x': 1, 'y': 2}, {'x': 2, 'y': '3'}]
[{'x': 1, 'y': 2}, {'x': 2, 'y': '3'}, {'x': 1, 'y': 3}]
这里的key是一个回调函数，因为字典是不可哈希序列，需要规定两个字典根据什么判断为相同
