1. 首先，需要确保你使用的查询方法只获得所需的数据。如果选择器匹配太多元素，则可能会得到重复的数据。
2. 可以尝试使用BeautifulSoup库提供的get_text()方法来获取文本数据，而不是从包含特定数据的标签中获取数据。这有助于避免出现重复的数据。
3. 如果仍然无法避免重复的数据，请尝试使用集合(set)来消除重复项。这可以通过使用Python中的set()方法轻松实现。

示例代码：

from bs4 import BeautifulSoup import requests

获取网页内容

response = requests.get('https://example.com').content

用BeautifulSoup解析HTML

soup = BeautifulSoup(response, 'html.parser')

获取包含所需数据的标签，确保仅匹配所需标签

tag_list = soup.select('div.my_class')

从标签中获取文本数据

data_list = [tag.get_text() for tag in tag_list]

使用set()方法消除重复项

unique_data_list = set(data_list)

打印结果

for data in unique_data_list: print(data)