#这个步骤就是起到筛选的,免得出现空格
#有了这个你就可以不用try的那个代买避免出现一大推的空格影响观看的速度
if href !=None and href.startswith("https://"):
k.append(href)
#这个是完整代码
from threading import Thread
url='https://www.so.com/s?ie=utf-8&src=hao_360so_history_cube&shb=1&hsid=bfc1dcecaafd70f5&q=keil%E5%AE%89%E8%A3%85%E6%95%99%E7%A8%8B'
html=requests.get(url)
html.encoding='utf-8'
sp=BeautifulSoup(html.text,"html.parser")
links=sp.find_all(["a","b"])
k=[]
for i in links:
href=i.get("href")
if href !=None and href.startswith("https://"):
k.append(href)
for i in k:
time.sleep(1)
def lianjie():
html = urlopen(str(i))
bs = BeautifulSoup(html, 'html.parser') # 解析网页
hyperlink = bs.find_all('title')
if hyperlink != []:
# print(hyperlink)
print(hyperlink[0].text, ":", i)
t = Thread(target=lianjie(), args=(i,))
t.start()
#这一步就是用来实现多线程的
t = Thread(target=lianjie(), args=(i,))
t.start()
自己再多多的边用边想为什么这样,再看看书。
#这里用了一个text就是为零去掉网页上面的<title>这样一类的东西
print(hyperlink[0].text, ":", i)
|