python獲取網(wǎng)頁(yè)標(biāo)題（python獲取網(wǎng)頁(yè)內(nèi)容）
今天給各位分享python獲取網(wǎng)頁(yè)標(biāo)題的知識(shí)，其中也會(huì)對(duì)python獲取網(wǎng)頁(yè)內(nèi)容進(jìn)行解釋?zhuān)绻芘銮山鉀Q你現(xiàn)在面臨的問(wèn)題，別忘了關(guān)注本站，現(xiàn)在開(kāi)始吧！
本文目錄一覽：
- 1、python怎么抓取網(wǎng)頁(yè)中DIV的文字
- 2、Python提取網(wǎng)頁(yè)鏈接和標(biāo)題
- 3、誰(shuí)用過(guò)python中的re來(lái)抓取網(wǎng)頁(yè)，能否給個(gè)例子，謝謝
- 4、如何用python抓取這個(gè)網(wǎng)頁(yè)的內(nèi)容？
- 5、python如何正確抓取網(wǎng)頁(yè)標(biāo)題
- 6、請(qǐng)教網(wǎng)頁(yè)里的特定數(shù)據(jù)怎么抓??？
python怎么抓取網(wǎng)頁(yè)中DIV的文字
1、編寫(xiě)爬蟲(chóng)思路：
確定下載目標(biāo)，找到網(wǎng)頁(yè)，找到網(wǎng)頁(yè)中需要的內(nèi)容。對(duì)數(shù)據(jù)進(jìn)行處理。保存數(shù)據(jù)。
2、知識(shí)點(diǎn)說(shuō)明：
1）確定網(wǎng)絡(luò)中需要的信息，打開(kāi)網(wǎng)頁(yè)后使用F12打開(kāi)開(kāi)發(fā)者模式。
在Network中可以看到很多信息，我們?cè)陧?yè)面上看到的文字信息都保存在一個(gè)html文件中。點(diǎn)擊文件后可以看到response，文字信息都包含在response中。
對(duì)于需要輸入的信息，可以使用ctrl+f，進(jìn)行搜索。查看信息前后包含哪些特定字段段啟。
對(duì)于超鏈接的提取，可以使用最左邊的箭頭點(diǎn)擊超鏈接，這時(shí)Elements會(huì)打開(kāi)升虧有該條超鏈接的信息，從中判斷需要吵燃神提取的信息。從下載小說(shuō)來(lái)看，在目錄頁(yè)提取出小說(shuō)的鏈接和章節(jié)名。
2）注意編碼格式
輸入字符集一定要設(shè)置成utf-8。頁(yè)面大多為GBK字符集。不設(shè)置會(huì)亂碼。
Python提取網(wǎng)頁(yè)鏈接和標(biāo)題
方法1：BS版
簡(jiǎn)單寫(xiě)了個(gè)，只是爬鏈接的，加上標(biāo)題老報(bào)錯(cuò)，暫時(shí)沒(méi)看出來(lái)原因，先給你粘上來(lái)吧（方法2無(wú)彎沖御問(wèn)題）
from
BeautifulSoup
import
BeautifulSoup
import
urllib2
import
re
def
grabHref(url,localfile):
html
=
urllib2.urlopen(url).read()
html
=
unicode(html,'gb2312','ignore').encode('utf-8'判州,'ignore')
content
=
BeautifulSoup(html).findAll('a')
myfile
=
open(localfile,'w')
pat
=
re.compile(r'href="([^"]*)"')
pat2
=
re.compile(r'/tools/')
for
item
in
content:
h
=
pat.search(str(item))
href
=
h.group(1)
if
pat2.search(href):
#
s
=
BeautifulSoup(item)
#
myfile.write(s.a.string)
#
myfile.write('\r\n')
myfile.write(href)
myfile.write('\r\n')
#
s.a.sting
href
myfile.close()
def
main():
url
=
""
localfile
=
'aHref.txt'
grabHref(url,localfile)
if
__name__=="__main__":
main()
方法2：Re版
由于方法1有問(wèn)題，埋巖只能獲取到下載頁(yè)面鏈接，所以換用Re解決，代碼如下：
import
urllib2
import
re
url
=
''
find_re
=
re.compile(r'href="([^"]*)".+?(.+?)/a')
pat2
=
re.compile(r'/tools/')
html
=
urllib2.urlopen(url).read()
html
=
unicode(html,'utf-8','ignore').encode('gb2312','ignore')
myfile
=
open('aHref.txt','w')
for
x
in
find_re.findall(html):
if
pat2.search(str(x)):
myfile,x[0],x[1]
myfile.close()
'Done!'
誰(shuí)用過(guò)python中的re來(lái)抓取網(wǎng)頁(yè)，能否給個(gè)例子，謝謝
這是虛橋我寫(xiě)的一個(gè)非常簡(jiǎn)單的抓取頁(yè)面鎮(zhèn)譽(yù)含的腳本，作用為獲得指定URL的所有鏈接地址并獲取所有鏈接的標(biāo)題。
===========geturls.py================
#coding:utf-8
import urllib
import urlparse
import re
import socket
import threading
#定義鏈接正則御笑
urlre = re.compile(r"href=[\"']?([^ \"']+)")
titlere = re.compile(r"title(.*?)/title",re.I)
#設(shè)置超時(shí)時(shí)間為10秒
timeout = 10
socket.setdefaulttimeout(timeout)
#定義最高線(xiàn)程數(shù)
max = 10
#定義當(dāng)前線(xiàn)程數(shù)
current = 0
def gettitle(url):
global current
try:
content = urllib.urlopen(url).read()
except:
current -= 1
return
if titlere.search(content):
title = titlere.search(content).group(1)
try:
title = title.decode('gbk').encode('utf-8')
except:
title = title
else:
title = "無(wú)標(biāo)題"
print "%s: %s" % (url,title)
current -= 1
return
def geturls(url):
global current,max
ts = []
content = urllib.urlopen(url)
#使用set去重
result = set()
for eachline in content:
if urlre.findall(eachline):
temp = urlre.findall(eachline)
for x in temp:
#如果為站內(nèi)鏈接，前面加上url
if not x.startswith("http:"):
x = urlparse.urljoin(url,x)
#不記錄js和css文件
if not x.endswith(".js") and not x.endswith(".css"):
result.add(x)
threads = []
for url in result:
t = threading.Thread(target=gettitle,args=(url,))
threads.append(t)
i = 0
while i len(threads):
if current max:
threads[i].start()
i += 1
current += 1
else:
pass
geturls("")
使用正則表達(dá)式（re）只能做到一些比較簡(jiǎn)單或者機(jī)械的功能，如果需要更強(qiáng)大的網(wǎng)頁(yè)分析功能，請(qǐng)嘗試一下beautiful soup或者pyquery,希望能幫到你
如何用python抓取這個(gè)網(wǎng)頁(yè)的內(nèi)容？
Python實(shí)現(xiàn)常規(guī)的靜態(tài)網(wǎng)頁(yè)抓取時(shí)，往往是用urllib2來(lái)獲取整個(gè)HTML頁(yè)面，然后從HTML文件中逐字查找對(duì)應(yīng)的關(guān)鍵字。如下所示：
復(fù)制代碼代碼如歷罩下:
import urllib2
url="網(wǎng)址"
up=urllib2.urlopen(url)#打開(kāi)目標(biāo)頁(yè)面，存入變量up
cont=up.read()#從up中讀入該HTML文件
key1='肢握鬧a href="http'#設(shè)置關(guān)鍵字1
key2="target"#設(shè)置關(guān)鍵字2
pa=cont.find(key1)#找出關(guān)鍵字1的位置
pt=cont.find(key2,pa)#找出關(guān)鍵字2的位置(從字1后皮裂面開(kāi)始查找)
urlx=cont[pa:pt]#得到關(guān)鍵字1與關(guān)鍵字2之間的內(nèi)容(即想要的數(shù)據(jù))
print urlx
python如何正確抓取網(wǎng)頁(yè)標(biāo)題
import beautifulsoup
import urllib2
def main():
userMainUrl = "你要橘豎抓取的地毀伍扮址"
req = urllib2.Request(userMainUrl)
resp = urllib2.urlopen(req)
respHtml = resp.read()
foundLabel = respHtml.findAll("label")
finalL =foundLabel.string
print "纖灶biaoti=",finalL
if __name__=="__main__":
main();
