爬蟲在實際生活中還是十分常見的，比如說國內(nèi)更大的爬蟲——百度。所以說爬蟲做的好就可以賺錢了。今天講的這個也很簡單，爬取網(wǎng)頁超鏈接，但是有前提那就是這是一張靜態(tài)的網(wǎng)頁，動態(tài)的網(wǎng)頁有點難搞，小編還不是很會，等學(xué)會了在分享給大家。

首先我們需要引入我們要用的包，這里我們使用了python里面自帶的包urllib.request是python操作url的包，re是python正則表達(dá)式的包首先我們寫一個獲取網(wǎng)頁源代碼的函數(shù)

然后我們就要寫一個提取出網(wǎng)頁源代碼的超鏈接的函數(shù)

接下來我們就可以測試一下了

我們就可以去看看url.txt里面的東西了

我們發(fā)現(xiàn)里面有很多不是url，那個是因為在編寫網(wǎng)頁的時候使用的是相對路徑，所以會出現(xiàn)這種情況。但是這并不影響我們分析頭條首頁的超鏈接，基本上都不是本站的連接，說明頭條的廣告業(yè)務(wù)有點繁忙，當(dāng)然這只是小編的猜測，萬一頭條有很多的域名呢？