程序猿全敏
2016-11-02 15:13:13
原
python检查URL是否能正常访问
今天,项目经理问我一个问题,问我这里有2000个URL要检查是否能正常打开,其实我是拒绝的,我知道因为要写代码了,正好学了点python,一想,python处理起来容易,就选了python,开始把思路想好:
1.首先2000个URL。可以放在一个txt文本内
2.通过python 把内容内的URL一条一条放进数组内
3.打开一个模拟的浏览器,进行访问。
4.如果正常访问就输出正常,错误就输出错误
直接简单粗暴甩代码。因为涉及到隐私,图片打了码
import urllib.request import time opener = urllib.request.build_opener() opener.addheaders = [('User-agent', 'Mozilla/49.0.2')] #这个是你放网址的文件名,改过来就可以了 file = open('test.txt') lines = file.readlines() aa=[] for line in lines: temp=line.replace('\n','') aa.append(temp) print(aa) print('开始检查:') for a in aa: tempUrl = a try : opener.open(tempUrl) print(tempUrl+'没问题') except urllib.error.HTTPError: print(tempUrl+'=访问页面出错') time.sleep(2) except urllib.error.URLError: print(tempUrl+'=访问页面出错') time.sleep(2) time.sleep(0.1)
猜你喜欢
请下载代码后再发表评论



2602275348 LV12
2024年12月26日
652654393 LV5
2024年12月25日
youwuzuichen LV11
2024年12月19日
最后一秒 LV4
2024年7月24日
手工咖啡 LV2
2024年7月3日
shelly55 LV1
2024年5月31日
燧人氏
2024年2月2日
暂无贡献等级
求学的熊猫 LV11
2024年1月21日
rgdje202
2023年12月28日
暂无贡献等级
Osit888 LV10
2023年12月7日