我是初学者，希望对跟我一样的 “小白”有帮助
#网址如下：http://www.maigoo.com/news/463071.html
from bs4 import BeautifulSoup
import requests
import csv
import bs4
#检查url地址
def check_link(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print(‘无法链接服务器！！！’)
#爬取资源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,’lxml’)
trs = soup.find_all(‘tr’)
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)
#保存资源
def save_contents(urlist):
try:
with open(“数据.csv”,’w’) as f:
writer = csv.writer(f)
writer.writerow([‘2016年中国企业500强排行榜’])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
except:
pass
def main():
urli = []
url = “http://www.maigoo.com/news/463071.html”
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)
main()
结果如下：
2016年中国企业500强排行榜
名次 , 企业名称 , 营业收入(万元)
1 , 国家电网公司 , 207134945
2 , 中国石油天然气集团公司 , 188073616
3 , 中国石油化工集团公司 , 184977795
4 , 中国工商银行股份有限公司 , 107983800
5 , 中国建设银行股份有限公司 , 92587800
6 , 中国建筑股份有限公司 , 88057713
7 , 中国农业银行股份有限公司 , 83376600
8 , 中国银行股份有限公司 , 76922200
9 , 中国平安保险（集团）股份有限公司 , 69322000
10 , 中国移动通信集团公司 , 67092753
11 , 上海汽车集团股份有限公司 , 67044822
12 , 中国人寿保险（集团）公司 , 63644438
13 , 中国铁路工程总公司 , 62488857
14 , 中国铁道建筑总公司 , 60111385
15 , 国家开发银行股份有限公司 , 59532274
16 , 东风汽车公司 , 52045396
17 , 华润（集团）有限公司 , 48122063
18 , 中国南方电网有限责任公司 , 46942579
19 , 太平洋建设集团有限公司 , 45905631
20 , 中国兵器装备集团公司 , 44041718
21 , 中国邮政集团公司 , 43762571
22 , 中国海洋石油总公司 , 42607860
23 , 中国交通建设集团有限公司 , 42585682
24 , 中国人民保险集团股份有限公司 , 40601100
25 , 中粮集团有限公司 , 40544184
26 , 天津物产集团有限公司 , 40366194
27 , 华为技术有限公司 , 39500900
28 , 中国第一汽车集团公司 , 39499035
29 , 中国电信集团公司 , 38834967
30 , 中国兵器工业集团公司 , 38725293
31 , 中国中化集团公司 , 38116100
32 , 中国航空工业集团公司 , 37862420
33 , 交通银行股份有限公司 , 35798543
34 , 中国中信集团有限公司 , 35153783
35 , 苏宁控股集团有限公司 , 35028812
36 , 北京汽车集团有限公司 , 34522067
37 , 山东魏桥创业集团有限公司 , 33323772
38 , 联想控股股份有限公司 , 30982614
39 , 招商银行股份有限公司 , 30384300
40 , 正威国际集团有限公司 , 30036385
41 , 兴业银行股份有限公司 , 29188800
42 , 大连万达集团股份有限公司 , 29016000
43 , 中国电力建设集团有限公司 , 28661193
44 , 河钢集团有限公司 , 28446842
45 , 中国医药集团总公司 , 27855600
46 , 中国联合网络通信集团有限公司 , 27833943
47 , 中国华能集团公司 , 26822627
48 , 中国民生银行股份有限公司 , 26744100
49 , 上海浦东发展银行股份有限公司 , 26413400
50 , 中国华信能源有限公司 , 26315060
51 , 中国化工集团公司 , 26025252
52 , 中国太平洋保险（集团）股份有限公司 , 24720200
53 , 中国中车集团公司 , 24373283
54 , 中国铝业公司 , 23877911
55 , 冀中能源集团有限责任公司 , 23765521
56 , 神华集团有限责任公司 , 23636609
57 , 宝钢集团有限公司 , 23005904
58 , 中国船舶重工集团公司 , 22631565
59 , 中国远洋海运集团有限公司 , 22426441
60 , 中国冶金科工集团有限公司 , 22192950
61 , 陕西延长石油（集团）有限责任公司 , 22089657
62 , 中国机械工业集团有限公司 , 22079734
63 , 金川集团股份有限公司 , 22041320
64 , 广州汽车工业集团有限公司 , 21643680
65 , 恒力集团有限公司 , 21207961
66 , 中国能源建设集团有限公司 , 20878859
67 , 绿地控股集团股份有限公司 , 20725659
68 , 中国光大集团股份有限公司 , 20676600
69 , 江苏沙钢集团有限公司 , 20582346
70 , 新兴际华集团有限公司 , 20466604
71 , 大同煤矿集团有限责任公司 , 20067736
72 , 大商集团有限公司 , 20043933
73 , 中国五矿集团公司 , 20036679
74 , 中国建筑材料集团有限公司 , 19925009
75 , 江西铜业集团公司 , 19830382
76 , 中国电子信息产业集团有限公司 , 19819149
77 , 中国华电集团公司 , 19756174
78 , 山西焦煤集团有限责任公司 , 19505866
79 , 国家电力投资集团公司 , 19240381
80 , 中国航天科技集团公司 , 19201631
81 , 中国国电集团公司 , 19177018
82 , 陕西煤业化工集团有限责任公司 , 19061424
83 , 中国船舶工业集团公司 , 18973172
84 , 海尔集团公司 , 18869388
85 , 海航集团有限公司 , 18578021
86 , 万科企业股份有限公司 , 18431705
87 , 物产中大集团股份有限公司 , 18257322
88 , 北京京东世纪贸易有限公司 , 18128696
89 , 山西潞安矿业（集团）有限责任公司 , 18000056
90 , 阳泉煤业(集团)有限责任公司 , 17790823
91 , 中国航天科工集团公司 , 17512976
92 , 中国通用技术（集团）控股有限责任公司 , 17387349
93 , 山西晋城无烟煤矿业集团有限责任公司 , 17327294
94 , 开滦（集团)有限责任公司 , 17168806
95 , 中国有色矿业集团有限公司 , 17086594
96 , 中国保利集团公司 , 16763849
97 , 中国大唐集团公司 , 16616058
98 , 中国电子科技集团公司 , 16597360
99 , 浙江吉利控股集团有限公司 , 16530399
100 , 华晨汽车集团控股有限公司 , 16054589
101 , 河南能源化工集团有限责任公司 , 16024564
102 , 新华人寿保险股份有限公司 , 15845300
103 , 山东能源集团有限公司 , 15796767
104 , 国美电器有限公司 , 15368559
105 , 光明食品（集团）有限公司 , 14755461
106 , 中国平煤神马能源化工集团有限责任公司 , 14683995
107 , 铜陵有色金属集团控股有限公司 , 14534744
108 , 海亮集团有限公司 , 14016131
109 , 中国航空油料集团公司 , 13889299
110 , 美的集团股份有限公司 , 13844123
111 , 万洲国际有限公司 , 13772276
112 , 首钢总公司 , 13520063
113 , 恒大地产集团有限公司 , 13313000
114 , 泰康人寿保险股份有限公司 , 13231325
115 , 上海烟草集团有限责任公司 , 13183197
116 , 黑龙江北大荒农垦集团总公司 , 13133564
117 , 厦门建发集团有限公司 , 13056886
118 , 鞍钢集团公司 , 12970755
119 , 上海建工集团股份有限公司 , 12543070
120 , 天津中环电子信息集团有限公司 , 12152383
121 , 百联集团有限公司 , 11983899
122 , 上海东浩兰生国际服务贸易(集团)有限公司 , 11894329
123 , 天津百利机械装备集团有限公司 , 11866099
124 , 陕西有色金属控股集团有限责任公司 , 11617681
125 , 万向集团公司 , 11535989
126 , 山东大王集团有限公司 , 11269181
127 , 中国南方航空集团公司 , 11220561
128 , 中国航空集团公司 , 11111975
129 , 中国太平保险集团有限责任公司 , 11109118
130 , 中国黄金集团公司 , 11074589
131 , 天津渤海化工集团有限责任公司 , 11008975
132 , 三胞集团有限公司 , 10806963
133 , 上海医药集团股份有限公司 , 10551659
134 , 华夏银行股份有限公司 , 10514829
135 , 新疆广汇实业投资（集团）有限责任公司 , 10503738
136 , TCL集团股份有限公司 , 10457948
137 , 国家开发投资公司 , 10423958
138 , 天津渤海轻工投资集团有限公司 , 10381541
139 , 红塔烟草（集团）有限责任公司 , 10338809
140 , 腾讯控股有限公司 , 10286300
141 , 厦门国贸控股有限公司 , 10261615
142 , 太平人寿保险有限公司 , 10224880
143 , 山东钢铁集团有限公司 , 10210768
144 , 武汉钢铁（集团）公司 , 10183092
145 , 江苏悦达集团有限公司 , 10181297
146 , 四川长虹电子控股集团有限公司 , 10149949
147 , 兖矿集团有限公司 , 10123468
148 , 阿里巴巴集团控股有限公司 , 10114300
149 , 酒泉钢铁（集团）有限责任公司 , 10085673
150 , 中兴通讯股份有限公司 , 10018639
151 , 中天钢铁集团有限公司 , 10016316
152 , 大冶有色金属集团控股有限公司 , 10012809
153 , 海信集团有限公司 , 9901646
154 , 珠海格力电器股份有限公司 , 9774514
155 , 中国东方航空集团公司 , 9706848
156 , 上海电气（集团）总公司 , 9652138
157 , 安徽海螺集团有限责任公司 , 9307035
158 , 红云红河烟草（集团）有限责任公司 , 9287350
159 , 武汉商联（集团）股份有限公司 , 9132400
160 , 太原钢铁（集团）有限公司 , 9083529
161 , 山东省商业集团有限公司 , 9070000
162 , 广厦控股集团有限公司 , 8971015
163 , 北京银行 , 8787567
164 , 青山控股集团有限公司 , 8768949
165 , 山西煤炭进出口集团有限公司 , 8524164
166 , 广西投资集团有限公司 , 8516053
167 , 南山集团有限公司 , 8222167
168 , 中国中煤能源集团有限公司 , 8204392
169 , 盛虹控股集团有限公司 , 8180421
170 , 湖北宜化集团有限责任公司 , 8103725
171 , 潍柴控股集团有限公司 , 8065115
172 , 浙江荣盛控股集团有限公司 , 8060568
173 , 北大方正集团有限公司 , 8051129
174 , 浙江省兴合集团有限责任公司 , 8019763
175 , 比亚迪股份有限公司 , 8000897
176 , 协鑫(集团)控股有限公司 , 7978687
177 , 浙江恒逸集团有限公司 , 7940567
178 , 浙江中烟工业有限责任公司 , 7861183
179 , 杭州钢铁集团公司 , 7769455
180 , 晋能集团有限公司 , 7702583
181 , 本钢集团有限公司 , 7700058
182 , 陕西东岭工贸集团股份有限公司 , 7611371
183 , 长城汽车股份有限公司 , 7603314
184 , 中国华融资产管理股份有限公司 , 7538576
185 , 三一集团有限公司 , 7505031
186 , 超威电源有限公司 , 7497736
187 , 广州医药集团有限公司 , 7485668
188 , 紫金矿业集团股份有限公司 , 7430357
189 , 徐州工程机械集团有限公司* , 7394093
190 , 中国中材集团有限公司 , 7296911
191 , 天能电池集团有限公司 , 7239327
192 , 西安迈科金属国际集团有限公司 , 7100414
193 , 清华控股有限公司 , 7053898
194 , 北京控股集团有限公司 , 7043436
195 , 广西建工集团有限责任公司 , 7008182
196 , 南通三建控股有限公司 , 6882735
197 , 新希望集团有限公司 , 6824439
198 , 山东黄金集团有限公司 , 6819803
199 , 陕西建工集团有限公司 , 6810634
200 , 河北新华联合冶金控股集团有限公司 , 6797096
