如何批量查询地址经纬信息？
抓包
打开https://jingweidu.51240.com/
F12键(mac电脑快捷键option+command+I)打开开发者工具Network面板
搜索框输入查询地址，回车查询
开发者工具Network会看到截图中的网址
点击Preview，能看到具体信息
1. 经纬度查询爬虫函数query
1. 根据抓包分析，构造网址模板template
2. 使用requests库发起访问
3. 使用正则表达式re库解析出经纬度信息
import requests
def query(addr):
#查询addr的经纬度
template = 'https://apis.map.qq.com/jsapi?qt=geoc&addr={addr}&key=UGMBZ-CINWR-DDRW5-W52AK-D3ENK-ZEBRC&output=jsonp&pf=jsapi&ref=jsapi&cb=qq.maps._svcb2.geocoder0'
url = template.format(addr=addr)
resp = requests.get(url)
x = re.findall('pointx":"(.*?)",',resp.text)[0]
y = re.findall('pointy":"(.*?)",',resp.text)[0]
return x,y
query(addr="山东省潍坊市安丘市兴安街道")
('119.161423', '36.331699')
2. 测试数据
import pandas as pd
df = pd.read_csv("test.csv")
df
| company | addr | |
|---|---|---|
| 0 | 公司A | 山东省潍坊市安丘市兴安街道 |
| 1 | 公司B | 浙江省杭州市萧山区 |
| 2 | 公司C | 广东省广州市番禺区 |
| 3 | 公司D | 陕西省西安市莲湖区 |
df['addr']
0 山东省潍坊市安丘市兴安街道
1 浙江省杭州市萧山区
2 广东省广州市番禺区
3 陕西省西安市莲湖区
Name: addr, dtype: object
3. 批量查询
对选中的addr列，使用apply方法调用query函数批量查询经纬度
df['addr'].apply(query)
0 (119.161423, 36.331699)
1 (120.264570, 30.185340)
2 (113.384240, 22.937720)
3 (108.940200, 34.267030)
Name: addr, dtype: object
4. 保存
df['经纬度']=df['addr'].apply(query)
df
| company | addr | 经纬度 | |
|---|---|---|---|
| 0 | 公司A | 山东省潍坊市安丘市兴安街道 | (119.161423, 36.331699) |
| 1 | 公司B | 浙江省杭州市萧山区 | (120.264570, 30.185340) |
| 2 | 公司C | 广东省广州市番禺区 | (113.384240, 22.937720) |
| 3 | 公司D | 陕西省西安市莲湖区 | (108.940200, 34.267030) |
5. 导出csv
结果导出到csv中
df.to_csv('result.csv')
Python相关[更新] Python网络爬虫与文本数据分析 读完本文你就了解什么是文本分析
文本分析在经管领域中的应用概述 综述:文本分析在市场营销研究中的应用
plotnine: Python版的ggplot2作图库小案例: Pandas的apply方法 stylecloud:简洁易用的词云库 用Python绘制近20年地方财政收入变迁史视频 Wow~70G上市公司定期报告数据集
漂亮~pandas可以无缝衔接Bokeh YelpDaset: 酒店管理类数据集10+G
