用Python抓取天天基金网基金历史净值数据

请关注微信公众号:金融数学 FinancialMathematics

玩基金的朋友应该都深有体会,2018是相当惨淡的一年,尤其下半年,能够保本就不错了。2019迎来了开门红,从2月11日到14日,连续四个交易日整体翻红,“逢九必涨”,2019是不是可以有些期待呢?

“天天基金”网站可以查询基金历史净值信息,这里利用网站提供的数据接口,实现基金净值查询,并做一些简单的分析。数据是否准确,分析是否到位,不care,就是做一个简单的Python实现。

Python获取基金数据

以下链接可以获取基金数据:http://fund.eastmoney.com/f10/F10DataApi.aspx
提供适当参数,即可获取指定基金在指定日期段内的净值数据,例如:
http://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code=110022&page=1&sdate=2019-01-01&edate=2019-02-13&per=20
以上提供了代码为110022的基金(易方达消费行业)在2019年1月1日到2月13日之间的基金净值数据。如下图:

《用Python抓取天天基金网基金历史净值数据》
《用Python抓取天天基金网基金历史净值数据》

链接中的各参数含义简单说明:

  • code:指明基金代码;
  • sdate:数据开始日期;
  • edate:数据结束日期;
  • per:指定每页显示的条数,如果不指定该参数,则默认值为10,如果指定该参数值在1-49之间,则每页条数按照指定参数值显示,如果指定该值大于等于50,则每页显示20条(很神奇的设定);
  • page:per指定了每页的显示条数,存在一页显示不完整的情况,该参数直接指定显示第几页。

如上图,底部有pages、curpage参数,分别指明总页数和当前页数,在抓取数据时,需要特别处理,否则只能获取当页数据。代码非常的简单,过程也很容易理解,不多介绍,后附完整代码。

基金单位净值、累计净值

基金一般在每个工作日公布上一个工作日的净值,单位净值=总净资产/基金份额,可以简单理解为基金的价格。因此,净值越高,一定程度上表示基金越“贵”,但也可能代表基金经理管理好。在交易日买入基金的时候,如果是当天15点之前购入,那么按照当天的基金净值确认份额,购入份额=购买金额/当日基金净值。如果是在当天15点之后购入,则按照下一工作日的基金净值确认份额。因为基金净值一般在第二个工作日(或者当天晚上)才公布,所以在买入基金的时候,是不知道买入确认的基金净值是多少,也就不知道买入的份额是多少。

累计净值就是基金净值加上过往分红,反映基金过往整体的收益情况。单位净值提供基金即时交易价格的参考,但从基金业绩的角度看,累计净值是一个更重要的指标。

实例

抓取招商中证白酒指数分级(161725)2018年的基金数据进行分析。将基金单位净值、累计净值、日增长率数据作图,如下:

《用Python抓取天天基金网基金历史净值数据》
《用Python抓取天天基金网基金历史净值数据》

可以看到,去年是比较惨淡的一年,尤其是下半年,整体是向下的走势。这段时间关注过基金的应该都深有体会,“绿化”非常好的半年。日增长整理整体波动分布,下半年波动幅度比较大,尤其是11月份前后的几个交易日,经历过大幅的涨跌。全年245个交易日中,除两个缺失值外,有106天日增长率为正,137天为负或者零。整体上跌的天数多于涨的天数。

我们再来看下“累计净值-单位净值”的变化。一般在发生分红的时候,该差额会发生变动。作图如下:

《用Python抓取天天基金网基金历史净值数据》
《用Python抓取天天基金网基金历史净值数据》

可以看到,2018年该差额发生过两次变动,一次是发生在7月初,另一次发生在12月中旬。进一步确认,两个试点分别是2018/07/05和2018/12/17.查询天天基金网站,该基金在2018年并没有具体的分红信息,但是在2018/12/17这天发生过基金份额折算,在2018/07/05这天并没有查询到具体事项。作为一个只会基金定投的小白瓜,就理解到这里了。

代码:

# 导入需要的模块
import requests
from bs4 import BeautifulSoup
import re
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib

#指定默认字体
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family']='sans-serif'
#解决负号'-'显示为方块的问题
matplotlib.rcParams['axes.unicode_minus'] = False

# 抓取网页
def get_url(url, params=None, proxies=None):
    rsp = requests.get(url, params=params, proxies=proxies)
    rsp.raise_for_status()
    return rsp.text

# 从网页抓取数据
def get_fund_data(code,per=10,sdate='',edate='',proxies=None):
    url = 'http://fund.eastmoney.com/f10/F10DataApi.aspx'
    params = {'type': 'lsjz', 'code': code, 'page':1,'per': per, 'sdate': sdate, 'edate': edate}
    html = get_url(url, params, proxies)
    soup = BeautifulSoup(html, 'html.parser')

    # 获取总页数
    pattern=re.compile(r'pages:(.*),')
    result=re.search(pattern,html).group(1)
    pages=int(result)

    # 获取表头
    heads = []
    for head in soup.findAll("th"):
        heads.append(head.contents[0])

    # 数据存取列表
    records = []

    # 从第1页开始抓取所有页面数据
    page=1
    while page<=pages:
        params = {'type': 'lsjz', 'code': code, 'page':page,'per': per, 'sdate': sdate, 'edate': edate}
        html = get_url(url, params, proxies)
        soup = BeautifulSoup(html, 'html.parser')

        # 获取数据
        for row in soup.findAll("tbody")[0].findAll("tr"):
            row_records = []
            for record in row.findAll('td'):
                val = record.contents

                # 处理空值
                if val == []:
                    row_records.append(np.nan)
                else:
                    row_records.append(val[0])

            # 记录数据
            records.append(row_records)

        # 下一页
        page=page+1

    # 数据整理到dataframe
    np_records = np.array(records)
    data= pd.DataFrame()
    for col,col_name in enumerate(heads):
        data[col_name] = np_records[:,col]

    return data


# 主程序
if __name__ == "__main__":
    data=get_fund_data('161725',per=49,sdate='2018-01-01',edate='2018-12-31')
    # 修改数据类型
    data['净值日期']=pd.to_datetime(data['净值日期'],format='%Y/%m/%d')
    data['单位净值']= data['单位净值'].astype(float)
    data['累计净值']=data['累计净值'].astype(float)
    data['日增长率']=data['日增长率'].str.strip('%').astype(float)
    # 按照日期升序排序并重建索引
    data=data.sort_values(by='净值日期',axis=0,ascending=True).reset_index(drop=True)
    print(data)

    # 获取净值日期、单位净值、累计净值、日增长率等数据并
    net_value_date = data['净值日期']
    net_asset_value = data['单位净值']
    accumulative_net_value=data['累计净值']
    daily_growth_rate = data['日增长率']

    # 作基金净值图
    fig = plt.figure()
    #坐标轴1
    ax1 = fig.add_subplot(111)
    ax1.plot(net_value_date,net_asset_value)
    ax1.plot(net_value_date,accumulative_net_value)
    ax1.set_ylabel('净值数据')
    ax1.set_xlabel('日期')
    plt.legend(loc='upper left')
    #坐标轴2
    ax2 = ax1.twinx()
    ax2.plot(net_value_date,daily_growth_rate,'r')
    ax2.set_ylabel('日增长率(%)')
    plt.legend(loc='upper right')
    plt.title('基金净值数据')
    plt.show()

    # 绘制分红配送信息图
    bonus = accumulative_net_value-net_asset_value
    plt.figure()
    plt.plot(net_value_date,bonus)
    plt.xlabel('日期')
    plt.ylabel('累计净值-单位净值')
    plt.title('基金“分红”信息')
    plt.show()

    # 日增长率分析
    print('日增长率缺失:',sum(np.isnan(daily_growth_rate)))
    print('日增长率为正的天数:',sum(daily_growth_rate>0))
    print('日增长率为负(包含0)的天数:',sum(daily_growth_rate<=0))

    原文作者:君以沫
    原文地址: https://zhuanlan.zhihu.com/p/58264923
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞