pytorch下的lib库 源码阅读笔记(2)

2017年11月22日00:25:54

对lib下面的TH的大致结构基本上理解了,我阅读pytorch底层代码的目的是为了知道

python层面那个_C模块是个什么东西,底层完全黑箱的话对于理解pytorch的优缺点太欠缺了。

看到 TH 的 Tensor 结构体定义中offset等变量时不甚理解,然后搜到个大牛的博客,下面是第一篇:

从零开始山寨Caffe·零:必先利其器

快速浏览了一下这个系列,看的压力山大。。。

 

大致理解是offset是为了让Tensor在内存中线性化存储,计算和传输成本低。又猛然搜到python层面对

Tensor的文档。原来底层的函数在python层面都有一定的体现。看pytorch的文档就够了。

TH在编译完后相关头文件和TH.so已经放到系统路径中了,后面的库都可以直接调用TH。

 

跳过THS,看了下THNN,文件结构是并列的。主要是TH_TENSOR_APPLY宏函数比较有意思。出现在

THTensor相关文件中,被THNN大量运用。研究下应该也是不难理解的。

 

gpu版本的THC,THCS,THCNN都一概跳过,没学过cuda,掌握了cuda的语法,结合TH的经验,看懂这几个

应该不难,nccl跳过。搞完python源码剖析后再拿出些时间来学cuda。

 

THPP值得研究,用C++封装C。

 

2017年11月24日21:27:06

这两天看完了vamei的 linux系列,接着又快速扫了一遍 python源码剖析 ,有vamei的博客在前,

看 python源码剖析 基本上无痛苦。剖析这本书以后肯定还是要反复阅读的。

另外有一篇不错的博客:  pytorch源码:C扩展 顺腾摸瓜可以找到其他几篇重要的博客。

 

2017年11月28日00:13:00

接下来的几天会试图完成一个有点复杂的自定义的C++或者C的矩阵类,并且带几个矩阵运算,将这个

矩阵类注册到python中,让其表现和python自带的数据类型有差不多的表现。比如可继承。

搜到一个有点意思的博客:

http://www.xefan.com/categories/Python%E6%A0%8F%E7%9B%AE/

 

pytorch的大体结构差不多是TH、THNN、ATen干具体的计算的活,THPP封装一下。

然后csrc把相关类型注册到python中,让其在python中被无缝调用。

pytorch中python层面的Variable和Function类都定义在csrc的autograd中。看README

有一些简单的介绍。vscode打开torch源码后搜PyTypeObject可以看到有哪些类型被注册到python中了。

 

THPP和ATen还没看。看ATen还需要点自动微分方面的知识,虽然之前关注过这个问题。

 

2017 1201 0135

ATen应该从 code_template.py 那个文件开始看,然后用vscode在ATen文件夹下搜  .substitute

醉了,写pytorch的小组怎么这么爱用类似宏替换的东西。

在C层面搞了宏替换,还要用python再玩一次!

为了不用C++写底层,真是独树一帜!

 

2017年12月18日21:22:36

https://github.com/necroen/tiny_lib

    原文作者:pytorch
    原文地址: https://www.cnblogs.com/shepherd2015/p/7876120.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞