cs20si: tensorflow for research 学习笔记1

2019年7月14日 143次阅读 来源: Sherlock

今年一月份，Stanford大学新开了一门课专门讲如何用tensorflow做科研，这门课从最基础的计算图讲起，扩展到非常流行的算法，如neural style，seq2seq等等，通过课程和作业，能够掌握tensorflow大部分的用法。因为太久没有使用tensorflow了，所以决定学学这门课重新复习一下，这是课程网站和github，没有官方的视频，youtube和b站上有其他人根据slide录的视频。

我会学习这门课，然后记录笔记，完成github上的代码作为练习，同时会对代码中一些错误进行修正。

下面是lecture1的学习笔记。

介绍

深度学习后面的数学概念已经存在10多年，但是深度学习框架是最近几年才出来的。现在大量的框架在灵活性上和便于工业界使用上做了权衡，灵活性对于科研非常重要，但是对于工业界太慢了，但是换句话说，足够快，能够用于分布式的框架只适用于特别的网络结构，这对科研又不够灵活。这留给了使用者一个矛盾的境地：我们是否应该尝试用没有那么灵活的框架做科研，这样当应用于工业界的时候，我们不必再重新用另外一个框架复现代码；或者是我们是否应该在做研究的时候使用一个框架，在工业界应用的时候使用另外一个完全不同的框架呢？

如果选择前者，那么做研究的时候并不方便尝试很多不同类型的网络，如果选择后者，我们必须要重新复现代码，这容易导致实验结果和工业应用上不同，我们也需要付出很多精力去学习。

TensorFlow的出现希望解决这个矛盾的事情。

什么是TensorFlow?

  • 使用数据流和图来做数值计算的开源软件，用于机器智能
  • 主要是由Google Brain团队开发用于机器学习和深度神经网络的研究
  • 能够应用于广泛的领域

虽然TensorFlow是开源的，但是只有GitHub上的部分是开源的，Google还有一个内部版本，官方说法是Google的内部版本有很多转为其定制的工具和服务，大众没有需求使用，并不是Google的开源没有诚意，希望如此吧。

为什么使用TensorFlow？

  • Python API，这是大多数深度学习框架都有的
  • 能够使用多个CPU和GPU，最重要的是能够很容易部署到服务器上和移动端，这是很多框架不能做的事
  • 足够灵活，非常低层
  • tensorboard可视化非常好
  • Checkpoints作为实验管理，能够随时保存模型
  • 自动微分
  • 庞大的社区
  • 大量优秀的项目正在使用TensorFlow

Getting Started

tensor

0-d tensor：标量，1-d tensor：向量，2-d tensor：矩阵

数据流图

《cs20si: tensorflow for research 学习笔记1》

import tensorflow as tf
a = tf.add(3, 5)
print(a)
>> Tensor("Add: 0", shape=(), dtype=int32)

并不能得到8，需要开启session，在session中操作能够被执行，Tensor能够被计算，这点有点反人类，跟一般的推断式编程是不同的，比如PyTorch

import tensorflow as tf
a = tf.add(3, 5)
sess = tf.Session()
print(sess.run(a))
sess.close()
>> 8

当然可以使用一种更高效的写法

import tensorflow as tf
a = tf.add(3, 5)
with tf.Session() as sess:
    print(sess.run(a))
>> 8

当然可以建立更复杂的计算图如下

x = 2
y = 3
add_op = tf.add(x, y)
mul_op = tf.mul(x, y)
useless = tf.mul(x, add_op)
pow_op = tf.pow(add_op, mul_op)
with tf.Session() as sess:
  z, not_useless = sess.run([op3, useless])

在`sess.run`调用的时候使用[]来得到多个结果。

也可以将图分成很多小块，让他们在多个CPU和GPU下并行

《cs20si: tensorflow for research 学习笔记1》
《cs20si: tensorflow for research 学习笔记1》

可以将计算图的一部分放在特定的GPU或者CPU下

with tf.device('/gpu:2'):
  a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], name='a')
  b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]], name='b')
  c = tf.matmul(a, b)

sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
print(sess.run(c))

尽量不要使用多个计算图，因为每个计算图需要一个session，而每个session会使用所有的显卡资源，必须要用python/numpy才能在两个图之间传递数据，最好在一个图中建立两个不联通的子图

为什么使用Graph

1. 节约计算资源，每次运算仅仅只需运行与结果有关的子图

2. 可以将图分成小块进行自动微分

3. 方便部署在多个设备上

4. 很多机器学习算法都能够被可视化为图的结构

以上就是第一个lecture的学习笔记。

本文的内容和代码都在该github上

欢迎访问我的博客

欢迎查看我的知乎专栏，深度炼丹

    原文作者：Sherlock
    原文地址: https://zhuanlan.zhihu.com/p/28488510
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞