image.png
前言：
相信大家有时候也会犯二，社会的运行 如果没有法律条文的实施和约束，单单靠 道德是否可行？
我们向往 孔子的那个年代，人人懂礼，夜不闭户 路不拾遗 的好风气，但是 道德 良知，看似是人类社会的本能反应，好像是可以包罗万象，好像道德可以run anywhere ，果真这样吗？
我用 道德 不用公式 是否可以算出 1+1 =2，x*y 的偏导数 用道德是否可以求得，当然 是不可以的。说了这些 其实就想说，当然在使用我们的大数据平台，如果 靠 大家自己的良知来规范操作 也是有局限问题的，是啊，大家至少知道不可以 让 服务器 挂掉 ，但是 他不一定知道到底哪一个无心的操作就可以就让服务无法正常运行了
为此 ，我们 做了一些 大数据平台的使用规范 ，让大家可以更好的使用平台，让平台的运行更叫有效率 。
前提 hadoop cluster集群 简称 DMP，
所有的开发算法人员 简称 Dataer，
hadoop集群执行任务机器 简称 dmpJobserver
1.禁止 Dataer 登录 DMP 的所有节点，包括 NameNode 和DataNode
2.Dataer 均需要使用 dmpJobserver 来执行 mapreduce任务
3.Dataer 登录 dmpJobserver 不可以 使用 root 用户和hadoop管理用户
会为大家分配 指定的操作用户 ，对操作权限有限制
4.Dataer 均不可在 DMP 和 dmpJobserver 做 任何 于 hadoop job 无关的操作 ，包括对文件 及目录的上传 下载 创建 更改 销毁，对服务 的开启关闭及对系统服务配置的更改 创建和删除。
- 禁止Dataer 在hdfs 根目录创建文件及目录，仅仅可以在 规定好的各自的output目录下 创建和销毁 更改文件，创建文件 大小总额有限额，不可以超过 40G
6.禁止 Dataer 拉取 get getmerge hdfs源日志文件到 DMP和 dmpJobserver 本地的磁盘目录，可以通过 hadoop fs -ls -cat -tail -text在hdfs上直接查看，或者通过管道命令 统计 ，例如
hadoop fs -cat /word.txt | wc -l
7.Dataer 禁止 更改 hdfs 的目录结构，尤其是删除 更改 源日志目录及文件，或在源日志目录创建目录和文件，仅有权限操作自己的 output目录
8.禁止 Dataer 上传的job程序 到 DMP， 需要放置在 dmpJobserver 的 根目录下的共享目录 /hadoopTestJars/目录中的各自的子目录中
8.Dataer 每人 要跑的job 需要在 wiki 上注册登记 http://101.2.1.238:8090/doc/pages/,同一个jar 的job如果一天执行多次，那么每天仅需注册登记一次即可
日期 jar包 名称 job目的 申请 cpu 资源 申请 内存资源 代码的gitlab仓库地址 output目录 预估outputData大小 mapreduce目录 失败次数 失败原因 结束时间 代码审核人
9.Dataer 执行job 的代码需要在 DMP 运行前使用公司的gitlab 做版本控制，并作为 code review的依据，通过 审核后 方可 使用
10.Dataer 需要在自己的运行job 的shell 脚本 python脚本 java 文件 scala 文件 C++文件中 植入 公司的 日志 追踪 sdk，日志 追踪 sdk
会 记录 运行的 时间 ip jarname jobid stats 等等
11.Dataer 在运行 Job的程序 中需要 对DMP 申请的资源做 声明及限制，在 job高峰时段，可申请的 cpu 和 mem 资源 不可以超过 资源总量的60%。
12.Dataer 执行mapreduce 作业任务 衍生的后台进程和定时任务，请及时报备 和登记，经管理员确认后，方可 执行。请勿私自 长期占用服务器 有限的计算资源
13.Dataer 引用的非公司 常用jar 包依赖 ，需要及时报备
其实还有很多，作为管理者需要限制 Dataer 天马行空的自由操作，作为Dataer 又 感觉自己的灵感就这样被条条框框所扼杀，看似矛盾，其实又相辅相成。
说了这么多让大家去遵守 ，倒不如直接通过 权限设置 让他 无法操作所无法操作的，仅仅限定好他所可以做的操作。只能执行的命令。
所以才有了 之后的 我们的跳板机搭建 和 hadoop 集群的权限管理 搭建
