org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient Logging initializedusing configuration in file:/…

简介 人类正在从IT时代走向DT（Data Technology）的时代。以互联网、云计算、大数据和人工智能为代表的技术革命正在渗透至各行各业，改变着我们的生活。 本文主要针对从事大数据开发的程序员们整理了整套的大数据学…

之前有写过pandas和numpy的一些浅显的使用，没有系统的学习所有的API，基本上还是在够用的基础上，以后如果需要更复杂的数据需求再进一步研究吧。最近转做后台，之前在写numpy使用的时候立了个flag说要做一些有产…

前面13篇主要是HDFS,MR以及Yarn，这三个也是hadoop中最重要的，接下来分享几个工具，今天这个hive其实就是一个工具，什么工具呢？是将sql语句转换成MR程序的工具，意思就是以后统计，分析的时候可以不用写M…

基于大数据处理技术Hadoop的论坛日志分析_谢树铭.caj Paste_Image.png

高级的虹吸壶冲煮咖啡教程 想了解更多视频，欢迎关注新浪微博@做个吃的_吃星妄想~ 高级的虹吸壶冲煮咖啡教程

对日志进行分析思路 日志内容格式 "27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course/view.php?id=27 HTTP/1.1" "303" "4…

在用hive时，复制一整片代码运行，发现好多提示： Display all 475 possibilities? (y or n) 导致复制失败，一查原因，原来是复制的代码块中包含了Tab缩进，只要将原来复制的代码中的T…

Spark是什么 a) 是一种通用的大数据计算框架 b) Spark Core 离线计算 Spark SQL 交互式查询 Spark Streaming 实时流式计算 S…

Hive QL是类SQL查询语句，和数据库的查询语句类似，下面介绍一些基本的表操作： 1. 创建表 创建表的HQL语句如下，逐条输入即可，以；结束。 CREATE TABLE students3(id int,name …

hive添加表 hive的命令就是mysql的命令. 创建数据库 create database hive; hive创建的db 创建表 create table students (id string, name st…

问题表述 最近业务线故障，一些用户受到了影响。产品经理急切需要知道，这次事故是否导致用户流失，换句话希望看看这些用户近一个星期的购物留存。所以产品经理给数据工程师提供了一个大概有1.4万的受影响用户id的文本文件acci…