给入门的小伙伴指路～～ 增删改查命令： 插入：Insert into T_Website(Name,Title) values (‘1234567890’) 查询：select Name,Titl…

配置zookeeper，启动多个HiveServer 配置HA Zookeeper信息如下： <property> <name>hive.server2.transport.mode</na…

一.背景 最近在做一个项目的重构工作，其中涉及到了一部分数据的清洗和同步工作。在特定的情况下会用到一些特殊的mysql 操作。 二.用法技巧 1.mysql ON DUPLICATE KEY UPDATE 如果你指定了O…

由于设计需要，需要查询不重复的记录值，同类问题，想必大家都遇到过，于是乎马上GOOGLE一下，发现此类问题还挺多，解决方案也不少，仔细看看。 例如有如下表结构和值–table fid name sex 1 a…

本文地址：https://www.jianshu.com/p/b69d1303336f 在Scrapy中，Spider负责的是网页的抓取逻辑，以及数据的解析逻辑。所以Spider是Scrapy爬虫中相对核心的部分。 Sp…

配置hive-site.xml <configuration> <property> <name>hive.metastore.local</name> <value…

很多业务，尤其多对多关联，插入中间关系表数据时，经常会出现重复插入的问题。常用的解决方案有： 插入前删除全部关联数据 插入前提前查询数据是否存在 使用复合主键 这里再增加一个就是在insert时加入where条件限定，如…

修改表结构 • Alter Table 语句 • 重命名表 • 修改列的名字、类型、位置、注释 • 增加/更新列 • 增加表的元数据信息 • 改变表文件格式与组织 Alter Table 语句 它是在Hive中用来修改的…

1、查询重复记录 select user_name,count(*) as count from user_table group by user_name having count>1; select * fro…

--表描述 SELECT tbs.name 表名,ds.value 描述 FROM sys.extended_properties ds LEFT JOIN sysobjects tbs ON ds.major_id=t…

语法## INSERT INTO TABLE_NAME(column1, column2, column3, … columnN) VALUES(value1, value2, value3, ……

一、修改字段 Change Column Name/Type/Position/Comment ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_na…