CSDN秋名山老司机从上车到翻车的悲痛经历,带你深刻了解什么是 Spark on Hive!| 原力计划( 二 )
SparkSQL 整合 Hive 的 MetaStore 主要思路就是要通过配置能够访问它 ,并且能够使用 HDFS 保存 WareHouse , 所以可以直接拷贝 Hadoop 和 Hive 的配置文件到 Spark 的配置目录 。
hive-site.xml 元数据仓库的位置等信息
core-site.xml 安全相关的配置
hdfs-site.xml HDFS 相关的配置
我们进入到shell窗口,执行以下命令 。
将hive目录下的hive-site.xml拷贝至spark安装目录下:
cp /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /export/servers/spark/conf将hadoop安装目录下的core-site.xml和 hdfs-site.xml拷贝至spark安装目录下
cp /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /export/servers/spark/confcp /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /export/servers/spark/conf提示:使用IDEA本地测试直接把以上配置文件放在resources目录即可 。
飙车
先完成如下所示的代码 , 使用SparkSQL完成创建一个表 , 并将本地文件中的数据导入到表格中的操作 。
使用SparkSQL操作Hive表:
import org.apache.spark.sql.SparkSessionobject HiveSupport {def main(args: Array[String]): Unit = {//创建sparkSessionval spark = SparkSession.builder.appName("HiveSupport").master("local[*]").config("spark.sql.warehouse.dir", "hdfs://node01:8020/user/hive/warehouse").config("hive.metastore.uris", "thrift://node01:9083").enableHiveSupport//开启hive语法的支持.getOrCreate//创建表spark.sql("CREATE TABLE person (id int, name string, age int) row format delimited fields terminated by ' '")//加载数据,数据为当前SparkDemo项目目录下的person.txt(和src平级)spark.sql("LOAD DATA LOCAL INPATH 'in/person.txt' INTO TABLE person")spark.stop}}在运行程序之前 , 先让我们进入到hive的shell窗口 , 查看一下当前默认数据库default有哪些表:
hive (default)> show tables;OKtab_namestudenttechertecher2Time taken: 0.738 seconds, Fetched: 3 row(s)hive (default)>然后右键运行 , 当IDEA控制台打印以下结果 , 说明我们的程序运行成功了 。
本文插图
再次进入到hive的shell窗口 , 查看当前表 , 此时已经发现了我们刚刚用SparkSQL所创建的表:
本文插图
翻车
正当博主终于长舒了一口气 , 准备拿出82年珍藏的雷碧小酢一杯的时候 , 电脑可能是馋哭了 , 直接蓝屏警告 。
本文插图
好了 , 不说了 , 说多了都是泪 , 本次的分享就到这里 , 身为蒟蒻本蒻的我去抢救电脑了 , 或许喂Ta喝点也不至于罢工是吧 ̄へ ̄
版权声明:本文为CSDN博主「Alice菌」的原创文章 , 遵循CC 4.0 BY-SA版权协议 , 转载请附上原文出处链接及本声明 。
【End】
【CSDN秋名山老司机从上车到翻车的悲痛经历,带你深刻了解什么是 Spark on Hive!| 原力计划】
推荐阅读
- 绅士老司机|《天仙配》:亲女儿和干女儿差别待遇——王母娘娘也偏心?
- 绅士老司机|辣妈李亞男身着黑色连体裤外搭休闲西装,满满飒爽范儿
- 海南屯昌一大型油罐车迎面撞上一小面包车,司机被困!幸好……
- 澎湃新闻|变道未果司机斗气乘车人试图砸瓶,两人均被交警处罚
- 年度最佳矿工 英国有190万人拥有比特币丨专车司机陈发春看中机会已囤53枚比特币
- 新民晚报|连闯红灯、变道也不打灯!这位奔驰车司机的行为既危险更违法
- 中芯国际■后天就高考了,被醉驾司机撞倒的17岁高三学霸女孩还没醒来
- 汽车小橘子|女司机一句话交警无语,这下赔大了,外卖小哥逆行撞玛莎拉蒂
- 绅士老司机|《爱的迫降》:不爱你的人,就别再勉强了
- 中国新闻网客户端|云南:动车送近300名山区学子赴考
