sparkSQL连接hive失败案例和解决办法_spark连接hive报拒绝加入_平凡天下
sparkSQL连接hive失败案例和解决办法
标签： hive hadoop 大数据 spark hdfs
Spark 任务提交流程说明_spark任务提交流程_Small_Ran
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes、Kubernetes、Amazon EC2 等。本篇文章主要阐述笔者平时经常使用的 Standalone 与 Yarn 集群管理模式。..................
标签： spark hadoop hdfs 大数据 apachespark
大数据编程实验一：HDFS常用操作和Spark读取文件系统数据_spark读取hadoop文件_-北天-
大数据编程实验，利用本地搭建的伪分布式集群进行HDFS常用操作和Spark读取文件系统数据的操作。
标签： 大数据 spark hdfs
利用Submarin集成Spark-Ranger_董可伦
我的原创地址：https://dongkelun.com/2021/12/02/submarinSparkRanger/前言本文总结如果利用Submarin集成Spark-Ranger，通过ranger控制spark sql的权限前提已经安装了Spark、Hive、kerberos、Ranger,并且Hive已经集成了Ranger,本文环境基于Ambarisubmarine-spark-security 插件打包官网文档https://submarine.apache.org/docs/user
标签： spark hive bigdata
美食推荐系统的设计与实现_biyezuopinvip
课题设计推荐系统是一款美食推荐系统，该系统是基于C/S+B/S模式来设计，技术上采用Html5+JSP网页技术+个性化推荐技术开发，利用Java技术来实现，通过MySQL数据库来存取美食推荐系统相关的信息，Html5注册用户和商家用户可餐厅美食推荐列表、购物车订单及个人中心等，后台管理端可对菜品信息、菜品类别信息、优惠资讯管理、订单管理、统计及用户管理等。登录是使用该美食推荐系统的入口，只有合法用户方可使用软件，同时系统会根据用户属性分配不同的用户权限，进入不同的业务界面操作不同的业务模块。
标签： 美食 美食推荐系统 spark java 毕业设计
干货 | Linux Shell命令及脚本大全(一)_Souvenirser
将每一行前两个(前n个)字符替换为空,将每一行最后一个字符删除,删除某个文件中指定字符,统计某个文件的行数/列数,截取文件中每一行指定字符串之前的字符串:,查看机器ip,shell脚本去重,shell去除空行,查看指定内容在哪一行,通过行号删除文件指定行,一次解压多个文件到指定目录下,遍历某个目录下的多级目录并得到文件名,将一行很长的数据根据某个字符切分成多行,wget下载重命名/下载修改目录路径,unzip解压重命名/解压到指定目录,显示第3-4行数据,显示空白行,将一个大文件按照行数进行切割
标签： linux spark 运维
PySpark数据分析基础:核心数据集RDD原理以及操作一文详解(一)_fanstuck_pyspark中的rdd
要进行大数据分析是离不开Spark的，不然怎么说是大数据呢，数据量不达到几个TB也好意思叫大数据（哈...），之前一直使用的Pandas做一些少量数据的分析处理的，发现最近要玩的数据量实在过于巨大了，不得不搬上我们的spark用集群去跑了。但是用Scala总感觉很别扭，主要是已经好久没写scala代码了，连IDEA的环境都没给配，搞起来有点麻烦。虽然建议要是写spark数据分析还是使用原生的scala要好点，但是使用python的效率确实是高，并且可以兼容他的其他环境，这是最舒服的。
标签： 数据分析 python 数据挖掘 spark 大数据
maven打包jar包给spark_maven spark 项目_huhy~
maven打包jar包给spark的简单案例
标签： spark maven jar
Presto介绍及常用查询优化方法总结（推荐收藏）_presto regexp_like_硬核林川（公众号同名）
?1、Presto简介Presto是Facebook开源的MPP（Massive Parallel Processing）SQL引擎，其理念来源于一个叫Volcano的并行数据库，该数据库提出了一个并行执行SQL的模型，它被设计为用来专门进行高速、实时的数据分析。Presto是一个SQL计算引擎，分离计算层和存储层，其不存储数据，通过Connector SPI实现对各种数据源（Storage）的访问。1.1 架构Presto沿用了通用的Master-Slave架构，一个Coordinat
标签： 大数据 spark flink presto sql-
一行代码Pandas升级为PySpark_小夕Coding
1. 简介Apache Spark 社区于 2021 年 10 月 13 日发布了 Spark 3.2.0。他们在 Spark 上包含了一个 Pandas API，作为他们主要更新的一部分。Pandas 是数据科学家中一个功能强大且众所周知的软件包。但是，Pandas 在处理大数据方面有其自身的局限性，因为它是在一台机器上处理数据。为了弥合这一差距Spark 3.2.0 增加了 Pandas API，避免了使用第三方库。现在，Pandas 用户仍然可以保留他们的 Pandas，并将流程扩展到多节点
标签： spark bigdata 数据挖掘 Spark常用参数_spark 参数_坤岭
spark
标签： spark JVM 大数据
0基础就可以上手的Spark脚本开发-for Java_虚幻私塾
最近由于工作需要，要分析大几百G的Nginx日志数据。之前也有过类似的需求，但那个时候数据量不多。一次只有几百兆，或者几个G。因为数据都在Hive里面，当时的做法是把数据从Hive导到MySQL，然后写代码查询MySQL并处理。如果你的处理逻辑比较简单，或只是查询统计，不会设计上游的服务调用，也可以直接写HiveSQL。上面的做法在面对少量数据时还可以应付，对于大量数据就很不可取了。从Hive导数据到MySQL，光这一步就够呛，就更别说自己写的Java脚本效率性能如何了。可以用Spark做什么？...
标签： spark java flask 计算机
Sqoop 增量同步（自动更新 last value）_ztcheck
我们在使用Sqoop进行增量同步的时候，是需要指定 last value 的。但一般我们都是自动化进行数据同步的，这就需要有一个地方，能够自动记录和填充 上次增量同步的 last value。抛开 手动 维护这个 last value，繁琐，而且还很容易失败。后面查了下Sqoop 的官网，发现 Sqoop job 提供了类似的功能。这里记录下，供后续查看。官方文档 上面有详细的说明，这里说明下几个点：1. 目的The job tool allows you to create and work w
标签： spark hadoop hdfs
大数据技术概述_asyouwish_lm
一、大数据技术概述1、大数据概述google技术：典型的计算模式：1、批处理模式：MapReduce2、流计算：实时处理，给出实时响应3、图计算4、查询分析计算2、云计算：虚拟化：2、物联网物联网：物物相连的互联网。物联网的层次架构：物联网的关键技术：1、 识别技术如：二维码2、感知技术如：公交卡二、Hadoop1、简介Hadoop是Apache软件基金会旗下的开源软件。可以支持多种编程语言。Hadoop的两大核心：HDFS+MapReduce。2、特
标签： hadoop bigdata spark 大数据技术-
CDH 开启Kerberos 问题_cdh添加kerbroes会遇到的问题_HappyLin0x29a
1：nodemanager连接不上resourcemanager, 清除每个nodemanager的用户缓存在每一个NodeManager节点上删除该用户的缓存目录，对于用户hdfs，是/data/data/yarn/nm/usercache/hdfs。该缓存目录在集群进入Kerberos状态前就已经存在了。例如当我们还没为集群Kerberos支持的时候，就用该用户跑过YARN应用。也许这是一个bug2：使用 hdfs/namenode01@xxxCOM账户建立的账户才能访问hdfs账户下的权限，.
标签： 大数据 hadoop hdfs spark bigdata
