网站首页 spark算子

• 

  大佬用10小时就把Spark讲完了，附6大技术文档

  前言ApacheSpark是一个开源集群运算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的...

  2024-10-12 btikc 技术文章 7 ℃ 0 评论
• 

  浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

  从Hadoop说起近年来随着大数据的兴起，分布式计算引擎层出不穷。Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用。Hadoop的设计核心思想来源于GoogleMapReduce...

  2024-10-12 btikc 技术文章 13 ℃ 0 评论
• 

  Spark Streaming 和 Flink 谁是数据开发者的最爱?

  本文为「美图数据技术团队」投稿本文从编程模型、任务调度、时间机制、Kafka动态分区的感知、容错及处理语义、背压等几个方面对比SparkStreaming与Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。前排友...

  2024-10-12 btikc 技术文章 6 ℃ 0 评论
• 

  分享几点 Spark Streaming 调优实践经验

  本文主要介绍SparkStreaming调优实践经验。将从以下几个方面入手：数据序列化广播变量...

  2024-10-12 btikc 技术文章 8 ℃ 0 评论
• 

  大数据学习之计算天下——SPARK的那些事

  大数据学习过程中，不可或缺的就是Spark技术，今天集中分享Spark的一系列技术问题，大家在学习过程中如果遇到困难，可以留言互动，我都将知无不言，言无不尽Q1：MapReduce的局限性有哪些？A1：①MapReduce框架局限性它仅支...

  2024-10-12 btikc 技术文章 9 ℃ 0 评论
• 

  第二篇|Spark core编程指南 spark编程软件

  在《第一篇|Spark概览》一文中，对Spark的整体面貌进行了阐述。本文将深入探究Spark的核心组件--Sparkcore，SparkCore是Spark平台的基础通用执行引擎，所有其他功能均建立在该引擎之上。它不仅提供了内存计算功...

  2024-10-12 btikc 技术文章 9 ℃ 0 评论
• 

  Spark计算引擎 spark是基于什么计算引擎

  Spark是一个基于MapReduce思想的分布式通用计算框架，相对于MapReduce,它的升华主要体现在处理结果驻留在了内存中(RDD,即分布式内存的概念，也是将数据进行切片，计算的中间结果驻留在内存中，可以设置切片数，也可以采用默认值...

  2024-10-12 btikc 技术文章 8 ℃ 0 评论
• 

  Spark Shuffle机制 sparkshuffle原理

  Shuffle是什么？Spark延续了MapReduce的设计思路，但提高计算的性能。spak的设计思想：移动数据不如移动计算。Map步骤是在不同机器上独立且同步运行的，它的主要目的是将数据转换为key-value的形式；而Re...

  2024-10-12 btikc 技术文章 7 ℃ 0 评论
• 

  一文带你了解SparkStreaming窗口函数

  SparkStreaming之window滑动窗口应用，SparkStreaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作，本文带大家了解SparkStreaming窗口函数的应用及原理。...

  2024-10-12 btikc 技术文章 9 ℃ 0 评论
• 

  深度预警:Spark运行原理 简述spark的运行架构和原理

  点击关注，快速进阶高级架构师本文主要分以下章节：一、Spark专业术语定义二、Spark的任务提交机制一、Spark专业术语定义1、Application：Spark应用程序指的是用户编写的Spark应用程序，包含了Driver功能代码和...

  2024-10-12 btikc 技术文章 9 ℃ 0 评论