机器学习

英语笔记

实践技巧

基础知识

生活随笔

好文转载

读书笔记

大语言模型

大数据

牢骚

书架

听歌

友链

关于

SparkSQL 是 Spark 的一个模块，专为处理结构化数据而设计，提供了对 SQL 查询的支持，使得用户可以通过 SQL 或 DataFrame API 进行高效的数据处理和分析。SparkSQL 允许无缝地在结构化数据（如 JSON、Parquet、Hive 表）和 RDD 之间进行转换，集成了 Catalyst 优化器和 Tungsten 执行引擎，从而实现查询优化和高效执行。此外，SparkSQL 还支持与多种数据源的集成，使其在大数据处理和分析领域具有广泛的应用。

Spark

SparkSQL

Spark SQL

方法

【转载】Crony Beliefs

Spark Core 是 Apache Spark 的核心模块，提供了对分布式内存计算和数据处理的基础支持，基于 RDD（Resilient Distributed Dataset）这一基本数据抽象，实现了高效的并行计算和容错机制。通过 SparkContext 与集群交互，DAG Scheduler 和 Task Scheduler 调度任务执行，Block Manager 管理数据块的存储和传输，用户可以通过丰富的 RDD API 构建和执行复杂的数据处理任务。Spark Core 支持批处理、交互式查询、机器学习和图计算等多种应用场景，是 Spark 生态系统的基础。

SparkCore

Spark Core

Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的API提高了开发速度。Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及SQL语言去开发应用 程序计算数据。Spark 集成了多种大数据工具和框架，如 Kafka、Cassandra、HBase、HDFS 等，形成了一个强大的大数据处理生态系统。Spark 的统一编程模型和强大的性能使其成为大数据分析、实时流处理和机器学习等领域的重要工具。

Spark部署

Spark 开篇

Linux 软件安装实践；记录了 zookeeper、Tomcat、Nginx、Hadoop、SQL、Spark、Flink 等软件的安装和遇到的问题，以供学习和参考；均用 Ubuntu 系统安装。

Linux

hadoop安装

flink安装

zookeeper安装

集群部署

Linux软件安装实践

Anjhon

十大词类

pandas

Holt-Winters

预测模型

指数平滑

英语

python基础

博客搭建

线性回归

逻辑回归

logistic

分类算法

Excel

项目排期

支持向量机

K近邻

贝叶斯

朴素贝叶斯

Bayesian

集成学习

岸见一郎

古贺史健

心理学

成长

斯科特派克

语法

回归算法

损失函数

正则化

优化函数

向量矩阵

bagging

boosting

进程

线程

虚拟环境

决策树

C4.5

CART

树模型

Adaboost

GBDT

XGBoost

ARIMA

时序模型

聚类

optics

GitHub

Notion

插件

GitHub Desktop

代码冲突

Vscode

豆瓣读书

豆瓣电影

戒烟

随便一说

进度条

notion

Alfred

Mac软件

效率提升

幸福感

爬虫

蜘蛛

Selenium

Scrapy

词根词缀

记单词

Blog

办公

自动化

python

python-docx

Word

评分

熵权法

层次分析法

评分算法

对话

教育

社交

阅读

工具

ChatGPT

伦理

简悦

阅读插件

吐槽

AI写作

摄影