机器学习

英语笔记

实践技巧

基础知识

生活随笔

好文转载

读书笔记

大语言模型

大数据

牢骚

书架

听歌

友链

关于

自从入行以来，从来没有重视过内存管理这块的东西，但这次真的是该遭的罪一点没落下的全体验了一遍。试问苍天饶过谁。由于预测时的全量用户为 1.5 亿，数据量实在太大，而且服务器上没有 GPU 资源，所以只能通过开启多进程的方式来进行预测。在 python 中开启多进程无果后，只能想办法曲线救国，最终通过 shell 脚本将数据拆分然后循环调用 python 脚本，这个过程中可以将拆分后的数据的起始行数和数据量通过参数传递给python，最终以这样的方式成功开启了多进程。但随后遇到了另外一个问题：内存溢出导致的部分进程被 kill。

双塔模型

问题记录

记第一次推荐开发实践遇到的问题

SparkSQL 是 Spark 的一个模块，专为处理结构化数据而设计，提供了对 SQL 查询的支持，使得用户可以通过 SQL 或 DataFrame API 进行高效的数据处理和分析。SparkSQL 允许无缝地在结构化数据（如 JSON、Parquet、Hive 表）和 RDD 之间进行转换，集成了 Catalyst 优化器和 Tungsten 执行引擎，从而实现查询优化和高效执行。此外，SparkSQL 还支持与多种数据源的集成，使其在大数据处理和分析领域具有广泛的应用。

Spark

SparkSQL

Spark SQL

方法

【转载】Crony Beliefs

Spark Core 是 Apache Spark 的核心模块，提供了对分布式内存计算和数据处理的基础支持，基于 RDD（Resilient Distributed Dataset）这一基本数据抽象，实现了高效的并行计算和容错机制。通过 SparkContext 与集群交互，DAG Scheduler 和 Task Scheduler 调度任务执行，Block Manager 管理数据块的存储和传输，用户可以通过丰富的 RDD API 构建和执行复杂的数据处理任务。Spark Core 支持批处理、交互式查询、机器学习和图计算等多种应用场景，是 Spark 生态系统的基础。

SparkCore

Spark Core

Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的API提高了开发速度。Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及SQL语言去开发应用 程序计算数据。Spark 集成了多种大数据工具和框架，如 Kafka、Cassandra、HBase、HDFS 等，形成了一个强大的大数据处理生态系统。Spark 的统一编程模型和强大的性能使其成为大数据分析、实时流处理和机器学习等领域的重要工具。

Spark部署

Spark 开篇

Name

Owner

Updated At

Login

Avatar URL

描述

链接

背景图

password

icon

date

type

Property

slug

status

title

summary

Profile

Page

Newsletter

表格

在python中，由于大部分编译器中都默认设置了GIL机制，GIL锁的的存在就是为了防止多线程并发执行机器码的互斥锁(mutex)（为了确保线程运行安全）。

进程

python基础

线程

Python进程、线程、协程

Anjhon

十大词类

pandas

Holt-Winters

预测模型

指数平滑

英语

博客搭建

线性回归

逻辑回归

logistic

分类算法

Excel

项目排期

支持向量机

K近邻

贝叶斯

朴素贝叶斯

Bayesian

集成学习

岸见一郎

古贺史健

心理学

成长

斯科特派克

语法

回归算法

损失函数

正则化

优化函数

向量矩阵

bagging

boosting

虚拟环境

决策树

C4.5

CART

树模型

Adaboost

GBDT

XGBoost

ARIMA

时序模型

聚类

optics

GitHub

Notion

插件

GitHub Desktop

代码冲突

Vscode

豆瓣读书

豆瓣电影

戒烟

随便一说

进度条

notion

Alfred

Mac软件

效率提升

幸福感

爬虫

蜘蛛

Selenium

Scrapy

词根词缀

记单词

Blog

办公

自动化

python

python-docx

Word

评分

熵权法

层次分析法

评分算法

对话

教育

社交

阅读

工具

ChatGPT

伦理

简悦

阅读插件

吐槽

AI写作

摄影