如何通过pyspark-notebook配置一个简单的pyspark运行环境？

最近公司计算有用到Spark，就简单尝试了解了一下如何快速配置环境。 Docker 安装 安装jupyter/pyspark-notebook docker run -itd --name jpspark -p 8888:8888 -p 4040:4040 -v /home/emperinter/spark:/home/jovyan/work --user root -e NB_GID=100 -e GRANT_SUDO=yes jupyter/pyspark-notebook:latest 说明 8888对应jupyter地址 4040对......

Scrapy 架构

最近有了解Scrapy相关知识，以前初次接触感觉麻烦就转向了request,看来一圈都有点懵逼，后来找到了架构图就基本理解了整个运作逻辑。 组件 组件 说明 Engine引擎(大总管) 用来处理整个系统的数据流处理，触发事务，是整个框架的核心。 Item 项目 它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。 Scheduler 调度器 用来接受引擎发过来的请求并加入队列中，并在引......

如何通过Gradle在项目中配置Log4j ?

最近想尝试在通过Gradle配置Log4j,运行后并未有相关日志输出以及任何报错或警告。找了一圈感觉总少一个步骤，后续尝试配置出来了，感觉主要是配置以及相关java文件路径这块很多教程都未提及。 Gradle 配置添加依赖 dependencies { implementation 'org.apache.logging.log4j:log4j-api:2.19.0' implementation 'org.apache.logging.log4j:log4j-core:2.19.0' } ......