引导者本文目录一览：
spark日志收集
1、sc.stop()上面的示例代码首先使用Spark的textFile()方法读取日志文件，然后使用map()方法将日志文件的每一行按空格分割成一个数组，得到一个日志记录的RDD。
2、将日志收集到aws的S3存储，通过aws ES实时分析日志、Spark离线日志分析，支持无线扩容。利用logstash output直接到S3存储， 在aws建立好bucket，配置好logstash config文件将日志打入到bucket即可。
3、搜索driver的日志，找到容器名 container_1634207619484_0496_01_000002 和host node3 运行中的flink/spark的日志查看非常容易，因为它们本身都提供了web ui服务。
4、(1)离线日志收集利器：Flume Flume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。
spark包含哪几种模式
1、本地模式 Spark单机运行sparkexecutor，一般用于开发测试。Standalone模式 构建一个由Master+Slave构成sparkexecutor的Spark集群，Spark运行在集群中。Spark on Yarn模式 Spark客户端直接连接Yarn。不需要额外构建Spark集群。
2、Spark中的调度模式主要有两种sparkexecutor：FIFO和FAIR。默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。
3、Spark集群有三种运行模式sparkexecutor：Standalone、Mesos和YARN模式。 现在说Standalone模式。这是最简单的模式，Spark靠自己就能运行这个模式(不依靠其它集群管理工具)。 方法一：手动运行Standalone模式。
4、Spark的部署方式有多种，可以根据实际需求选择适合的部署方式。以下是Spark的几种常见部署方式的简述和拓展：独立集群模式（Standalone Mode）：简述：这是Spark的默认部署方式。
5、Spark的飞控支持如下飞行模式：P模式（定位）：使用GPS模块和视觉系统以实现飞行器精确悬停、智能飞行功能等。
6、local[k]：启动k个executor local[ ]：启动跟cpu数目相同的 executor 上述情况中，local[N]与local[*]相当于用单机的多个线程来模拟spark分布式计算，通常用来检验开发出来的程序逻辑上有没有问题。
