sparkstream（sparkstreaming的基本输入源）

本文目录一览：

• 1、spark的dstream的数据不支持入oracle么
• 2、hadoop,storm和spark的区别,比较

spark的dstream的数据不支持入oracle么

首先查看客户端的tnsnames.ora文件，找到数据库连接的描述中，sid= 或service_name=之后的名称，假设这个名称是orcl。

sparkContext.setCheckpointDir()Streaming里面的 checkpoint 又有其特殊的重要性。除存储某个 DStream 的数据外，还存储了环境相关信息。数据的 checkpoint 的目的同上，为了切断过长的依赖，使后面的操作的依赖更可口。

通常向外部系统写数据需要一个Connection对象（通过它与外部服务器交互）。程序员可能会想当然地在spark上创建一个connection对象， 然后在spark线程里用这个对象来存RDD。

可执行命令部分：此部分包含在关键字BEGIN和END之间，这是一个强制性部分。由程序的可执行oracle语句组成。应该有至少一个可执行代码行，可以只是一个NULL命令，表示不执行任何操作。

在输入数据集上定义一组转换。 调用action，用以将转换后的数据集保存到持久存储上，或者把结果返回到驱动程序的本地内存。 运行本地计算，本地计算处理分布式计算的结果。

hadoop,storm和spark的区别,比较

实际流计算和批处理系统没有本质的区别，像storm的trident也有批概念，而mapreduce可以将每次运算的数据集缩小(比如几分钟启动一次)，facebook的puma就是基于hadoop做的流计算系统。

Storm用于处理高速、大型数据流的分布式实时计算系统。为Hadoop添加了可靠的实时数据处理功能 Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复查询，此外还融合数据仓库，流处理和图形计算等多种计算范式。

Storm由java和clojure写成，storm的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以storm的速度相比较hadoop非常快。hadoop是实现了mapreduce的思想，将数据切片计算来处理大量的离线数据数据。

Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。

如果题主的hadoop指的是mapreduce的话。Storm说白了就是一个跑起来不会停的mr，所以适合拿来做流式实时计算，和mr不是一个应用场景，不用比较。spark相比mr最大的优势在于快速启动，mr是慢启动的。

spark和hadoop的区别就是原理以及数据的存储和处理等。Hadoop一个作业称为一个Job，Job里面分为Map Task和Reduce Task阶段，每个Task都在自己的进程中运行，当Task结束时，进程也会随之结束。