Hadoop 如何将Apache Spark与SparkContext中的纱线连接起来？_Hadoop_Apache Spark_Yarn

Hadoop 如何将Apache Spark与SparkContext中的纱线连接起来？

hadoop apache-spark

Hadoop 如何将Apache Spark与SparkContext中的纱线连接起来？,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,我使用Eclipse在Java中开发了一个Spark应用程序。到目前为止，我正在使用独立模式，将主机地址配置为“本地[*]”。现在，我想将此应用程序部署到纱线集群上。我找到的唯一官方文件是与在mesos群集或standalone（）中部署的文档不同，SparkContext中没有任何URL可用于主地址。显然，我必须使用行命令在纱线上部署spark 你知道有没有办法在SparkContext中配置主机地址，比如独立模式和mesos模式？实际上有一个URL 确保HADOOP_CONF_DI

我使用Eclipse在Java中开发了一个Spark应用程序。
到目前为止，我正在使用独立模式，将主机地址配置为“本地[*]”。
现在，我想将此应用程序部署到纱线集群上。
我找到的唯一官方文件是

与在mesos群集或standalone（）中部署的文档不同，SparkContext中没有任何URL可用于主地址。
显然，我必须使用行命令在纱线上部署spark

你知道有没有办法在SparkContext中配置主机地址，比如独立模式和mesos模式？

实际上有一个URL

确保

HADOOP_CONF_DIR

或

warn_CONF_DIR

指向包含HADOOP集群（客户端）配置文件的目录。这些配置用于写入HDFS并连接到Thread ResourceManager

您应该至少有

hdfs site.xml

、

warn site.xml

和

core site.xml

文件，用于指定您连接到的Hadoop群集的所有设置和URL

warn site.xml

中的一些属性包括

warn.nodemanager.hostname

和

warn.nodemanager.address

由于地址的默认值为

${spirn.nodemanager.hostname}:0

，因此您可能只需要设置主机名

我对这种设置是新手，也许我的问题很愚蠢。这些xml文件是否对应于HADOOP_CONF_DIR和Thread_CONF_DIR？因为我不知道它们是什么。此外，我必须在java应用程序中保存xml文件，对吗？你有这些文件的例子吗？最后，如何在java代码中调用这些xml文件以获取执行设置。。抱歉，如果我的问题看起来很愚蠢，我不知道你是如何安装hadoop的，但是如果其他人安装了，你应该与他们联系。是的，您需要运行Spark的客户机上的XML文件。它们不必直接出现在Java应用程序中。如果您搜索这些文件，可以在线找到这些文件的示例，或者再次询问Hadoop集群的负责人。这两个“设置”是环境变量，Spark驱动程序会选择它们。XML文件位于这些文件夹中。除了

--master warn

之外，不需要额外的配置。事实上，这个项目只有我一个人。最后一个问题，我必须在哪里执行以下命令才能运行spark应用程序“/bin/spark submit--class path.to.your.class--master warn--deploy mode cluster[options][app options]”？在我的Hadoop集群的masterNode中？同样，我不知道您安装的Spark是如何运行的，但是您应该能够使用Spark客户端二进制文件在任何节点上运行。我认为Hortonworks和Cloudera quickstart虚拟机的最新软件包附带了Spark，并且已经为Thread安装和配置了Spark，顺便说一句，如果您只是想走这条路的话