启动代码 spark 当地n。 eclipse 从 spark 安装在远程服务器上

我成立了 eclipse 为了 scala, 创建了一个项目 maven 并写了一项简单的任务来计算单词 spark 在 windows. 现在我的 spark+hadoop 安装在服务器上 linux. 我如何运行我的代码 spark 来自群集 eclipse 在群集中 spark /在群集中 linux/?

任何建议。
2021-03-21 添加评论
分享

没有找到相关结果

    已邀请:

    郭文康

    赞同来自:

    事实上，这个答案并不像预期一样简单。

    我将首先做出很多假设 , 你用什么
    sbt

    , 其次，您基于计算机上的计算机工作 linux , 第三，你有两个的最后一件事
    classes

    在你的项目中，让我们说
    RunMe

    和
    Globals

    , 最后假设您要在程序中配置参数。 因此，在可执行文件中的某个地方必须有这样的东西：


    object RunMe {
    
 def main/args: Array[String]/ {
    
 val conf = new SparkConf//
    
 .setMaster/"mesos://master:5050"/ //If you use Mesos, and if your network resolves the hostname master to its IP.
    
 .setAppName/"my-app"/
    
 .set/"spark.executor.memory", "10g"/
    
 val sc = new SparkContext/conf/
    
 val sqlContext = new SQLContext//
    

    
 //your code comes here
    
 }
    
}


    您必须完成的步骤::

    使用root致密项目：


    $ sbt assembly


    向主节点发送作业，这是最有趣的部分。 /支持 , 您的项目中具有以下结构
    target/scala/

    , 你有一个文件
    .jar

    , 符合编译项目/


    $ spark-submit --class RunMe target/scala/app.jar


    请注意，由于我建议该项目有两个或更多类，因此您需要确定要运行的哪个类。 此外，我准备争辩说两种方法
    Yarn

    和
    Mesos

    非常相似。
    2021-03-21 0 0
    分享

    君笑尘

    赞同来自:

    如果您正在开发环境中的项目 Windows 并希望在环境中部署它 Linux, 然后您需要创建可执行文件 JAR 并将其导出到您的主目录 Linux 并在脚本中指定相同 spark /在你的 terminal/. 所有都是因为虚拟机的美 Java. 如果您需要额外的帮助，请告诉我。
    2021-03-21 0 0
    分享

    冰洋

    赞同来自:

    要实现您想要的内容，您将需要：

    首先：

    建造 jar /如果您正在使用 gradle - > fatJar 或者 shadowJar/

    其次：

    生成时在代码中 SparkConf, 您需要指定主要地址， spark.driver.host 和相对的位置 Jar, 有点：


    SparkConf conf = new SparkConf//
    
.setMaster/"spark://SPARK-MASTER-ADDRESS:7077"/
    
.set/"spark.driver.host", "IP Adress of your local machine"/
    
.setJars/new String[]{"path\\to\\your\\jar file.jar"}/
    
.setAppName/"APP-NAME"/;


    第三：

    只需点击右键并运行您的 IDE. 就这样... !
    2021-03-21 0 0
    分享

    莫问

    赞同来自:

    你在寻找什么 - 这是一个应该创建的向导 SparkContext.

    您必须将向导安装为要使用的群集。

    我邀请您阅读编程指南 Spark 或者通过介绍性课程来理解这些基本概念。 Spark不是你可以在一夜之间开始工作的工具，需要一些时间。

    http://spark.apache.org/docs/l ... spark
    2021-03-21 0 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2023, All Rights Reserved