如何在没有网络的情况下安装mmlspark和lightgbm(一次获取jar,然后配置)

aoyhnmkz  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(1102)

下面给出了使用“spark.jars.repositories”的步骤。我想下载一次下面给出的jar文件,然后在spark集群中配置这些jar文件,pyspark job应该能够“import mmlspark”“from mmlspark.lightgbm import lightgbmranker,lightgbmrankermodel”。请建议我需要遵循哪些步骤来做到这一点。

import os
import json
from pyspark.sql import SparkSession, SQLContext

spark = SparkSession.builder \
        .master("local[1]") \
        .appName("test_mmlspark") \
        .config("spark.driver.memory", "4g") \
        .config("spark.jars.packages", "com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc2") \
        .config("spark.jars.repositories", "https://mmlspark.azureedge.net/maven") \
        .config("spark.driver.maxResultSize", "4g").getOrCreate()

import mmlspark
from mmlspark.lightgbm import LightGBMRanker, LightGBMRankerModel
mmlspark.__spark_package_version__
'1.0.0-rc2'

mmlspark.__file__

 - '/private/var/folders/fk/csksqhw13579cmypwyjsjbcdt9l6b6/T/spark-26ffa18c-2023-4d89-8298-828956229a6d/userFiles-406aec1f-55be-4c44-9394-3fecadc50b70/com.microsoft.ml.spark_mmlspark_2.11-1.0.0-rc2.jar/mmlspark/__init__.py'

       ls -altr
       /private/var/folders/fk/csksqhw13579cmypwyjsjbcdt9l6b6/T/spark-26ffa18c-2023-4d89-8298-828956229a6d/userFiles-406aec1f-55be-4c44-9394-3fecadc50b70/

following jars downloaded

域用户4651855 10月18日20:23 com.microsoft.ml.spark\u mmlspark\u 2.11-1.0.0-rc2.jar
域用户744753 10月18日20:23 org.scalactic\u scalactic\u 2.11-3.0.5.jar
域用户10430376 10月18日20:23 org.scalatest\u scalatest\u 2.11-3.0.5.jar
域用户286389 10月18日20:23 io.spray\u spray-json\u 2.11-1.3.2.jar
域用户199947959 10月18日20:23 com.microsoft.cntk\u cntk-2.4.jar
域用户65752623 10月18日20:23 org.openpnp\u opencv-3.2.0-1.jar
域用户280515 10月18日20:23 com.jcraft\u jsch-0.1.54.jar
域用户12530855 10月18日20:23
com.microsoft.cognitiveservices.speech\u客户端-sdk-1.11.0.jar
域用户767140 10月18日20:23 org.apache.httpcomponents\u httpclient-4.5.6.jar
域用户3232809 10月18日20:23 com.microsoft.ml.lightgbm\u lightgbmlib-2.3.180.jar
域用户4771008 10月18日20:23 com.github.vowpalwabbit\u vw-jni-8.7.0.3.jar
域名用户186743 10月18日20:23 com.linkedin.isolation-forest\u isolation-forest\u 2.4.3\u 2.11-0.3.2.ja
域用户187320 10月18日20:23 org.apache.spark\u spark-avro\u 2.11-2.4.5.jar
域用户4623075 10月18日20:23 org.scala-lang\u scala-reflect-2.11.12.jar
域用户670395 10月18日20:23 org.scala-lang.modules\u scala-xml\u 2.11-1.0.6.jar
域用户326356 10月18日20:23 org.apache.httpcomponents\u httpcore-4.4.10.jar
域用户61829 10月18日20:23 commons-logging_commons-logging-1.2.jar
域用户284184 10月18日20:23 commons-codec\u commons-codec-1.10.jar
域名用户3522616 10月18日20:23 com.chuusai\u shapeless\u 2.11-2.3.2.jar
域用户836479 10月18日20:23 org.testng\u testng-6.8.8.jar
域用户3142 10月18日20:23 org.typelevel\u macro-compat\u 2.11-1.1.1.jar
域名用户281694 10月18日20:23 org.beanshell\u bsh-2.0b4.jar
域用户55585 10月18日20:23 com.beust\u jcommander-1.27.jar
域名用户2777 10月18日20:23 org.spark-project.spark\u unused-1.0.0.jar
参考:https://github.com/azure/mmlspark

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题