类别:Python / 日期:2019-12-02 / 浏览:86 / 评论:0

spark能跑Python么?

spark是能够跑Python顺序的。python编写好的算法,或许扩大库的,比方sklearn都能够在spark上跑。直接运用spark的mllib也是能够的,大部分算法都有。

Spark 是一个通用引擎,可用它来完成林林总总的运算,包含 SQL 查询、文本处理、机械进修等。

本次试验是搭有spark环境的linux下跑的,spark版本为1.6.1,相当于在在spark当地实行,spark文件放在/opt/moudles/spark-1.6.1/(代码中会看到)

编写python测试顺序

#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#设置环境变量并导入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf
appName ="spark_1" #应用顺序称号
master= "spark://hadoop01:7077"#hadoop01为主节点hostname,请换成本身的主节点主机称号
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")

实行python顺序

实行以下敕令

python test.py

实行与效果离别以下图所示:

以上就是spark能跑Python么的细致内容,更多请关注ki4网别的相干文章!

打赏

感谢您的赞助~

打开支付宝扫一扫,即可进行扫码打赏哦~

版权声明 : 本文未使用任何知识共享协议授权,您可以任何形式自由转载或使用。

 可能感兴趣的文章

评论区

发表评论 / 取消回复

必填

选填

选填

◎欢迎讨论,请在这里发表您的看法及观点。