问答详情

怎么用python写spark

300次观看
标签: python spark
老师回答

为什么要使用Python来写Spark

Python写spark我认为唯一的理由就是:你要做数据挖掘,AI相关的工作。因为很多做数挖的他们的基础语言都是python,他们如果重新学scala比较耗时,而且,python他的强大类库是他的优势,很多算法库只有python有。

Win本地编写代码调试

编辑器:PyCharm

Spark:1.6

Python:2.7

Win环境准备

Python的安装

解压python包,在环境变量里面配上bin的路径

Spark的安装

下载spark的bin文件,解压即可,在环境变量配置SPARK_HOME

要可以通过编辑器来安装,如pycharm,查找pyspark库安装即可

Hadoop安装

安装hadoop环境 。在win下面需要winutils.exe;在环境里面配置HADOOP_HOME 即可。

代码示例

# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark import *
import os
print(os.environ['SPARK_HOME'])
print(os.environ['HADOOP_HOME'])
if __name__ == '__main__':
    sc = SparkContext("local[8]")
    rdd = sc.parallelize("hello Pyspark world".split(" "))
    counts = rdd 
        .flatMap(lambda line: line) 
        .map(lambda word: (word, 1)) 
        .reduceByKey(lambda a, b: a + b) 
        .foreach(print)
    sc.stop

python学习网,大量的免费python学习视频,欢迎在线学习!

问题:

from pyspark import *

找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到(可能需要解压py4j)

%PYTHON%Libsite-packages下面去。这样,你的编辑器才能找到。

或者:

配置你的编辑器的环境变量:

PYTHONPATH=F:homespark-1.6.0-bin-hadoop2.6python;F:python2.7Libsite-packages

使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py。

免费直播

    精选课程
    相关推荐
    python中sort()和sorted()使用有什么区别?
    付老师 Python编程

    python中有两种列表排序的方法,即sort() 和sorted() 。这两个方法看起来很像,但是有很大的差别。sort() 修改原列表,永久性排序,无返回值,内存消耗小,而sorted() 保持原列表不变,临时性排序,有返回值,内存消耗大。本文向大家详解这二者使用的区别。

    一、sort() 

    1、定义:python列表的一个内置的排序方法,只是列表的一个方法,只适用于列表;

    2、作用:作用于列表,直接修改原有列表,无返回值;

    3、排序时间:对列表进行永久性排序;

    4、内存消耗:无需保存原对象,节省内存空间。

    5、使用实例:

    list_name = [1, 3, 4, -0.2200222, -4.66]
    list_name.sort()
    print(list_name)

    输出

    [-4.66, -0.2200222, 1, 3, 4]
    原列表的值发生变化,原列表被修改

    二、sorted() 

    1、定义:python内置的一个排序函数,接受一切迭代器,返回一个有序的副本,并且类型总是列表;

    2、作用:作用于任意可迭代的对象,原有列表保持不变,会返回一个排序后的列表。

    3、排序时间:对列表进行临时排序。

    4、内存消耗:返回新对象,所以耗费较多资源。

    5、使用实例:

    list_name = [1, 3, 4, -0.2200222, -4.66]
    list_name_new = sorted(list_name)
    print(list_name)
    print(list_name_new)

    输出

    [1, 3, 4, -0.2200222, -4.66] 原列表
    [-4.66, -0.2200222, 1, 3, 4] 排序后的列表

    相比于sort(),sorted() 使用的范围更为广泛,但是sort()消耗内存比较小,效率也比较高。所以如果不需要保留原列表,sort更有效一点哦~

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司