pycharm连接虚拟机中的spark

Posted 2023-03-30 wyju

1.打开pycharm

2.解压hadoop，解压到windows下面，切记不要有中文路径

3.解压spark，解压到windows下面，切记不要有中文路径

4. 把haoop，sprk对应的环境变量配置到pycharm中

4.1新建一个项目

4.2在项目中新建一个python文件

4.3把hadoop添加到pycharm中

HADOOP_HOME

4.4winutils.exe 插件放到hadoop/bin下面

4.5把spark添加到pycharm中

SPARK_HOME、PYTHONPATH

5.安装插件

6.测试

6.1把以下代码放到我们4.2步哪里新建的testspark.py文件中

import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("WordCount").getOrCreate()
spark.sparkContext.textFile("file:///D:/ruanjian/spark/spark-2.4.6-bin-hadoop2.7/README.md")\\
        .flatMap(lambda x: x.split(' '))\\
        .map(lambda x: (x, 1))\\
        .reduceByKey(lambda x, y: x + y)\\
        .foreach(print)

注意注意注意

6.2 安装pyspark和findspark

6.3测试

window系统下的pycharm对虚拟机中的Ubuntu系统操作MySQL数据库

window系统下的pycharm对虚拟机中的Ubuntu系统操作MySQL数据库，程序员和数据库的爱情故事

问题：程序员和数据库的爱情故事；程序为了追一个叫MySQL数据库的姑娘，先苦练功夫，自己模拟泡妹过程积累经验，于是想到一个解决方法；【解决虚拟机跑需要连接数据库的程序卡的问题，通过在物理机Windows系统的pycharm连接虚拟机Ubuntu的 数据库】

　　1. 想法：程序员首先在自己家（Windows系统下中的pycharm程序），连接自己家中卧室（虚拟机中的Ubuntu）的美女模型（MySQL数据库）；

　　2. 准备工作：泡妹子想要更漂亮的 自己也需要升级，曾经10w的money就跟你走了，（python2.7是可以直接通过在pycharm安装MySQL模块连接Ubuntu的MySQL数据库）现在呢？想想就好了，所以程序员也给自己升级（在Windows系统下的pycharm安装python3.*版本安装pyMySQL包）——》【怎么安装pyMySQL包】

　　【

　　　　2.1：pycharm软件更换pip默认安装源为国内安装源（之前有发表的文章，点击链接可查看如何更换）：https://www.cnblogs.com/yblackd/p/11717186.html

　　　　2.2：pycharm安装pyMySQL包（之前有发表的文章，点击链接可查看如何更换）：https://www.cnblogs.com/yblackd/p/11717240.html

　　】

 　　3.开始练习泡妹子：

　　　　3.1 查看妹子的 位置（（虚拟机中的Ubuntu）的IP地址）：在虚拟机终端中——>>ifconfig，找到虚拟机IP

　　　　3.2 查看能否和妹子聊天，妹子是否理你：

 1 import pymysql
 2 
 3 # 创建连接对象，host:Ubuntu IP地址（卧室地址），port:数据库端口(默认为3306)【卧室门牌号】，user：登录mysql的用户名【你的 身份，告诉妹子你是谁】， password：登录数据库的密码【身份令牌，妹子要对你进行安全验证】， charset：数据库编码格式
 4 conn = pymysql.connect(host="192.168.137.128", port=3306, user="root", password="mysql", charset="utf8")
 5 
 6 # 创建游标对象
 7 cur = conn.cursor()
 8 # 构建你想要执行的sql语句
 9 sql = "create database jing_dong charset=utf8;"
10 # 返回一个你的SQL语句对数据库的影响数量
11 count = cur.execute(sql)
12 print(info)
13 # 提交命令
14 conn.commit()
15 
16 # 关闭连接
17 cur.close()
18 conn.close()

 

3.3 查看结果

　　你的命令是否得到想要的 结果【通过你和妹子模型聊天是否成功撩到手】，如果撩到手，就可以准备去撩真人妹子了【连接不同的数据库，IP地址更换】