如何在windows下安装配置pyspark notebook

Posted 2023-04-25

参考技术A 您好，感谢您选择惠普产品。 惠普pavilion15是一个系列总称，有多款配置，不同配置安装windows7系统操作方法不完全一致。 预装windows8系统更换windows7，建议您先进入Bios中修改引导模式，windows8系统与windows7系统引导模式不完全一致，操作方法如下：开机出现hp或compaq图标时连续点击F10按钮进入BIOS中，再选择systemconfiguration栏目下bootoptions选项中，把LegacySupport栏目选择为Enable；SecureBoot选项Disable，完成设置后按F10按钮选择yes保存设置退出。重启开机时，留意屏幕提示，若有数值加ENTER字样，把括号内的信息或数值输入后直接按回车，输入时没有其他提示，这个操作可以确保之前BIOS中LegacySupport选项的运行。优盘引导需要选中legacybootorder栏目下，光标移动到USBharddisk选项后，按F6调整到首选项，完成后按F10确认，再次按F10选择yes保存退出。pavilion15系列笔记本大多左侧设置了USB2.0接口，引导时建议使用左侧USB2.0接口。 笔记本使用的芯片组对应的串口硬盘驱动windows7系统没有包含，需要安装windows7系统过程中通过优盘加载SATA硬盘驱动，才能顺畅稳定运行的。硬盘驱动下载链接如下：如果笔记本使用的是IntelHM7系列芯片硬盘驱动如...

如何在windows安装部署spark 求大神们的告知

参考技术A （1）安装JDK
相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。
安装过程十分简单，运行二进制可执行文件即可，程序会自动配置环境变量。
（2）安装Cygwin
Cygwin是在Windows平台下模拟Linux环境的一个非常有用的工具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。
1）运行安装程序，选择install from internet。
2）选择网络最好的下载源进行下载。
3）进入Select Packages界面（见图2-2），然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。

另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。
最后需要配置环境变量，依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin目录和Cygwin的usr\bin两个目录。
（3）安装sshd并配置免密码登录
1）双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令，出现如图2-3所示的界面。

2）执行后，提示输入密码，否则会退出该配置，此时输入密码和确认密码，按回车键。最后出现Host configuration finished.Have fun!表示安装成功。
3）输入net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。
注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员身份运行（右击图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。
（4）配置SSH免密码登录
1）执行ssh-keygen命令生成密钥文件，如图2-4所示。

2）执行此命令后，在你的Cygwin\home\用户名路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，通过ssh -version命令查看版本。
3）执行完ssh-keygen命令后，再执行下面命令，生成authorized_keys文件。

cd ~/.ssh/ cp id_dsa.pub authorized_keys

这样就配置好了sshd服务。
（5）配置Hadoop
修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。
（6）配置Spark
修改和配置相关文件与Linux的配置一致，读者可以参照上文Linux中的配置方式，这里不再赘述。
（7）运行Spark
1）Spark的启动与关闭
①在Spark根目录启动Spark。

./sbin/start-all.sh

②关闭Spark。

./sbin/stop-all.sh

2）Hadoop的启动与关闭
①在Hadoop根目录启动Hadoop。

./sbin/start-all.sh

②关闭Hadoop。

./sbin/stop-all.sh

3）检测是否安装成功
正常状态下会出现如下内容。

-bash-4.1# jps 23526 Jps 2127 Master 7396 NameNode 7594 SecondaryNameNode 7681 ResourceManager 1053 DataNode 31935 NodeManager 1405 Worker

如缺少进程请到logs文件夹下查看相应日志，针对具体问题进行解决。