DW:polybase集群安装配置

Posted 天戈朱

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DW:polybase集群安装配置相关的知识,希望对你有一定的参考价值。

 目录:

  • Prerequisites
  • 集群配置规划
  • 创建域控服务器
  • polybase install
  • firewall config
  • 集群配置
  • 删除计算节点

install Prerequisites


  • Microsoft .NET Framework 4.5
  • Oracle Java SE RunTime Environment (JRE) version 7.51 or higher (64-bit) (Either JRE or Server JRE will work)
  • Minimum memory: 4GB
  • Minimum hard disk space: 2GB
  • TCP/IP connectivity must be enabled
  • SQL Server (starting with 2016)
  • JRE下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
  • sqlserver2016: https://www.microsoft.com/en-us/evalcenter/evaluate-sql-server-2016?i=1
  • ssms2016(SQL Server Management Studio): https://msdn.microsoft.com/en-us/library/mt238290.aspx

集群配置规划:


  • 3台Azure A3 虚拟机(polybase0、polybase1、polybase2),虚拟机在同一虚拟子网
    1. polybase0:域控服务器
    2. polybase1、polybase2 同一域内二台测试机
  • 域帐户: jn\zhushy
  • 说明: 在polybase1、polybase2安装sqlserver2016 with polybase

创建域控服务器


  • polybase 集群要求所有节点的 PolyBase engine 和 polybase DMS 访问使用相同的 domain account
  • 打开server manager Dashboard --> Add Roles and Features
  • Server Roles 项,配置如下:
  • 技术分享
  • 按向导默认安装完毕后,配置域控服务器
  • 技术分享
  • 设置信息如下:
  • 技术分享
  • 安装配置成功后,系统会重启,自动会加入到域,如图:
  • 技术分享
  • 域控服务器不能安装polybase

让其他计算机加入该域


  • 登陆要加入该域的计算机,先更改IP地址,把首选DNS设置成域控服务器的IP地址
  • 然后打开计算机属性,选择更改设置,选择加入域控jn.com,如下图:
  • 技术分享
  • 点击确定,然后输入此台计算机的管理员账户和密码, 后重启计算机后生效

polybase install


  • 启动安装向导,在如下的界面选择"New Standalone SQL Server installation or add features",如图:
  • 技术分享
  • 在执行 feature selection page 时,选择“PolyBase Query Service for External Data
  • 技术分享
  • PolyBase Configuration Page 项,配置如下:
  • 技术分享
  • Server Configuration Page 项,configure the SQL Server PolyBase Engine Service and SQL Server PolyBase Data Movement Service to run under the same account
  • 技术分享
  • 安装完成后,如下
  • 技术分享
  • 技术分享
  • 在上面链接下载的sqlserver2016未集成ssms,需单独安装,通过下面的sql判断是否安装正常
    SELECT SERVERPROPERTY (IsPolybaseInstalled) AS IsPolybaseInstalled
  •  返回“1”则表示安装成功,如下

  • 技术分享

firewall config


  • SQL Server PolyBase setup creates the following firewall rules on the machine
    1. SQL Server PolyBase – Database Engine - <SQLServerInstanceName> (TCP-In)
    2. SQL Server PolyBase – PolyBase Services - <SQLServerInstanceName> (TCP-In)
    3. SQL Server PolyBase - SQL Browser - (UDP-In)
  • To enable the firewall rules
    1. Open the Control Panel
    2. Click System and Security, and click Windows Firewall
    3. click Advanced Settings, and click Inbound rules
    4. Right-click the disabled rule, then click Enable rule
  • 如下图:
  • 技术分享

集群配置


  • 选择polybase1作为headnode
  • Connect to SQL Server on polybase2. Run the stored procedure sp_polybase_join_group.
    -- Enter head node details:   
    -- head node machine name, head node dms control channel port, head node sql server name  
    EXEC sp_polybase_join_group ‘polybase1, 16450, MSSQLSERVER; 
  •  Shutdown the PolyBase engine and restart the PolyBase data movement service

  • 连接到sqlserver on polybase1, 查看集群节点状况,如下: select * from sys.dm_exec_compute_nodes
  • 技术分享

删除计算节点:


  • Connect to the compute node SQL Server (polybase2).
  • Run the stored procedure sp_polybase_leave_group.
    EXEC sp_polybase_leave_group;
  • on polybase2 : Start PolyBase Engine. Restart PolyBase data movement service.
  • Now polybase2 will function as a standalone head node 

以上是关于DW:polybase集群安装配置的主要内容,如果未能解决你的问题,请参考以下文章

带有日期分区的 HdInsight Azure DW Polybase 到 Hive 表 (ORC) 失败

#VSCode保存插件配置并使用 gist 管理代码片段

Hadoop集群(第3期)_VSFTP安装配置

带你从头进行RabbitMQ安装集群搭建镜像队列配置和代码验证

nginx.conf 忽略了 nginx-ingress 配置映射片段

vim代码片段插件ultisnips的使用