关于H2O集群的部署方式

1、前期实践

2、集群部署实践

2.1 Centos环境下kubernetes的快速部署请参考博文：Yum安装Kubernetes（k8s）；

2.2 k8s安装完成后，将H2O压缩包上传至centos相关文件夹下，进行解压缩；

2.3 编写flatfile进行集群广播，需在每个h2o节点上传flatfile.txt文件；

2.4  访问master节点的 http://ip:54321 ，查看集群状态（admin-cluster state）如下：

 3、结论

1、前期实践

根据官网指导的多播、fllatfile两种方式可以起多节点部署h2o框架，经实践，仅仅单纯的部署，只能找到本机自身的节点信息，同网络内的其他节点无法自动加入，形成集群（与nginx无关）；

2、集群部署实践

官网还提示了Hadoop、K8S的分布式部署方式，本文采用K8S集群来辅助进行分布式部署，由于K8S本身有master、node的概念，节点的寻找及加入问题得到解决，然后再启动H2O服务；

2.1 Centos环境下kubernetes的快速部署请参考博文：Yum安装Kubernetes（k8s）；

2.2 k8s安装完成后，将H2O压缩包上传至centos相关文件夹下，进行解压缩；

      最新H2O下载地址：官网下载

      上传至/home 文件夹下： rz  h2o.zip

      解压缩命令：unzip  h2o.zip

      切换文件目录： cd  h2o

2.3 编写flatfile进行集群广播，需在每个h3o节点上传flatfile.txt文件；

        内容如下，然后wq!保存：

        master:54321

        node1:54321

        node2:54321

        作业开始前，使用如下命令启动h2o，节点自动加入，形成集群；

         java  -Xmx4g  -jar  h2o.jar  -flatfile flatfile.txt  -name MyCluster

         -Xmx4g  ：表示占用4g的内存空间

         -name  ： 写明要建立的集群名称参数，此处是MyCluster

         master启动时：

         node1启动时，自动加入集群，此时集群中包含2个节点：

         node2启动时，自动加入集群，此时集群中包含3个节点：

 2.4  访问master节点的 http://ip:54321 ，查看集群状态（admin-cluster state）如下：

 3、结论

         使用k8s辅助进行分布式部署h2o自动机器学习服务框架，那么h2o服务的实际性能，是否即是K8S的性能测试，因为实际的资源调度是由K8S来进行统筹分发，那实际的性能优化，主要侧重在K8S方面？

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！