南师大数科院省重点实验室集群使用手册

南师大数科院省重点实验室集群使用手册（V1.0）1. 集群的各项配置信息1.1 硬件配置集群共有108个计算节点，4台登陆管理节点，2台I/O节点，1台胖节点，1台GPU节点组成。根据具体情况，会开启部分或全部节点供计算使用。108个计算节点配置如下：a) CPU:2* Intel Xeon 6C X5650 2.66GHzb) Memory:12* 4GB DDR3 LP RDIMMc) Hard Disk: 1* 2.5in SFF Slim-HS 10K 6Gbps 300GB SAS 10K胖节点配置如下：a）CPU:4* Intel Xeon 8C E7-4820 2.0GHzb）Memory:64*8GB DDR3 LP RDIMMc）Hard Disk: 4* 2.5in SFF Slim-HS 10K 6Gbps 300GB SAS 10K1.2 软件配置集群域名：hpc.njnu.edu.cn集群登录IP：211.87.105.233操作系统：Red Hat Enterprise Linux 5.7编译器：Intel C+ Linux 2011.7.256 ，Intel Fortran Linux 2011.7.256数学库：Intel Math Kernel Library 11.0MPI实现：MVAPI2集群管理软件：君富EasyCluster高性能计算集群管理软件V1.6已安装的科学软件：vasp 4.62. 使用指南2.1 如何登录集群？两种方法可以访问集群：(1) 使用ssh client，如ssh secure shell client，启动后连接集群即可，如下图所示：(2) 使用EasyCluster，打开IE浏览器，输入URL：，出现如下界面：注：（1） 首次使用EasyCluster，请按照上述界面提示，下载插件并安装，否则将无法正常浏览EasyCluster。单机界面中黄颜色的“此处”超级链接，即可下载插件（使用IE的windows用户和使用firefox的Linux用户，请根据界面提示下载对应的插件包），下载完成后双击即可开始安装。（2） EasyCluster的帐户系统和服务器（指安装EasyCluster服务器端程序的服务器）操作系统的帐户是一致的。换句话说，用户只需要使用一套用户名和口令就可以登录EasyCluster和服务器的Linux/UNIX操作系统。插件安装完成后，输入帐号和密码，进入EasyCluster系统主界面，如下图所示：版本号退出系统子功能导航主功能导航1、退出系统链接。通过单击该超链接，EasyCluster将清除用户的登录信息，回到登录界面，从而安全的退出EasyCluster系统。在此，我们强烈推荐用户每次退出系统都通过这种方式进行，而不是直接将浏览器关闭。2、主功能导航。此处是EasyCluster全部功能的清单，从图上可以看出，EasyCluster的功能模块主要有提交任务、任务管理、消息管理、待办事宜、记帐信息、控制面板。2.2 如何退出登录？n 使用方法1，即ssh client登录集群的用户，请输入命令“exit”退出登录。然后关闭ssh client软件即可。n 使用方法2，即EasyCluster的用户，请单击主界面中的“退出”超链接退出登录，然后关闭浏览器即可。2.3 如何上传/下载文件？使用ssh client登录上集群之后，使用sftp功能即可上传下载文件。sftp是基于SSH的FTP实现，传输安全稳定。以上述ssh secure shell client软件为例，登录进入集群之后，单击下图1中所示的工具栏按钮，即可打开SFTP的界面（如下图2）：单击这个按钮即可打开SFTP在SFTP的界面中，左侧是本地硬盘的文件浏览界面，右侧是远程服务器上的文件浏览界面，使用“拖拽”的方法即可完成文件的上传和下载。即将文件或文件夹从左侧拖拽到右侧，即可完成文件的上传；将文件从右侧拖拽到左侧，即可完成文件的下载。2.4 如何提交一个普通计算任务？使用EasyCluster提交计算任务。EasyCluster带有一个任务调度系统，在EasyCluster中提交的任务，将根据任务的要求和相应的配置情况，被放入任务排队队列。同时，EasyCluster会根据集群目前的负载情况，自动挑选出满足任务条件的计算节点，将任务放到这些节点中运行。(1) 提交一个普通的计算任务，在EasyCluster左方的主功能导航中，单击【提交任务】，出现如下界面：将这种任务提交表单填写完成，即可提交一个任务，该表单中各字段的含义和填写方法如下：填写项必须填写描述及操作任务名称用来标识任务的文字，建议不要超过8个字符。任务名称的第一个字符不能是数字，且任务名称中不能包含空格。任务类型选择是串行任务还是单机并行任务还是多机并行任务。串行：任务只有一个进程和线程做计算，只会只用一个CPU核；单机并行：在一个节点上采用多线程做并行计算，进程数项目的“最小”、“最大”栏目填写的数字均不得超过一个计算节点上的CPU核总数，否则任务会一直处于等待状态。多机并行：多进程方式做并行计算，特指基于MPI的分布式多进程并行方式。如果选择并行任务，则后续的并行环境将成为必填项。执行程序单击该项的【浏览】按钮将打开对话框供用户选定本次任务的可执行程序。工作目录单击该项的【浏览】按钮将打开对话框供用户选定本次任务的应用程序数据文件所在的子目录。输出目录规定任务的输出信息文件存放的路径。单击该项中【浏览】按钮可弹出对话框供用户选择输出目录。EasyCluster会将任务的“写屏”信息重定向一个输出文件中，该项配置即指定EasyCluster将该输出文件放置到哪个目录下。任务队列选择本次任务所使用的任务队列。任务队列是指用户的任务在哪个队列里排队、运行。队列是用户授权和计算资源的集合体，队列里定义了属于队列的节点机、用户组、并行环境、附属队列以及其它的属性。并行环境（PE）· （并）本项只对并行任务有效。并行环境中定义了MPICH并行软件的操作命令行、包含的节点列表等信息。此项配置将在EasyCluster安装过程中配置完毕，用户无需关心。集群默认的并行环境是mvapi2。进程数· （并）本项只对并行任务有效。指本次并行任务需要多少进程进行计算，必须填写数字。EasyCluster将自动查找满足任务条件的节点并启动程序，如果没有满足任务条件的节点存在，任务将被挂起并排队。“最小”一栏必须填，“最大”一栏不填写的话将默认使用预设的该用户的单任务最大进程数。合并输出EasyCluster任务调度模块在任务运行过程中或结束后会生成该任务的输出文件。输出文件共有四个，格式如下：<jobname>.o<jobid> <jobname>.e<jobid><jobname>.po<jobid> <jobname>.pe<jobid>其中.o和.e两个文件中存放的是任务本身的标准输出信息和标准出错信息；.po和.pe两个文件中存放的是EasyCluster任务调度模块本身的一些调试信息。如果将本项设置选中，表示将.o和.e文件合并，将.po和.pe文件合并，也就是说，输出变成两个文件，不再是四个文件，这样方便阅读。邮件提醒选中“Email地址”左方的复选框表示该任务需要打开邮件提醒功能。在此情况下，Email地址将成为必填项。您还可以选择需要在什么情况下发出提醒，这可以通过勾选下方的“任务启动” 、“任务完成”、“任务挂起”和“任务恢复”四个复选框来完成。未选中“Email地址”左方的复选框表示该项任务不需要邮件提醒功能，此时，Email地址、任务启动、任务完成、任务挂起、任务恢复这几项界面元素的填写内容将被忽略。启动时间单击该项中的【浏览】按钮可弹出日期时间选择对话框。此处供用户选择本次任务的预约启动时间。当预约启动时间达到时，EasyCluster将任务排入任务队列，如此时集群有满足任务条件的计算节点存在时，任务将启动，否则将继续排队。该项不填表示立即将任务排入任务队列。命令行选项本项目前只对并行任务有效。运行并行程序通常都需要一些第三方的软件的支持，如MPICH、LAM等。本项内容指的是传递给启动并行程序脚本的参数，如传递给mpirun命令的参数。注意不要和“程序参数”一项混淆。程序参数指的是传递给执行程序的参数（用户选定的执行程序）。程序参数传递给执行程序的参数，如执行程序的输入数据文件。2.5 如何查看正在执行的任务？单击EasyCluster功能菜单【任务管理】->【查询未完成任务】即可查询到正在执行的任务。在输出信息中，任务状态一栏若为“qw”表示任务正在排队；若为“t”或“r”状态表示任务已经开始运行。同时在这些信息中，可以查看到EasyCluster将任务放置到了哪个/哪些节点上执行。2.6 如何修改我的登录密码？单击EasyCluster主功能菜单【控制面板】的子模块【修改登陆密码】，出现如下界面：输入两次新密码即可完成密码的修改。注：EasyCluster的帐户系统和使用ssh client登录系统的帐户是一套系统，也就是说，在EasyCluster中修改了密码之后，下次登录，无论使用ssh client还是EasyCluster，都必须使用修改后的密码方可登录。使用命令行修改密码的步骤为：$ passwd$ mypass后面的mypass是同步帐户的2.7 如何编译一个串行程序？使用集群上的Intel编译器可以编译一个程序。如编译一个C程序，使用命令行：icc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个C+程序，使用命令行：icpc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个Fortran程序（77或90均可），使用命令行：ifort -o <生成的可执行文件的名字，自己定义> <源文件列表>2.8 如何编译一个并行程序？如编译一个C并行程序，使用命令行：mpicc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个C+并行程序，使用命令行：Mpicxx -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个Fortran程序（77或90均可），使用命令行：mpif90 -o <生成的可执行文件的名字，自己定义> <源文件列表>2.9 如何提交Matlab任务？数据准备启动ssh/sftp客户端软件并登录，将*.m文件上传至一个任务目录里。提交Matlab任务有两种方式可以提交matlab任务（1）通过Easycluster界面提交任务首先登录进入Easycluster的普通用户界面，点击提交任务，在右边的提交任务框内填写必要的项目。任务名称：要求最多8个西文字母或数字，且首字符必须是字母。任务类型：串行执行程序：点击“浏览”，在目录中选择/usr/local/Matlab2010a/bin/matlab工作目录：点击“浏览”，在目录中选择前面上传数据文件的目录任务队列：在下拉框选择matlab.q（在胖节点计算），或者math.q（在计算节点计算）点击“高级选项”栏右边的下拉符合并输出：选中程序