《HUE操作文档手册.docx》由会员分享,可在线阅读,更多相关《HUE操作文档手册.docx(11页珍藏版)》请在第一文库网上搜索。
1、HUE操作文档手册目录(一)CM平台告警处理错误!未定义书签。(二)Hadoop集群开启、中断、关闭.错误!未定义书签。(三)数据积压、异常中断等常见异常情况处理.错误!未定义书签。1. HUE概述Hue(HadoopUserEXPerienCe)是一个开源的APaCheHadoopU1系统,由C1ouderaDesktop演化而来,最后C1oudera公司将其贡献给Apache基金会的HadooP社区,它是基于PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MaPRedUCeJo
2、b,执行HiVe的SQ1语句,浏览HBaSe数据库等等。其核心功能有: SQ1编辑器,支持Hive,Impa1a,MySQ1,Orac1e,PostgreSQ1,SparkSQUSo1rSQ1,Phoenix.搜索引擎SoIr的各种图表 Spark和Hadoop的友好界面支持 支持调度系统APaCheOoZie,可进行WOrkfIoW的编辑、查看HUE提供的这些功能相比Hadoop生态各组件提供的界面更加友好,但是一些需要debug的场景可能还是需要使用原生系统才能更加深入的找到错误的原因。HUE中查看OoZieworkf1ow时,也可以很方便的看到整个Workf1oW的DAG图,不过在最新版
3、本中已经将DAG图去掉了,只能看到workf1Ow中的action列表和他们之间的跳转关系,想要看DAG图的仍然可以使用oozie原生的界面系统查看。2. HUE登录如果在集群上添加了HUE,首先找到部署HUE的服务器地址,一般的HUE的登录端口是8888或者8889,例:http:/192.168.6.64:8888/accounts/1ogin/?next=/使用管理员账户或创建一个新的用户,然后使用新的用户进行登录,登录界面如下图:192.1686.648888ae-e3t1vtt-WiM.BamE恰S13. HDFS文件浏览HUE可以很方便的浏览HDFS中的目录和文件,并且进行文件和目
4、录的创建、复制、删除、下载以及修改权限等操作。HDFS实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(Owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。但,用户身份机制对HDFS本身来说只是外部特性。HDFS并不提供创建用户身份、创建组或处理用户凭证等功能。使用HUE访问HDFS时,HDFS简单的将HUE上的用户名和组的名称进行权限的校验。3.1. 文件浏览QOMySdNooVUuB*E9心?.用户如4)fi检直当前配置KeX怪C2于eptc.7.erunc1MSr4-scAfntrot%141h*HJ
5、fSfAVfft-W2M.已与立E恰.2 .点击管理HDFS进入,HDFS文件浏览界面,首先进入的是该用户HDFS的HoME目录,如下图所示。首文件浏览器历史记录STrash主页userhue/名掷ASiUmudera_fnnagcfahe-meUstorecanaryhuehuedrwxrwxrwxSeptofnbor13,20170227PM UgMhuehuedrwx-H20171041AMB1SnPUShMhuodrmcxrxAugust16.20171053AM oohuehuewxrwxrwxFerfy10.2017040PMBBOOZh00。huehuedrmrxrxMarch2
6、8.201706:14PMOoriMMIhuehuedfww-xrxMrc10.20171144AM匚口test65字huehue-w-r-February10.2017MS2PMShow45的8M目J51of1M4441H3.如果权限足够,还可以浏览其它的HDFS的文件目录,例如切换到HDFS的“根”目录如下图所示。好UeQuMyFdMortvMBcownmvWockf1owtYSC1tyYff*O*历史记录STrash台文件浏览器。好V*峰至&段信*35zIShow45的13项日3.2. 创建文件或目录1点击“新建”选项创建一个文件或者目录,下面将创建一个目录,如下图所示:h文件浏览题IM
7、t女性合*号至也鼓的V1fVO1Mt*#主51/userhuZ.(3如8WaSUeUwrIf1Dete.MHuperyodfwxwxrwxAUt23.20170317PM.huthudrwxwxrwxAugmt16.20171032AM.TrmhKuehueJrwxrwxrwxSepe*1320170802AM.c1oudrJfnanAgefhNjmctAS1oce-CAnaryhuhuedrwxrwrwxSePtefZ1320170237PM.tgif*ghuehuedrwxMf13.20171041AM.campusKmhuwxr*xrxAugurtU.20171033AM.ooriehu
8、ehuedrwxrwxrwxFebruary10.2017(M50PM.Mzto-ooxihuehuednvxrxr.M*628,201?014PM.OODe-IMfhuehuedrwj-xrxMatch10.201711.44AMtw85字节huehue4W-C-Fb(uvy10201704&2PMSMw45,的84日J3I3E1of1用”阳2.输入目录名称,点击“Create”进行目录创建。创建目录BSSf?h8jw!3.如下图所示,己创建了一个hue.test的目录。h文件浏览器!索文片名fv。平历史记录QTrash主页userhue/X琢StteUrDMJbdh外叩OUPdfwwwxr
9、wxAUgUsI23.20170317PM.hueIhmdfwcrwxrwxSWE13.20170247PM.TrashhuehuedrwwmcrwxSeptomte13.20170802AMr1.uMrn.na|HihivU“smaavahuehueww*crwxSepeWMc13.20170247PM.tgnghuhuefcwx-Ju1y13.20171041AMC8puhuehuedrwxrxrxAuguei16.20171033AMhu.tsthuehuedrwrxrxSeptemiMr13.20170247PMOOriehuehuedfwxrmfwxFrary102017M50PMo
10、oh-oox1huehuedrwnr-xr-xMarch28.2017OG14PMmhuehuedrww-xfxMarch10.20171144AMDtMt85R5huehuewFaXUafy1020170452PMShow45的98目3.3. 上传文件1 .往目录中上传文件(上传文件到HDFS),点击“上传”选项,可以看到支持的上传文件类型(文本文件,zip,tgz等),点击“文件”出现如下图所示的界面(刚刚我们所在的界面是userhuehujtest),因此上传的文件将传到/user/hue/hue_test下。HUS.QuefyEditOfs“DataBweWwk1krwsvSecuri
11、tyv苜文件浏览罂!友文忤WH林至%0*fV。乎口文件.主页I.(user/huehue.testOZTgzjBz2Se名3SiM:UtH纲农用DMhuehudrwrwxwxS4mWm13.20170247PMhuedr*xr-xf-xS8E*约电,Jia3 .OneDnve4 .如下图所示,亦可将文件上传至HDFS(HDFS文件如何跟hive表关联起来并用SQ1查询将在下文介绍)。HueQueryEdiUM%vDsUBrowsetsvWovkttows*SecurityvS文件浏览器。凄在“,楼至3&悯Xff*。虾*vSJ5userhue/he.testz历史记M0Trash名樨aSizeUserIf1COHDate3huehuedrwwwxr*September13.201702.47PM.huehuedrwxrxrxSeptombcc13.20170302PMDitt136KBhuehue-w-Sep1embef112017030