湖仓流批.docx

《湖仓流批.docx》由会员分享，可在线阅读，更多相关《湖仓流批.docx（11页珍藏版）》请在第一文库网上搜索。

1、f1ink相关f1ink环境配置添加jar至IJIib中f1ink-1.13.6$IS-ItrhnIib/tota1335M-rw-r-r-1117.4M2。21年5月7日f1tnk-shaded-zookeeper-3.4.14.jar-rw-r-r118e24K2。22年1月7日1og4j-s1f4j-imp1-2.17.1.jar-rw-r-r-1e191.8M2023年1月7日1og4j-core-2.17.1.jar-rw-r-r11100295K2。22年1月7日1og4j-ap1-2.17.1.jar-rw-r-r111204K2。22年1月13日1og4j-1.2-api-2.

2、17.1.jar-rw-r-r-11001145K2023年2月4日f1ink-json-1.13.6.jar-rw-r-r11081891K2023年2月4日f1tnk-csv-1.13.6.jar-rw-r-r1eeoee34M2023年2月4日f1tnk-tab1e_2.12-1.13.6.jar-rw-r-r11e37M2023年2月4日f1ink-tab1e-b1tnk-2.12-1.13.6.jar-rw-r-r-111102M2023年2月4日mnk-dtst_2.121.13.6.1ar-rw-r-r-1110022M2023年4月26日f1tnk-sq1-connector-

3、mysq1-cdc-2.2.1.jar-rw-r-r-1eeie244K3月2日2：21f1ink-connector-jdbc_2.12-1.13.6.jar-rw-r-r11ie2.4M3月2H20mysq1-connector-java-8.25.jar-rw-r-r1101003.6M3月2H21：1f1tnk-sq1-connector-kafka_2.12-1.13.6.jar-rw-r-r111627M3月3日69：58f1ink-sq1-connector-e1asttcsearch7_2.12-1.13.6.jar-rw-r-r-111050M3月5日8：35hudt-f1t

4、nk1.13-bund1e-.12.jar-rw-r-r-11010093.7M3月18日19：41f1ink-sq1-avro-1.13.6.jar-rw-r-r-1e1097.4M3月19B15：49f1tnk-connector-htve-2.12-1.13.6.jar-rw-r-r-1e1G839M3月19H15：58hive-exec-3.1.2.jar-rw-r-r-11816307K3月19015：58Itbfb303-6.9.3.jar修改配置文件conf/f1ink-conf.yam1rootn90-200f1ink-1.13.6#grep-Ev八$|#，conf/f1ink

5、-conf.yam1jobmanager.rpc.address:1oca1hostjObmanager.rpc.port:6123jObmanager.memory.process.size:2600mtaskmanager.memory.process.size:2728mtaskmanager.memory.jvm-metaspace.size:500mtaskmanager.numberfTaskS1ots:8para11e1ism.defau1t:1state.backend:rocksdbstate.checkpoints.dir:hdfs:/n90-200:8020/f1ink-

6、checkpointsstate.backend.incrementa1:truejobmanager.execution.fai1over-strategy:regionc1ass1oader.check-1eaked-c1ass1oader:fa1seexecution.checkpointing.interva1:5000修改配置文件conf/workers,示：如果要更方便看日志，这里可不改，把上面的配置中taskmanager.numberOfTaSkS1otS调高rootn90-200f1ink-1.13.6#catconf/workers1oca1host1oca1host1oc

7、a1host1oca1host修改配置文件conf/sq1_c1inetjnit.confroot0n9O-2OOf1ink-1.13.6#catconf/sq1_c1inetinit.confcreateCATA1OGhive_cata1ogwith(,type,=,hive,hive-version=,3.1.2,z,defau1t-database=defau1t,hive-conf-dir,=,roothiveconf,hadoop-conf-dir=roothadoopetchadoop,)；一一SethteHiVeCata1ogastheCUrrentCata1ogoftheSeS

8、SioCuseCATA1OGhivecata1og;1oadmodu1ehivewith(,hive-version=,3.1.2,);setsq1-c1ient.execution.resu1t-mode=tab1eau;settab1e.dynamic-tabIe-OPtionS.enab1ed=true;-settab1e.exec.sink.not-nu11-enforcer=drop;usesaki1a;修改.bashrc（本地研究可使用该配置文件）配置环境变量，添加如下内容exportHIVE_AUX_JARS_PATH=/root/auxjarshoodie-hadoop-mr-

9、bnd1e.jar,/root/auxjars/hoodie-hive-sync-bund1e.jarexportJAVAHOME=optjava/jdk1.8.0_102exportH工VE1HoME=$HOME/hiveexportHADOOP_HOME=$HOME/hadoopexportHADOOPC1ASSPATH=$HADOOP_HOME/bin/hadoopc1asspathexportPATH=$HADOOP_HOME/bin:$HIVE_HOME/bin:$JAVA_HOME/bin:$PATHf1ink启动注意：如果配置和建表中使用了hdfs和metastore,则需要启动

10、hadoop,和hive的相关服务启动集群bin/start-c1uster.shA*cFMCDashboardFrWhed11CanceMOFated1Vmton:1.13.6Commtt:b2oa390#202302*03T14S42201XK)Mmmq:RunrangJobsAvai1ab1eTaskS1ots32Com)taMJotaCdTaskManiQersRunningJob1istFJobManagefStAfiTimeEndmCofnpIotodJob1istJobN*mStartTimeDurafionEndTimereeft-ovecata1ogMkfa,RMukTab2

11、32mOONeet2OZM)3-161647:1548m85mSurtUS1255222OM01616:48:“Ujgjjjjj202381616:47:15(22jj32OC316168:57启动客户端sq1She11,并指定本次初始化文件conf/sq1_c1inet_init.confbin/sq1-c1ient.shembedded-iconf/sq1_c1inet_init.confshe11Nodefn,.environmentspecified.found.Searchingfor,ZrootZf1ink-I.13.6conffrq1*c1nt-defu1ts.yam1.su-r

12、-,.j.;vinitia1izdfrosq1script：fi1e：rootf1ink-1.13.6confsq1.c1int.Init.confCoMiandhistoryfi1epath：/root/.f1ink-sq1-history/-I/-IBETAI11111se1ect*fromdemoCSV；F1inkSQ11_se1ect*fromdemo.csv;_.1+个十十IopI1._1useridusernameI-Jur1ICreatetimeI-1十个.+_十I+1I1IZSI./homeI1677748449259II+1I2IZSI./aboutI1677748449259II+1I3IZS