解决dinky0.7.4安装使用报FlinkChainedProgram类NoClassDefFoundError的问题
0x00 生态版本
flink
dinky
hdfs
1.17.1
0.7.4
3.1.1
0x01 报错信息
安装Dinky0.7.4的时候，报Caused by: java.lang.NoClassDefFoundError: org/apache/flink/table/planner/plan/optimize/program/FlinkChainedProgram的错误，具体错误细节参考下面日志详情。
我是2023-10-16安装的dinky0.7.4的版本，由于安装过程报错日志没有保留下来，因此使用了该文中的日志：安装使用dinky0.7不成功，报错如下。说是缺少flink依赖包。请问缺少什么flink依赖包？。
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889[d ...
解决dinky0.7.4安装使用过程报ArrayStoreException异常的问题
0x00 生态版本
flink
dinky
hdfs
1.17.1
0.7.4
3.1.1
0x01 报错信息
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051061071081091101112023-10-16 17:53:35,238 WARN org.apache.flink.client.deployment.application.ApplicationDispatcherBootstrap [] - Application failed unexpectedly: java.util.concurrent.CompletionException: org.apache.flink.clie ...
解决dinky0.7.4部署安装过程中出现的8个异常问题
0x00 生态版本
flink
dinky
hdfs
1.17.1
0.7.4
3.1.1
0x01 问题列表
1.Flink on Yarn HA高可用,配置hdfs依赖,无法识别HDFS高可用访问地址别名，在Perjob和application模式，提交任务，出现异常信息
解决办法：
方案一
升级 Dinky 至 0.6.2 及后续版本。 详见：https://github.com/DataLinkDC/dlink/issues/310
我的版本是0.7.4，依然报错，说明此方法无效。
方案二
添加HADOOP_HOME环境变量，修改 /etc/profile
1export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
USDP环境中，通过修改/srv/.service_env文件来做修改。不过，此文件要做修改，最后的echo ${SERVICE_BIN}要注释掉。并且需要修改/srv/.set_profile。
/srv/.service_env文件内容：
12345 ...
解决dinky0.7.4在Flink on Yarn模式中报TimelineUtils类NoClassDefFoundError的问题
0x00 生态版本
flink
dinky
hdfs
1.17.1
0.7.4
3.1.1
0x01 报错信息
在进行Flink on yarn 集群配置的时候，配置好点击测试，dinky的UI界面会报两个错，这点dinky做的比较好，错误提示很明显，就算不翻日志也能知道问题：
12345第一个错误：java.lang.ClassNotFoundException: javax.ws.rs.ext.MessageBodyReader第二个错误：Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.yarn.util.timeline.TimelineUtils
报错截图如下：
完整的配置如下：
错误细节信息可以详见dinky的日志：
123456789101112131415161718192021222324252627282930313233343536373839404 ...
Flink 报错：NoSuchMethodError org.apache.commons.cli.CommandLine.hasOption
0x00 flink版本
flink发行版：1.17.1
0x01 报错信息
运行Flink Yarn模式的会话部署模式时，程序报错，具体信息如下：
12345678910111213141516171819202122232425[hadoop@hadoop001 flink]$ bin/yarn-session.sh -nm test -d... ...[hadoop@hadoop001 flink]$ bin/flink run -s test -c org.apache.flink.examples.java.wordcount.WordCount examples/batch/WordCount.jarSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/usdp-srv/srv/udp/2.0.0.0/flink/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.cl ...
Flink 报错：Could not complete the operation. Number of retries has been exhausted
0x00 flink版本
flink发行版：1.17.1
0x01 报错信息
通过dinky提交flink任务到flink yarn 集群时，报下面错误：
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140[dlink] 2023-10-18 17:04:13 CST INFO org.apache.flink.yarn.YarnClusterDescriptor 1260 startAppMaster - YARN a ...
Flink 报错 No TaskExecutor registered under container_xx
运行Flink程序报错，具体信息如下：
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051org.apache.flink.runtime.resourcemanager.exceptions.UnknownTaskExecutorException: No TaskExecutor registered under container_1603071676168_0204_01_000002. at org.apache.flink.runtime.resourcemanager.ResourceManager.requestTaskManagerInfo(ResourceManager.java:583) at sun.reflect.GeneratedMethodAccessor41.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke ...
USDP环境中flink由1.13升级为1.17
0x00. Flink lib 包全貌
0.1 flink1.17 自带的jar包
12345678910111213-rw-r--r-- 1 501 games 196491 5月 19 18:56 flink-cep-1.17.1.jar-rw-r--r-- 1 501 games 542620 5月 19 18:59 flink-connector-files-1.17.1.jar-rw-r--r-- 1 501 games 102472 5月 19 19:02 flink-csv-1.17.1.jar-rw-r--r-- 1 501 games 135975541 5月 19 19:13 flink-dist-1.17.1.jar-rw-r--r-- 1 501 games 180248 5月 19 19:02 flink-json-1.17.1.jar-rw-r--r-- 1 501 games 21043319 5月 19 19:12 flink-scala_2.12-1.17.1.jar-rw-r--r-- 1 501 games ...
linux集群相同目录文件差异比较脚本
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778#!/bin/bashecho "######################################"echo "检测多台服务器指定目录下的文件一致性"echo "#####################################"#通过对比两台服务器上文件的md5值，达到检测一致性的目的if [ $# -lt 1 ]then echo "请输入需要比较的文件目录或者文件" exitfidir=$1# 清空之前的文件夹n_match=/tmp/xmatch/rm -rf /tmp/xmatch/*mkdir -p $n_match# 遍历集群所有机器hosts=(hadoop001 had ...