无题
智慧供应链系统调研
[TOC]
0x01京东物流一体化供应链
京东物流一体化供应链，舒勇数字化手段实现供应链的落地，建设了供应链的超智脑系统。
京东超大脑供应链系统的建设是分层次的：数字化基础建设，包括长期沉淀的复杂的业务系统，以及支撑业务在网络上执行运作，还有数据中台的建设以及一些配套设施。
超大脑供应链系统在数字化基础建设的基础上，打造了1个算法中台、2个工程服务平台（易卜工程化平台和数字孪生平台），孵化3套系统应用（智能规划塔、智能计划塔、京慧供应链系统，用于对外部客户进行赋能和服务）。
1.1 算法中台
算法中台并不是一个算法组件堆砌的库，它是以业务场景为依托，通过京东内部和外部客户的业务场景的积累，抽象和沉淀形成的算法能力支撑平台。这套算法中台和行业上其他同类产品最重要的异同点是，建立了丰富的供应链行业知识，沉淀出了面向业务和解决具体问题的逻辑方法论和流程步骤。
1.2 易卜工程化平台
一个工程化平台叫易卜，到目前为止，该平台更多的应用于商物的预测。算法中台有了算法策略后，在易卜平台上可以快速地部署和应用，提升算法工程的效能，实现快速的串联成型。易卜平台实现了让整个过程可 ...
无题
[TOC]
0x00 智能大数据平台
智能大数据平台作为风控平台的基础部分，提供大数据存储和计算能力，此外还有系统DevOps相关功能。存储包括HBase、HDFS、ES、Zookeeper、Kafka等，计算包括Spark、Flink、Hive、Tez、Yarn等，调度框架集成了DolphinScheduler。
支持完善的服务器初装时初始化工具；
支持友好的Web浏览器管理控制台；
支持多集群管理；配合设备网络策略可实现多集群间的访问隔离；
支持存储集群与计算集群分离架构；
支持集群节点管理，如节点监控、资源私用率、节点状态等；
支持集群大数据服务的服务监控、组件管理、组件启停、组件扩展及删除，组件滚动重启；
支持丰富的监控模板和视图；
支持大数据服务的扩展；
支持服务配置文件修改；
支持配置文件修改后集群服务自动检测需要重启生效的依赖服务提示；
支持各大数据服务Web UIs便捷访问；
支持服务异常终止时自动拉起；
提供丰富的监控模板，涵盖服务器监控及大数据服务监控等；
支持监控模板规则自定义；
支持通知组、通知对象管理；
支持邮件、微信、钉钉、回调函数等多种告警通知方式；
支 ...
USDP大数据平台中配置ranger加固yarn
为啥要加固yarn的rest API，如果你不知道这个危害，请先跳到[验证开启后Ranger加固的yarn API能否任意用户提交](#0x04 验证开启后Ranger加固的yarn API能否任意用户提交)做一个小实验。
0x00 编译Ranger 2.10
Ranger当前在GitHub中最新版本是2.2.0。安装ranger需要源码安装，官方没有提供编译好的二进制包，同时，对于要使用ranger部署的Hadoop组件，需要考虑到版本之间的兼容性。
官网地址：https://ranger.apache.org/
Git地址：https://github.com/apache/ranger
需要提前安装JDK 8
和Maven 3.6.2，git，python3。
1git clone --branch release-ranger-2.1.0 https://github.com/apache/ranger.git
编译RANGER-2.1.0
12cd /opt/ranger-release-ranger-2.1.0mvn clean compile package inst ...
Zookeeper日志清理
正常运行过程中，ZK会不断地把快照数据和事务日志输出到这两个目录，并且如果没有人为操作的话，ZK自己是不会清理这些文件的，需要管理员来清理，这里介绍4种清理日志的方法。在这4种方法中，推荐使用第一种方法，对于运维人员来说，将日志清理工作独立出来，便于统一管理也更可控。毕竟zk自带的一些工具并不怎么给力，这里是社区反映的两个问题：
https://issues.apache.org/jira/browse/ZOOKEEPER-957
http://zookeeper-user.578899.n2.nabble.com/PurgeTxnLog-td6304244.html
定时任务
也是运维人员最常用的，写一个删除日志脚本，每天定时执行即可：
1234567891011121314#!/bin/bash #snapshot file dirdataDir=/tmp/zookeeper/version-2#tran log dirdataLogDir=/tmp/zookeeper/version-2#zk log dirlogDir=/opt/zookeeper ...
javaCV入门学习笔记(1)
什么是JavaCV
javaCV是java版的计算机视觉领域的库，其通过java cpp方式对ffmpeg、opencv等几十个库做了封装。其可以处理音视频、流媒体、图像处理、深度学习、机器学习、人工智能等。
基础知识
音视频处理大致流程：拉流(采集)——>图像像素数据/音频数据<——>编/解码<——>音/视频帧<——>解封装/封装——>推流
举例：编解码过程（以hevc编码的rtsp转rtmp/flv为例，无音频数据）
12graph LRrtsp流(rtsp流)--拉流解复用--->h256(h256即hevc)--解码--->YUV像素数据--编码--->h264--封装推流--->rtmp/flv
部署TiDB服务安全组需要开放的端口
网络
类型
协议
端口
来源
组件
说明
IPv4
自定义
TCP
2379
0.0.0.0/0
IPv4
HTTP
TCP
80
0.0.0.0/0
IPv4
自定义
TCP
3000
0.0.0.0/0
IPv4
SSH
TCP
22
0.0.0.
IPv4
自定义
TCP
20120
0.0.0.0/0
IPv4
自定义
TCP
3930
0.0.0.0/0
IPv4
自定义
TCP
9115
0.0.0.0/0
IPv4
自定义
TCP
9090
0.0.0.0/0
IPv4
自定义
TCP
8080
0.0.0.0/0
IPv4
自定义
TCP
20170
0.0.0.0/0
IPv4
自定义
TCP
8261
0.0.0.0/0
IPv4
自定义
TCP
9100
0.0.0.0/0
IPv4
自定义
TCP
8234
0.0.0.0/0
IPv4
自定义
TCP
20180
0.0.0.0/0
IPv4
自定义
TCP
20292
0.0.0.0/ ...
Python3环境下PSSH报错缺少version模块
PSSH – 异步并行的ssh库，官方镜像版本最新为2.3.1，不支持python3.2以上的版本。
For me, who is using python3.7 had following trouble
1234567891011[root@cyhl-UC-prd1 pssh-2.3.1]# pssh --versionTraceback (most recent call last): File "/usr/local/bin/pssh", line 4, in <module> __import__('pkg_resources').run_script('pssh==2.3.1', 'pssh') File "/usr/local/lib/python3.7/site-packages/pkg_resources/__init__.py", line 672, in run_script self.require(requires)[0].run ...
Java 8的Nashorn JavaScript引擎介绍
本文我们来介绍一下Java 8的Nashorn JavaScript引擎。Nashorn是于Java 8中用于取代Rhino（Java 6，Java 7）的JavaScript引擎。Nashorn完全支持ECMAScript 5.1规范以及一些扩展。与先前的Rhino引擎相比，它有二到十倍的性能提升。本文中将使用各种各样的例子来说明Nashorn的强大功能。
jjs
jjs是个基于Nashorn引擎的命令行工具。你可以通过该工具快速地在Java上运行JavaScript代码，就像是一个REPL。
例如，运行一个hello.js文件：
12$ $JAVA_HOME/bin/jjs hello.jsHello World
或者，你还可以直接运行代码：
123$ $JAVA_HOME/bin/jjsjjs> print("Hello World")Hello World
在Java中调用Nashorn引擎
本文专注于在Java中调用Nashorn，所以现在在Java代码中实现简单的HelloWorld：
12ScriptEngine engine = new Scr ...
基于Hadoop-3.1.1_Hive-3.1.2_Spark-3.0.1编译打包Linkis
官方推荐使用 Hadoop-2.7.2、Hive-1.2.1、Spark-2.4.3 和 Scala-2.11.12 对 Linkis 进行编译。
因特殊需要，我们使用Hadoop-3.1.1、Hive-3.1.2、Spark-3.0.1和Scala-2.11.12编译 Linkis。
0x00 前置准备
1.1 环境要求
编译环境要求： 必须 JDK8 以上，Oracle/Sun 和 OpenJDK都支持；maven必须是3.3.3+的版本。
1.2 源码获取
方式1：从github仓库 https://github.com/apache/incubator-linkis 获取项目的源代码。
方式2：从linkis的官方下载页面 https://linkis.apache.org/download/main 下载所需版本的源码包。
1.3 修改依赖配置
因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，对mysql-connector-java的依赖项作用域scope默认是tes ...
绘图工具Plantuml使用教程
原文：https://blog.csdn.net/AlbenXie/article/details/122048583
时序图
时序图相对来说是平常比较经常画的一种设计图稿，在这里记录一下plantuml中相关的语法。
基本用法
1234@startumlA -> B: do somethingB -> A: do something@enduml
设置不同的角色
时序图角色可以分为: actor, boundary, control, entity, database，每种角色呈现的图形也是不一样的。
1234567891011121314@startumlactor Foo1boundary Foo2control Foo3entity Foo4database Foo5collections Foo6Foo1 -> Foo2 : To boundaryFoo1 -> Foo3 : To controlFoo1 -> Foo4 : To entityFoo1 -> Foo5 : To databaseFoo1 -> Foo6 : To ...