智慧供应链系统调研
[TOC]
0x01京东物流一体化供应链
京东物流一体化供应链，舒勇数字化手段实现供应链的落地，建设了供应链的超智脑系统。
京东超大脑供应链系统的建设是分层次的：数字化基础建设，包括长期沉淀的复杂的业务系统，以及支撑业务在网络上执行运作，还有数据中台的建设以及一些配套设施。
超大脑供应链系统在数字化基础建设的基础上，打造了1个算法中台、2个工程服务平台（易卜工程化平台和数字孪生平台），孵化3套系统应用（智能规划塔、智能计划塔、京慧供应链系统，用于对外部客户进行赋能和服务）。
1.1 算法中台
算法中台并不是一个算法组件堆砌的库，它是以业务场景为依托，通过京东内部和外部客户的业务场景的积累，抽象和沉淀形成的算法能力支撑平台。这套算法中台和行业上其他同类产品最重要的异同点是，建立了丰富的供应链行业知识，沉淀出了面向业务和解决具体问题的逻辑方法论和流程步骤。
1.2 易卜工程化平台
一个工程化平台叫易卜，到目前为止，该平台更多的应用于商物的预测。算法中台有了算法策略后，在易卜平台上可以快速地部署和应用，提升算法工程的效能，实现快速的串联成型。易卜平台实现了让整个过程可视、可配，同时可以把 ...
USDP大数据平台中配置ranger加固yarn
为啥要加固yarn的rest API，如果你不知道这个危害，请先跳到[验证开启后Ranger加固的yarn API能否任意用户提交](#0x04 验证开启后Ranger加固的yarn API能否任意用户提交)做一个小实验。
0x00 编译Ranger 2.10
Ranger当前在GitHub中最新版本是2.2.0。安装ranger需要源码安装，官方没有提供编译好的二进制包，同时，对于要使用ranger部署的Hadoop组件，需要考虑到版本之间的兼容性。
官网地址：https://ranger.apache.org/
Git地址：https://github.com/apache/ranger
需要提前安装JDK 8
和Maven 3.6.2，git，python3。
1git clone --branch release-ranger-2.1.0 https://github.com/apache/ranger.git
编译RANGER-2.1.0
12cd /opt/ranger-release-ranger-2.1.0mvn clean compile package inst ...
Zookeeper日志清理
正常运行过程中，ZK会不断地把快照数据和事务日志输出到这两个目录，并且如果没有人为操作的话，ZK自己是不会清理这些文件的，需要管理员来清理，这里介绍4种清理日志的方法。在这4种方法中，推荐使用第一种方法，对于运维人员来说，将日志清理工作独立出来，便于统一管理也更可控。毕竟zk自带的一些工具并不怎么给力，这里是社区反映的两个问题：
https://issues.apache.org/jira/browse/ZOOKEEPER-957
http://zookeeper-user.578899.n2.nabble.com/PurgeTxnLog-td6304244.html
定时任务
也是运维人员最常用的，写一个删除日志脚本，每天定时执行即可：
1234567891011121314#!/bin/bash #snapshot file dirdataDir=/tmp/zookeeper/version-2#tran log dirdataLogDir=/tmp/zookeeper/version-2#zk log dirlogDir=/opt/zookeeper ...
javaCV入门学习笔记(1)
什么是JavaCV
javaCV是java版的计算机视觉领域的库，其通过java cpp方式对ffmpeg、opencv等几十个库做了封装。其可以处理音视频、流媒体、图像处理、深度学习、机器学习、人工智能等。
基础知识
音视频处理大致流程：拉流(采集)——>图像像素数据/音频数据<——>编/解码<——>音/视频帧<——>解封装/封装——>推流
举例：编解码过程（以hevc编码的rtsp转rtmp/flv为例，无音频数据）
12graph LRrtsp流(rtsp流)--拉流解复用--->h256(h256即hevc)--解码--->YUV像素数据--编码--->h264--封装推流--->rtmp/flv
部署TiDB服务安全组需要开放的端口
网络
类型
协议
端口
来源
组件
说明
IPv4
自定义
TCP
2379
0.0.0.0/0
IPv4
HTTP
TCP
80
0.0.0.0/0
IPv4
自定义
TCP
3000
0.0.0.0/0
IPv4
SSH
TCP
22
0.0.0.
IPv4
自定义
TCP
20120
0.0.0.0/0
IPv4
自定义
TCP
3930
0.0.0.0/0
IPv4
自定义
TCP
9115
0.0.0.0/0
IPv4
自定义
TCP
9090
0.0.0.0/0
IPv4
自定义
TCP
8080
0.0.0.0/0
IPv4
自定义
TCP
20170
0.0.0.0/0
IPv4
自定义
TCP
8261
0.0.0.0/0
IPv4
自定义
TCP
9100
0.0.0.0/0
IPv4
自定义
TCP
8234
0.0.0.0/0
IPv4
自定义
TCP
20180
0.0.0.0/0
IPv4
自定义
TCP
20292
0.0.0.0/ ...
Python3环境下PSSH报错缺少version模块
PSSH – 异步并行的ssh库，官方镜像版本最新为2.3.1，不支持python3.2以上的版本。
For me, who is using python3.7 had following trouble
1234567891011[root@cyhl-UC-prd1 pssh-2.3.1]# pssh --versionTraceback (most recent call last): File "/usr/local/bin/pssh", line 4, in <module> __import__('pkg_resources').run_script('pssh==2.3.1', 'pssh') File "/usr/local/lib/python3.7/site-packages/pkg_resources/__init__.py", line 672, in run_script self.require(requires)[0].run ...
Java 8的Nashorn JavaScript引擎介绍
本文我们来介绍一下Java 8的Nashorn JavaScript引擎。Nashorn是于Java 8中用于取代Rhino（Java 6，Java 7）的JavaScript引擎。Nashorn完全支持ECMAScript 5.1规范以及一些扩展。与先前的Rhino引擎相比，它有二到十倍的性能提升。本文中将使用各种各样的例子来说明Nashorn的强大功能。
jjs
jjs是个基于Nashorn引擎的命令行工具。你可以通过该工具快速地在Java上运行JavaScript代码，就像是一个REPL。
例如，运行一个hello.js文件：
12$ $JAVA_HOME/bin/jjs hello.jsHello World
或者，你还可以直接运行代码：
123$ $JAVA_HOME/bin/jjsjjs> print("Hello World")Hello World
在Java中调用Nashorn引擎
本文专注于在Java中调用Nashorn，所以现在在Java代码中实现简单的HelloWorld：
12ScriptEngine engine = new Scr ...
基于Hadoop-3.1.1_Hive-3.1.2_Spark-3.0.1编译打包Linkis
官方推荐使用 Hadoop-2.7.2、Hive-1.2.1、Spark-2.4.3 和 Scala-2.11.12 对 Linkis 进行编译。
因特殊需要，我们使用Hadoop-3.1.1、Hive-3.1.2、Spark-3.0.1和Scala-2.11.12编译 Linkis。
0x00 前置准备
1.1 环境要求
编译环境要求： 必须 JDK8 以上，Oracle/Sun 和 OpenJDK都支持；maven必须是3.3.3+的版本。
1.2 源码获取
方式1：从github仓库 https://github.com/apache/incubator-linkis 获取项目的源代码。
方式2：从linkis的官方下载页面 https://linkis.apache.org/download/main 下载所需版本的源码包。
1.3 修改依赖配置
因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，对mysql-connector-java的依赖项作用域scope默认是tes ...
绘图工具Plantuml使用教程
原文：https://blog.csdn.net/AlbenXie/article/details/122048583
时序图
时序图相对来说是平常比较经常画的一种设计图稿，在这里记录一下plantuml中相关的语法。
基本用法
1234@startumlA -> B: do somethingB -> A: do something@enduml
设置不同的角色
时序图角色可以分为: actor, boundary, control, entity, database，每种角色呈现的图形也是不一样的。
1234567891011121314@startumlactor Foo1boundary Foo2control Foo3entity Foo4database Foo5collections Foo6Foo1 -> Foo2 : To boundaryFoo1 -> Foo3 : To controlFoo1 -> Foo4 : To entityFoo1 -> Foo5 : To databaseFoo1 -> Foo6 : To ...
修改环境变量错误执行export造成命令不可用的解决方法
出现问题
在公司服务器上安装JDK时，设置环境变量，并将其export，执行source /etc/profile之后，导致所有命令不可用，只能通过全路径来使用命令，比如ls：/bin/ls。
出了问题，想法修复，将错误的环境变量注释掉：
1/usr/bin/vim /etc/profile
将错误的export注释掉后，执行
1source /etc/profile
此时，可能会恢复，也可能不会恢复。如果遇到上述重新编辑也不能恢复的情况，下面讲讲罗列两种解决方案。
解决方案
方法一
直接在linux命令行界面输入如下，然后回车（导入环境变量，以及shell常见的命令的存放地址）
1export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
方法二
如果系统所有命令都不能使用时，还可以使用绝对命令vim打开profile文件
1/bin/vim /etc/profile #或者/usr/bin/vim啥的再PATH中的都行
在系统的配置文件里添加环境变量地址
1expor ...