专业技能
- 熟练使用MySql数据库的设计与开发,理解Mysql性能调优、事务、事务隔离、索引结构。
- 具有面向对象思想。扎实的编程功底、有良好的编码规范。具备良好学习、沟通能力及团队协作精神,对工作积极严谨,勇于承担压力。
- 熟练使用IDEA开发环境编程,熟悉Tomcat应用服务器。
- 理解java运行时工作原理,熟悉jvm性能调优,使用jconsole可视化工具和线上虚拟机工具排查线上问题。
- 能够充分利用java特性支持框架与程序库的设计开发。
- 熟悉使用spring+dubbo+zookeeper的分布式微服务架构。
- 有丰富的多线程并发研发经验。
- 熟悉使用Linux系统、丰富的nginx和云服务使用经验。
- 深入使用Redis缓存系统和分布式锁使用、MongoDB Nosql数据库以及Aerospike数据库。
- 掌握使用gradle、maven、git等项目管理工具。
- 了解并使用elasticsearch搜索引擎以及大数据相关平台。
- 了解且使用过k8s docker 容器化部署。
- 深入理解高质量的研发流程,能够输出高质量研发文档。
- 有带领团队的能力以及把控项目风险的经验。
工作经验
同盾科技有限公司 Java资深工程师 2017.09——至今
内容安全文本审核服务2020.05——至今
文本审核服务是内容安全审核系统的子服务,也是最基础的公共服务,对内容审核服务的质量起到决定性作用。凡是在内容生产、内容存储、内容分发或者内容展示的场景,几乎普遍存在违规涉政、色情、暴恐、低俗等内容。此外,网络综艺、网络内容生态、网络游戏、劣迹艺人等也受到网信办的加强管理。内容安全正是对这些内容做合规过滤,有效规避违规风险的一种服务能力。
- 负责内容安全负责内容安全文本审核服务以及平台能力的建设,包括文本预处理、正则库(HyperSacn)、相似库(ES+K-NN)、黑样本、关键词匹配能力。
- 负责内容安全关键词匹配核心算法和业务能力的研发,主要涉及算法Double Array Trie、AC自动机、FlashText、binTrie、bitmap、unicode数组编码,业务能力涵盖跳词检测、同音检测、顺序检测、整词检测等。
- 负责内容安全文本链路架构设计,从分布式网关、合作方路由到跨机房多节点关键词构建等全方位设计。
- 负责内容安全PaaS能力建设,目前已为人民网、新华网、央视网、浙江广电、云南广电等客户提供PaaS服务,上海银联以及招行正在POC阶段。
- 内容安全文本服务当前月调用量超过60亿,召回率达到98%,准确率到达99%,QPS约为2300,RT根据文本长度,10-100字约为7-25ms,100-500字约为18-35ms,为先审后发的用户提供有力的支撑。
- 所用技术栈:springboot+dubbo+zk+es+hyperscan+mybatis+redis+kafka
内容安全图像审核服务 2020.07——至今
图像安全服务同为内容安全服务的子服务,在内容审核中是不可或缺的一部分。现今的互联网,短视频流行,UGC中视频、图像,数量是越来越多,内容也越来越多样,对图像的审核也是各家内容平台不得不考虑的问题。
视频审核本质上是对视频截帧的图像做审核,可视为同一套处理策略中。
- 负责内容安全图像审核服务的研发。主要包括与算法工程对业务的沟通对接、业务字段的合理有效沉淀、多种算法的异步调度和任务编排、执行策略规则集等。
- 负责利用ElasticSearch+K-NN插件的方式,实现图像相似库的建设和向量检索,为图像审核提供保障。
- 负责海外图像文本审核服务以及平台设计和研发,对新加坡、印尼以及北美的客户提供服务。
- 负责图像公网到内网代理能力,充分利用三方云商的带宽到专线带宽的能力,有效降低公网到内网的成本,同时在网络隔离中服务的安全得到保障。
- 目前,内容安全图像服务当月调用量超过10亿,召回率达到96%,准确率98%,除掉下载图片的耗时,图像处理RT约为35-80ms。
- 所用技术栈:springboot+es+mybatis+redis+kafka
内容安全服务平台 --司南2021.10——至今
内容安全服务平台,称之为司南,是一个对内的业务管理平台和用户参数配置平台。司南主要包括算法链路的A/B测试、内容安全文图音视任务的监控、审核任务的重试、文图音视审核服务心跳监控、关键词多节点构建状态监控、内存数据状态监控、内存数据版本监控、任务补偿机制管理、合作方特殊业务能力配置、数据回捞等功能。
- 主要负责该平台从0到1的设计和研发,采用DDD的四层架构模式(主要我想尝试DDD)。
- 负责A/B Test 功能的调研和设计,以及后续的研发,AB任务同步到需要执行的节点,AB数据报表分析。
- 封装SDK,为子模块提供无侵入的业务能力,只需要在使用的方法上面添加注解便能实现诸如AB测试任务、心跳上报等。
- 负责文图模块的任务监控以及补偿能力(失败重试,而后回调给客户)。
- 负责历史数据回捞重放,打通数据从运营–标注–算法的能力。
- 所用技术栈:springboot+dubbo+zookeeper+DDD+mybatis+redis+kafka
内容安全星海解决方案平台2021.07——至今
星海解决方案是内容审核服务的拓展,主要处理电商数据、小说审核、融媒体等内容场景。各个场景千差万别,但审核的本质依然不变。解决方案,重点在于帮助客户如何解决复杂的业务场景问题,提供切实可行的方案,让客户在对接过程中减少不必要的负担,促成合同签约率。
- 负责融媒体解决方法的设计和研发,依然是从0到1的产品。
- 积极参与到客户、产品、销售的沟通中,经过多次的探讨,归纳抽象,提供相较简洁的接口。
- 负责组内工作的安排,人员的调配,任务的划分。
- 星海的客户中文在线,在时间紧张、场景复杂的情况上,如约发布上线。
- 星海支持文图音视多媒体的批量异步检测,客户通过轮训或者我方回调的方式提供审核数据。
- 对跨境电商的支持。跨境电商的业务有特殊性,客户提供商品链接,我们需要对商品标题、描述、图片、视频等做审核。
- 所用技术栈:springboot+dubbo+zookeeper+kafka
同盾净朗风控系统2019.04——2020.10
净朗风控系统包含IP画像、手机号画像、邮箱画像、地址画像、设备指纹、态势感知、战略情报等模块。其中IP画像根据IP历史上发⽣的欺诈⾏为、风险⾏为分析得出的标签,分析归属地、网络类型、代理、秒拨,以及业务沉淀的风险标签,有效识别在特定的业务场景中垃圾注册、刷单、薅羊毛、垃圾短信风险。
手机号画像通过分析手机号的基本属性、手机号历史上发生的风险行为、关联设备发生的风险行为等信息,对一个手机号进行综合评价。能有效识别虚假号码、在业务场景中对风险⾏为进⾏有效拦截。
邮箱画像通过算法识别各类邮箱文本异常,加强识别黑产垃圾注册、批量登录及其他团伙欺诈行为,适用于海外电商、跨境电商、航司等持邮箱注册的平台。可有效识别临时域名、相似邮箱、随机字符、特殊符号等多种异常类型。
地址画像通过算法识别各类地址文本异常,加强识别黄牛囤货、众包地址下单、代下单等异常交易,适用于电商、O2O等平台。可有效识别暗号地址、相似地址、地址中包含手机号或人名等多种异常类型。
- 参与风控平台解决方案的建设,主要是业务流程的把控,服务架构设计。
- 构建设备指纹子服务、完善IP画像。
- 负责算法业务接入。
- 参与地址画像的子服务的构建。
同盾图灵决策引擎服务2018.05——2021.05
互联网金融的兴起,金融科技向传统金融渗透,智能风控平台应运而生。决策引擎担任着智能风控平台的核心角色,在当代的互联网金融浪潮中至关重要。同盾图灵和天策决策引擎是同盾大数据风控的核心,承载了同盾几乎所有的业务,如信贷业务、保险业务、内容风控等。
- 负责新平台系统的架构和设计。
- 参与重构图灵决策引擎核心逻辑、规则、评分卡、网关等模块。
- 研发高性能批量执行正则表达式模块,提高服务效率。
- 参与决策流分支研发,提供快速集成三方就口、内部接口的能力,为决策流所调用子服务提供快速便捷的对接流程。
- 对外接口文档编写,完善对接流程。
杭州有朋(东家APP)Java高级工程师2016.03——2017.09
东家APP商品2016.03——2017.09
东家APP是一款东方传统手工艺交易平台。
- 参与直播拍卖项目的研发。
- 负责匠人管理平台的研发。
- 负责物流模块、商品条目、微信小程序的开发。
上海微盟科技有限公司Java工程师 2015.02——2016.03
萌店SPA分销平台2015.02——2016.03
萌店APP是微盟的微社区电商平台的客户端,是一款面向微信公众号的客户群体而研发的产品,为微商提供便捷的服务。
- 负责微盟微信营销活动系统的开发,负责组内团队管理。
- 参与萌店服务平台的开发,参与微盟三方微信服务号、订阅号的开发。
- 参与萌店SPA分销系统的开发。