Blink(计算平台)
面向B端算法实时业务支撑的工程实践
[图片] 一 背景在营销场景下,算法同学会对广告主提供个性化的营销工具,帮助广告主更好的精细化营销,在可控成本内实现更好的ROI提升。我们在这一段时间支持了多个实时业务场景,比如出价策略的实时化预估、关键词批量服务同步、实时特征等场景,了解到业务侧同学来说,针对ODPS场景来说大部分可以灵活使用,但对于Blink使用还有不足,我们这里针对场景积累了一些经验,希望对大家有一些帮助。 二 技术选型为什么要选择Blink?大部分离…
百信银行基于 Apache Hudi 实时数据湖演进方案
摘要:本文介绍了百信银行实时计算平台的建设情况,实时数据湖构建在 Hudi 上的方案和实践方法,以及实时计算平台集成 Hudi 和使用 Hudi 的方式。内容包括:背景百信银行基于 Flink 的实时计算平台设计与实践百信银行实时计算平台与实时数据湖的集成实践百信银行实时数据湖的未来总结 Tips:点击文末「阅读原文」即可查看更多技术干货~ [图片] GitHub 地址 [图片] https://github.com/apache/flink 欢迎大家给 Flink 点赞送 star~ 一、背景 百信银行,全…
[图片] 加入高质量IT研发交流社群,主页vx滴滴我 flink 任务提交问题汇总1. 提交flink自带任务WordCount.jar遇到的问题:2. 提交flink 批处理任务时遇到的问题3. flink定时任务,mysql连接超时问题4. flink checkpoint 恢复失败5. yarn 增加并行任务数量配置6. 流处理flink程序在hadoop集群跑了一段时间莫名挂掉 1. 提交flink自带任务WordCount.jar遇到的问题: 问题描述:最近在提交flink项目example下WordCount.jar批处理任务时遇到以…
深入分析 Flink SQL 工作机制
作者 | 伍翀(云邪),阿里巴巴技术专家 整理 | 陈婧敏(清樾),阿里巴巴技术专家摘要:本文整理自 Flink Forward 2020 全球在线会议中文精华版,由 Apache Flink PMC 伍翀(云邪)分享,社区志愿者陈婧敏(清樾)整理。旨在帮助大家更好地理解 Flink SQL 引擎的工作原理。文章主要分为以下四部分: Flink SQL ArchitectureHow Flink SQL Works?Flink SQL OptimizationsSummary and FuturesTips:点击下方链接可查看作者分享的…
不是了,想起曾经就很想吐来着。 很真挚的爱过每一位,四个人的超话当时都关注,但是最开心的是混迹在cp超里面,感觉个超乌烟瘴气,大家互相谩骂,因为喜欢每一个人所以接受不了。 目前状态是彻底转唯了,曾经一直是喜欢五花肉>jensoo,我有很多梨卡,开年回学校打算把3墨卡都出掉了,说实话现在看着她们三的卡都很不开心。 每个团偏肉的或者肉粉大概都记得9月16号,理解不了他们三家的报团,理解不了对待一个女孩无休止的谩骂…
带你认识Flink容错机制的两大方面:作业执行和守护进程
摘要:Flink 容错机制主要有作业执行的容错以及守护进程的容错两方面,前者包括 Flink runtime 的 ExecutionGraph 和Execution的容错,后者则包括 JobManager 和 TaskManager 的容错。本文分享自华为云社区《 Flink容错机制 》,原文作者:yangxiao_mrs 。Flink 容错机制主要有作业执行的容错以及守护进程的容错两方面,前者包括 Flink runtime 的 ExecutionGraph 和Execution的容错,后者则包括 JobManager 和 TaskManager 的容…
客观一点 我想说一点 首先我先声明 我不完全讨厌R 或者说 有时候还会挺喜欢她 有时候就会讨厌 主要对事 1、hard to love 我想说的是,团专里放个人solo曲,不合适吧?还有粉丝说什么很常见啊很正常啊。我这么跟你举例子, 我买了一箱苹果,里面有个梨,我很愤怒,因为我想不要梨,你居然跟我说:没关系啊很正常啊,某某商家也会在一箱子苹果里塞两个梨。您没事吧???被诈骗久了连正常该是啥样也不知道了是吧?还有说Rose主打曲…