Gzip:Hadoop内置支持，压缩比高，不支持split,
通常用于放一些不常用冷数据，较高的压缩比可以极大的节省空间。
Bzip2：Hadoop内置支持，压缩比高，支持split，支持多文件，缺点就是慢；
适用于对处理速度要求不高的场景，一般不常用，
LZO:压缩比一般，支持split（需要建索引，文件修改后需要重新建索引），压缩/解压速度快，支持Hadoop Native库，需要自己安装；
适用于经常访问的热数据
LZ4:压缩比一般，不支持split,压缩/解压速度快，支持Hadoop Native库，需要自己安装。
适用于Map中间结果的压缩
Snappy:压缩比一般，不支持spilt，压缩/解压速度快，支持Hadoop Native库，需要自己安装
适用于Map中间结果的压缩。
Zstd:压缩比高跟Gzip相当，不支持spilt,压缩/解压速度快，支持Hadoop Native库，需要自己安装。
适用于Map中间结果的压缩。
7、大数据中常见的文件存储格式以及
hadoop
中
支持
的
压缩算法
网址：https://blog.csdn.net/chenwewi520feng/article/details/130337213
本文主要介绍大数据环境中常见的文件存储格式、
压缩算法
。
本文分为2个部分，即文件存储格式（Text File、Sequence File、Avro File、RCFile、ORC File、Parquet File、Arrow）和
压缩算法
（snappy、lz4、gzip、lzo）。
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo
压缩算法
写文件和读取相应的文件
网址：https://blog.csdn.net/chenwewi520feng/article/details/130456088
本文的前提是
hadoop
环境正常。
本文最好和MapReduce操作常见的文件文章一起阅读，因为写文件与压缩往往是结合在一起的。
相关
压缩算法
介绍参考文章：HDFS文件类型与
压缩算法
介绍。
本文介绍写文件时使用的
压缩算法
，包括：Gzip压缩、Snappy压缩和Lzo压缩。
本文分为3部分，即Gzip压缩文件的写与读、Snappy压缩文件的写与读和Lzo压缩文件的写与读。
————————————————
版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130456088
RDB（Redis DataBase）和AOF（Append Only File）是Redis中两种不同的持久化方式。RDB持久化是指将Redis在内存中的数据以快照的形式写入磁盘，它会生成一个时间点上的完整数据备份文件(.rdb)，保存Redis服务器在某个时间点上的所有数据。当需要恢复数据时，只需将备份文件加载到内存即可。RDB持久化对Redis性能影响较小，且备份文件体积很小，非常适合用于备份、灾难恢复等场景。
文章目录分布式RPC框架Apache
Dubbo
1. 软件架构的演进过程1.1 单体架构1.2 垂直架构1.3 SOA架构1.4 微服务架构2. Apache
Dubbo
概述2.1
Dubbo
简介2.2
Dubbo
架构3. 服务注册中心Zookeeper3.1 Zookeeper介绍3.2 安装Zookeeper3.3 启动、停止Zookeeper4.
Dubbo
快速入门4.1 服务提供方开发4....
常见数据
压缩算法
压缩文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在
hadoop
大数据的背景下，这两点尤为重要，那么我现在就先来了解下
hadoop
中的文件压缩。
hadoop
里
支持
很多种压缩格式，我们看一个表格：
LZO和LZ4算法已经不在
Hadoop
1.x中使用了。1、DEFLATE是同时使用了LZ77与哈夫曼编码的一个无损数据
压缩算法
，
源代码可以在zlib
本文通过对
dubbo
协议的编解码器扩展，实现一个优化后的协议。由于
dubbo
将协议与编解码器绑定了，所以本文还扩展了
dubbo
协议。 1. 对报文体压缩，在报文头使用四个bit表示压缩格式，这样报文体可以使用的
压缩算法
最多可以有16种；
2. 优化status表示，status共有10个状态，4个bit可以表示16种状态，因此不在使用8个bit表示status字段，而使用4个bit；
3. RPC Request ID使用变长表示，RPC Request ID在原
dubbo
协议中使用long表示
LZO和LZ4算法已经不再
hadoop
1.x
1)DEFLATW是同时使用LZ77算法和哈夫曼编码的一个无损数据
压缩算法
，源代码可以在zlib库中找到
gzip是以DEFLATW算法为基础扩展出来的一种算法
2)
压缩算法
都是空间和时间的转换，更快的压缩时间还是更小的压缩比，可以通过参数来制定
本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
本专栏目录结构和文献引用请见100个问题搞定大数据理论体系
大数据领域常见的压缩格式有 gzip，snappy，lzo，lz4，bzip2，zstd。
为什么要进行数据压缩？
为了优化存储(减少存储空间)和充分利用网络带宽，通常采用压缩方法。大数据需要处理海量数据，此时数据压缩非常重要。
在企业中存在的许多场景中，通常，数据源来自多种文本格式(CSV、TS
1.1为什么
Dubbo
性能高
高性能要从底层的原理说起，既然是-一个RPC框架，主要干的就是远程过程(方法)调用，那么提升性能就要从最关键、最耗时的两个方面入手:序列化和网络通信。
序列化:我们学习
Java
网络开发的时候知道,本地的对象要在网络上传输，必须要实现Serializable接口，也就是必须序列化。我们序列化的方案很多: xml、 json、 二进制流…其中效率最高的就是二进制流(因为计算机就是二进制的)。然而
Dubbo
采用的就是效率最高的二进制。
网络通信:不同于HTTP需
技术知识1. go相关知识由于网络或者人为原因，多方系统数据不同步，为了分析本地日志然而日志分布在不同机器上，为了解决这个问题，学习go语言写了第三方插件上传日志。以便在出问题时候能够更方便的查询日志并处理相关问题Go语言优缺点：优点：在网络编程方面比较有优势，自带网络库比较全，做轻量级的应用比较有优势。可以根据平台去build，生成可执行文件。如windows上生成exe文件，直接可以打开安...
JDK 1.8 以前的 HotSpot 有个叫方法区的内存区域，也叫永久代（permanent generation）。而从 JDK 1.7 开始，方法区的部分数据就被移除：符号引用（Symbols）移至 Native heap，字面量（interned strings）和静态变量（class statics）移至
Java
heap。
对数据的3个关键特征描述 3V：volume、variety和value。
volume，数据量与日俱增，在于智能手机、Internet和感知器等的使用。
variety，大数据的数据格式，音频、视频、图像等。
value，数据近乎实时的产生以使得有用信息能够服务需要。
大数据不仅仅带来了新的数据类型和存储机制，也带来了新种类的数据分析。现在数据增长太快了，数据的
