简介Introduction

本文提供MENA, LSA, SparCC和 CoNet四种网络构建方法，作者为CoNet作者。由宏基因组公众号翻译整理，并补充及更新部分程序参数。
说明：计算过程在Ubuntu16.04系统的服务器，没服务器的伙伴可以使用QIIME提供的虚拟机；网络可视化在Win10上安装Cytoscape展示及导出。

必须软件Prerequisites

• 最新版Windows版 Cytoscape下载并安装  http://www.cytoscape.org/

• 在Cytoscape的App Manager中安装CoNet和CytoCluster http://systemsbiology.vub.ac.be/conet

• 注册MENA web server: http://129.15.40.240/mena/

• 安装LSA http://hallam.microbiology.ubc.ca/fastLSA/install/index.html

cd /mnt/bai/public/bin
wget http://hallam.microbiology.ubc.ca/fastLSA/resources/fastLSALinux.tar.gz
tar xvzf fastLSALinux.tar.gz
cd fastLSALinux
g++ fastLSA.cpp pnorm.cpp lsaPack.cpp thread.cpp lsaParse.cpp -o fastLSA -pthread

• Spacc安装 https://bitbucket.org/yonatanf/sparcc

  cd /mnt/bai/public/bin
  wget https://bitbucket.org/yonatanf/sparcc/get/05f4d3f31d77.zip
  unzip yonatanf-sparcc-05f4d3f31d77.zip
  mv yonatanf-sparcc-05f4d3f31d77 sparcc

• 注册在线微生物管理平台Qiita: microbial study management platform https://qiita.ucsd.edu/ # username: woodcorpse@163.com

• 安装biom: include by QIIME，末安装可先参考安装QIIME

• 安装R包igraph用于可视化SparCC结果

  sudo R
  source("https://bioconductor.org/biocLite.R")
  biocLite("igraph")

示例数据 Data

Environmental Microbiology 12(11), 2998-3006 (2010).
http://psbweb05.psb.ugent.be/conet/microbialnetworks/files.php

# 进入工作目录下载相关文件
cd /mnt/bai/yongxin/test/microbial_network
# 下载OTU表
wget http://psbweb05.psb.ugent.be/conet/microbialnetworks/documents/arctic_soils.biom
# 下载实验设计文件mapping file
wget http://psbweb05.psb.ugent.be/conet/microbialnetworks/documents/arctic_soils_mapping_file.txt
# 转换biom为txt，并带物种信息
biom convert -i arctic_soils.biom -o arctic_soils1.txt --to-tsv --header-key taxonomy
# 筛选SampleID和pH值列，并去掉第一行#号
cut -f 1,20 arctic_soils_mapping_file.txt|sed 's/#//g' > arctic_soils_features1.txt
# 用qiime script / R过滤OTU表中每行reads count > 20的OTU，并不需要物种信息，作为另三个软件的输入
filter_otus_from_otu_table.py -n 20 -i arctic_soils.biom -o arctic_soils_filter.biom
biom convert -i arctic_soils_filter.biom -o arctic_soils_filter.txt --to-tsv
## 或下载转换和筛选好的OTU table和实验设计
# 下载预转换的biom为txt格式，带物种信息，并筛选部分结果及调整格式，conet输入文件，与biom转换的结果一致
wget http://psbweb05.psb.ugent.be/conet/microbialnetworks/documents/arctic_soils.txt
# 过滤reads count > 20的OTU，且无物种注释，过滤掉的count求和归为summed-nonfeat-rows行。该文件做为其它软件输入
wget http://psbweb05.psb.ugent.be/conet/microbialnetworks/documents/arctic_soils_filtered.txt
# 过滤的mapping file,对OTU表对应，conet输入
wget http://psbweb05.psb.ugent.be/conet/microbialnetworks/documents/arctic_soils_features.txt

http://129.15.40.240/mena/  自己注册个新用户

• 上传数据：Upload your dataset, arctic_soils_filtered.txt

• 构建网络：Construct the network, 选择数据submit，参数为1，keep blank, do not take alogarithm,其它为默认，Submit

• 查看结果：回主界面，点击Search datasets and networks，每个有项目名、参数和最右边有运行状态，done为完成；点结果列表的名字可看结果，选择不同参数构建网络 Constrcut the netowrk;

• 分析网络：Analyze the networks — Network reports，点击每项按默认参数执行; 如Global Network properties，网络属性，如边、点数据信息；Individual nodes’ centrality为每个点的属性，如node.degree， Clustering.Coefficient；Module Separation and modularity calculation

• 可视化：分析网络中的可视化，可以在线简单成像，也可下载cytoscape格式sif文件及边点注释文件本地分析；并替换所有_为-，替换np为pp，便于后期与Conet比较

  sed -i 's/_/-/g' * # replace all underscores by dashes in the sif file as well as in the node attribute 
  sed -i 's/np/pp/g' arctic\ 0.540.sif # replace all instances of np by pp in the sif file

• Cytoscapes分析：打开软件

1. 打开网络文件 File — Import — Network — File — arctic 0.540.sif;

2. 打开点属性 File->Import->Table->File — node attribution文件；

3. 布局设置 Layout->yFiles Layouts->Organic;

4. 设置颜色 style,在样式右链下前头中选择 new style,输入名字如“mena”，再设置Fill color的Map选项，Column选择No. module按模块编号上色，Mapping type选择Discrete Mapping，再手动调置每一类的颜色。

5. 导出位图和矢量图；File - Export - Network view as Graph - 分别选择pdf和png保存，png大小为200%,dpi=300；但有时图像尺寸会有问题，需要用AI调整PDF，再输出png或tiff；调整后结果如下：保存至本地。

LSA是本地相似分析(local similarity analysis)的缩写。主要研究网络在时间序列上的变化。本测试数据没有时间序列，只演示软件使用，详细见文章。

• 运行程序，计算网络

  /mnt/bai/public/bin/fastLSALinux/fastLSA -i arctic_soils_filtered.txt -o arctic_soils_lsa.txt -d 3 -a 0.01 > lsa.log
  # d代表时间序列的最大延迟，a代表显著性阈值

• Cytoscape可视化

1. 打开arctic_soils_lsa.txt网络文件，选择index1为source node，index2为target node，其它默认为边属性，确定；

2. 自动调整布局：Layout->yFiles Layouts->Organic

3. 形状设置：建立LSA样式；我们设置的d延迟有三级，可以选择边Edge的源键头形状Source Arrow Shape的Map属性，Column选择按lag分类，类型为Discrete，再设置各种箭头形状；

4. 保存session为LSA，导出PDF名为LSA，建议先调整大小显示整个网络，默认输出显示区域;File - Export - Network view as Graph - PDF；再用AI调整大小、位置，最后导出PNG；

5. 

SparCC

网络接口工具，对数据组成的的鲁棒性更强(0和极大值处理更好)；

# 计算相关系数 Compute correlations
python /mnt/bai/public/bin/sparcc/SparCC.py arctic_soils_filtered.txt -i 10 --cor_file=arctic_soils_sparcc.txt > sparcc.log # -i 是迭代次数并求平均
# 重采样 Compute bootstraps
python /mnt/bai/public/bin/sparcc/MakeBootstraps.py arctic_soils_filtered.txt -n 100 -t boot_#.txt -p Resamplings/
# 对采样计算相关系数，方法默认SparCC，支持pearson, spearman和kendall
mkdir Bootstraps
for i in `seq 0 99`
    python /mnt/bai/public/bin/sparcc/SparCC.py Resamplings/boot_$i.txt -i 10 -a SparCC --cor_file=Bootstraps/sim_cor_$i.txt >> sparcc.log 
# 计算Pvalue Compute p-values
python /mnt/bai/public/bin/sparcc/PseudoPvals.py arctic_soils_sparcc.txt Bootstraps/sim_cor_#.txt 10 -o sparcc_pvals_two_sided.txt -t 'two_sided'  >> sparcc.log

相关系数矩阵结果使用R可视化，本地或Rstudio服务器

setwd("/mnt/bai/yongxin/test/microbial_network/")
# load R graph library igraph
library(igraph)
pvals=read.table("sparcc_pvals_two_sided.txt",header=TRUE,sep="\t")
pvals.mat=pvals[,2:ncol(pvals)]
# set p-values of 0 to a non-zero, small p-value so we can take the logarithm
pvals.mat[pvals.mat==0]=0.000000001
# convert into significance
sig.mat=-1*log10(pvals.mat) 
# remove all edges with significance below 1
sig.mat[sig.mat<1]=0
sig.mat=as.matrix(sig.mat)
# convert adjacency matrix into a graph
sparcc.graph=graph.adjacency(sig.mat,mode="undirected")
# display the graph
layout=layout.spring
plot(sparcc.graph, layout=layout) # Spring layout was removed, we use Fruchterman-Reingold instead.

CoNet

提供组合式(ensemble-based)的网络构建，例如其结合了多种相似计算方法。组合式方法和重启计算技术可以减少计算偏差，在作者文章中有详细说明 PLoS Computational Biology 8 (7), e1002606。自从作者写了本套教程，CoNet相比其它软件被更广泛的使用。

1. 基本配置 Basic configuration
   打开Cytoscape，在APPs菜单中选择CoNet插件即可进入程序主界面；可以手动按步配置参数，也可以在参数文件在修改再加载；我选择了后者，参数模板为 conet-permut-settings.txt ，下载后用文本编辑器(如Ultraedit, Editplus)修改，只要个性input，randscorefile和features(1.11中变更为metadata)文件的完整路径和文件名，它们分别为otu-table, 排序输出文件名和属性值(可选)，我们这里使用自己实验的文件，或用前目数据准备阶段我们通过原始OTU表和Mapping file筛选的结果文件arctic_soils1.txt和arctic_soils_features1.txt(我计算的输入文件添加了1与作者提供的区别开来，作者提供了输入文件，但是没有提供获得这两个文件的过程，我根据作者描述的过程，设计和shell脚本重现了作者的输入文件方法供参考)。直接用setting load按扭，加载参数文件，并点apply应用即可，并关闭菜单。

2. 排列 Permutation
   点GO开始计算网络和Paramutation文件(结果为什么没有网络和Paramutation文件也0值，可能是配置文件中输入输出路径或文件名错误，重新检查并加载或手动选择输入输出文件)，成功会生成有点边网络数据，如果图像不可见，可以个性样式style和布局Layout-YFile Layout-Organic显示出来。保存新版1.1.1参数(作者1.0b4版本差别较大，如参数名feature更为metadata，文件只有名没有路径)至文件conet-permut.cfg。生成了252个点，9741个边的网络；

3. 重抽样Bootstrapping
   下载conet-boot-settings.txt修改方法同permut，加载，运行，另存配置conet-boot.cfg。生成了204个点，1719个边的网络；

4. 从随机文件恢复网络Restore network from random files
   下载 conet-restore-settings.txt修改方法同permut，加载，运行，另存1.11配置conet-restore.cfg。生成了199个点，1721个边的网络；

5. 可视化Visualization
   Layout->yFiles Layouts->Organic，自动布局；CoNet使用的样式是软件自定义的cooccurrence_0，正负相关分别为绿和红；可以按Column选项中的分类学kindom, class, family, genus、丰度abundance、点的连线度degree、标签label上色，如Node - Fill Color - Map - Column(选择分类学纲上色class) - Map type (非连续颜色Discrete Mapping) - 手动选择每一种class的颜色。
   保存session为conet，导出PDF名为conet，建议先调整大小显示整个网络，默认输出显示区域;File - Export - Network view as Graph - PDF；再用AI调整大小、位置，最后导出PNG；

网络分析 Network analysis

1. 比较Conet与MENA的一致性
   保存Conet为sif格式：File - Export - NetWork - conetNetwork.sif；
   修改其格式与MENA一致便于比较：用Editplus打开conetNetwork.sif，用正则表达式替换\t\t为\tpp\t；
   使用Cytoscape打开:Import - Network - File打开，
   比较点和边：Tools - Merge - 选择两网络添加至右边，选择Intersect，再点Merge; 看到只有62个点和16条边重合，重合的边极少？

2. 全局网络分析 Global network analysis
   Tools->Network Analyzer->Network Analysis->Analyze network，选择默认的无向网络undirected，确定，可获得网络的属性的面板，包括网络参数、密度、样式路径长度和簇系数、节点度分布、节点特异属性(such as 离心率eccentricity and 中介中心性betweenness centrality)

3. 中心节点Hub nodes
   分析后的网络点有很多属性，按degree排序即可找到中心节点，本数据为Acidobacteria。

4. 网络聚类Network clustering
   基因表达网络中，簇用来预测未知功能的基因，与表达相似基因功能相近。微生物相关网络可以发现相似的生活方式。
   先选择正相关的边：从Cytoscape选择，没成功；CoNet输出的为正相关网络，方法链接也没説具体操作；
   打开Apps - CytoCluster，选择 OH-PIN algorithm ，点Analyze current network。结果显示在另一个面板上，有一些clusters，按由大到小排列。比如我们想分析第一个cluster的物种属性，选择cluster1，点Creat sub-network，可查看该子网按之前物种颜色分类的结果。

5. 联合环境因素分析  Neighbors of environmental parameter
   选择pH点(没找到？)，再点邻近的点，可找到相pH正或负相关的OTU

结论 Conclusions

1. 网络是精糙无标度(适应结点度分布的权力法则)和小世界(路径长度短特点);

2. 如果只看正相关边，网络分为两个主要的簇，由不同的分类学群主载；

3. 如果看pH值的邻近节点，发现两个负相关的簇：一个与pH正相关，另一个相反；
   对于生物学观点，全局网络属性意义不大。然而，网络形成两个物种分类学特异的簇，暗示苔原土壤存在两个不同的微生物群落。人类也观察到在肠道和阴道中有明显不同的微生物群落。可变的微生物群落是有争意的，因为不清楚群落是否真的不同，还是梯度的渐变。我们可以接受这两种差点，因为有一些部分是重叠的。
   当探索临近的pH结点，我们看到Solibacteres和Acidobacteria在其中一个正相关簇中占主导，并与pH呈负相，意味着它们喜欢酸性环境。我们看到另一个簇中Chloracidobacteria和Alphaproteobacteria占主导，且与pH正相关。这些微生物更喜欢基础环境。
   结论是土壤pH驱动微生物群落改变。与数据原文结论一致。
   此外，我们还发现了更细分类单元与pH的相关性。如Acidobacteria门中的Chloracidobacteria纲与pH正相关，是该门中的特异的纲。结果可以根据pH反苔原土壤中的主要细菌门类。

名词解释 Resources

1. CoNet无向网络：为什么CoNet返回的是无向网络用于选择配置。答案是所有5个选择相似、不相似和相关测量是不对称的，相似的A与B与B与A是相同的。

2. CoNet和Cytoscape中心节点的检测：找有最多正或负相关边的节点，在Node table中，点Degree即按其排序，找到最多度的点。

3. 从随机千分文件中恢复CoNet网络 Restore the CoNet network from random score files：为了基于之前计算好的permutations and bootstraps文件而生成网络。

4. 正相关边的聚类：为什么只聚类正相关的边，因为我们感兴趣在一起的物种共有一些特征。大部分聚类算法不能区分正或负相关的边，负相关的也会聚类在一起。

5. Cytoscape中选择正相关边：Select -> Use filter(找不到？), choose “edge.interactionType” as column and click “Add”. Select “copresence” and click “Apply Filter”. Go to Select -> Nodes and click “Nodes connected by selected edges”. Go to File -> New -> Network and click “From selected nodes, selected edges”. Finally, layout the network (e.g. Layout->yFiles Layouts-> Organic).

简介Introduction本文提供MENA, LSA, SparCC和 CoNet四种网络构建方法，作者为CoNet作者。由宏基因组公众号翻译整理，并补充及更新部分程序参数。说明：计算过程在Ubuntu16.04系统的服务器，没服务器的伙伴可以使用QIIME提供的虚拟机；网络可视化在Win10上安装Cytoscape展示及导出。必须软件Prerequisites 最新版Windows版 Cytoscape下载并安装 http://www.cytoscape.org/ 在Cyto. # serve with hot reload at localhost:3000 $ npm run dev # build for production and launch server $ npm run build $ npm run start # generate static project $ npm run generate 有关工作原理的详细说明，请查看 。 成分数据的稀疏共现 网络 调查 发音为“scenic”。 注意：SCNIC 最近更新为仅限 python 3，仅 python 2 环境中的旧安装将无法正常工作 SCNIC是用于使用组成数据生成和分析共现（正 相关 ） 网络 的软件包。 许多下一代测序实验生成的数据是组合的（是整个社区的子采样），这违反了典型的共现 网络 分析技术的假设。 16S 测序数据在本质上通常非常复杂，因此已经开发了 Sp arC C ( ) 等方法来研究 微生物 组数据的 相关 性。 SCNIC 的设计考虑了成分数据，因此提供了包括 Sp arC C 在内的多种 相关 性度量。 可以通过两种不同的方法运行 SCNIC。 SCNIC 与脚本打包在一起，允许在命令行上运行它，但也可以作为 Qiime2 插件 ( ) 使用。 这两种方法都有效，但在 Qiime2 生态系统中工作时，使用 Qiime2 插件可以更轻松地访问。 Description A reimplementation of Sp arC C algorithm (Friedman et Alm 2012, PLoS Comp Bio, 2012). Usage sp arc c(data, iter = 20, inner_iter = 10, th = 0.1) Arguments data Community count data matrix 有师妹想要绘制一张类似上图的环境因子-物种 相关 性 网络 图。这张图其实还挺好复现的，将环境因子与物种都作为变量一起计算 相关 性指数，然后绘图时更改 网络 图的布局参数，将环境因子与物种分内外环放置。下面使用虚构数据绘制一幅类似的图。 一、 导入数据 相关 性系数的计算在前面很多文章R统计绘图-分子生态 相关 性 网络 分析都写过，这里不再赘述。这里直接导入 相关 性指数计算结果，r与p值矩阵。物种名中的空格、-等特殊字符需要注..