1. 安装FALCON
$ cd /opt/biosoft $ export GIT_SYM_CACHE_DIR=~/.git-sym-cache # to speed things up $ git clone git://github.com/PacificBiosciences/FALCON-integrate.git $ cd FALCON-integrate $ git checkout master # or whatever version you want $ git submodule update --init # Note: You must do this yourself! No longer via `make init`. $ make init $ source env.sh $ make config-edit-user $ make -j all $ make test # to run a simple one
2. FALCON运行示例
先设置好环境变量 $ cd /opt/biosoft/FALCON-integrate/ $ source env.sh 下载基因组大小只有200kb的greg200k数据，以及基因组大小有4.6Mb的E. coli数据 $ cd FALCON-examples/.git-sym/ $ curl -L https://downloads.pacbcloud.com/public/data/git-sym/greg200k-sv2.tar | tar xvf - $ curl -L https://downloads.pacbcloud.com/public/data/git-sym/ecoli.m140913_050931_42139_c100713652400000001823152404301535_s1_p0.subreads.tar | tar xvf - 对200kb基因组进行组装 $ cd /opt/biosoft/FALCON-integrate/FALCON-examples/run/greg200k-sv2 $ fc_run.py fc_run.cfg 对4.6Mb基因组进行组装 $ cd /opt/biosoft/FALCON-integrate/FALCON-examples/run/ecoli $ perl -p -i -e 's/^#job_type/job_type/' fc_run.cfg $ fc_run.py fc_run.cfg 生成的最终结果文件为 2-asm-falcon/p_ctg.fa 。
3. FALCON工作原理
1. 对原始subreads进行Overlapping分析 2. 进行预组装，对Subreads进行校正 3. 对校正后的Subreads进行Overlapping分析 4. 过滤不可靠的Overlaps结果 5. 根据可靠的Overlap构建Grahp 6. 由Grahp得到contigs序列
4. FALCON的配置文件
FALCON软件的输入文件是Pacbio测序得到的Fasta文件。将这些Fasta文件的路径写入到文件 input.fofn 中用于软件输入。
FALCON软件运行的难点在于其配置文件fc_run.cfg的编写。一个fc_run.cfg示例如下：
[General] ## 设置任务提交方式 # jobtype的默认值应该是SGE，表示使用SGE集群进行计算； # local表示使用本地主机运行FALCON，兼容性最好，毕竟集群的部署非常麻烦； job_type = local ## 数据输入 # 设置输入文件为input.fofn，该文件中包含有PacBio数据的fasta文件。此外也可以输入dexta格式的文件。dexta格式是Pacbio测序结果h5的一种压缩结果，能极大压缩测序数据文件的大小。可以使用FALCON软件附带的命令dexta将fasta文件转换为dexta格式。 input_fofn = input.fofn # 设置输入数据为原始测序数据，或者为修正后的数据。 input_type = raw #input_type = preads ## 对PacBio数据进行校正：对Pacbio raw subreads进行overlapping、consensus和pre-assembly分析，对reads进行校正。 # 选择长度高于指定阈值的reads进行分析 length_cutoff = 12000 # 选择长度高于指定阈值的reads进行预组装 length_cutoff_pr = 12000 # 调用fasta2DB命令将reads数据分割成多份Blocks。 # -s50 参数表示每份数据含有50Mbp的数据量，该参数默认值为200，默认参数情况下，使用daligner进行比对需要消耗约16G内存。 # -x500 参数表示read长度低于500bp的会被忽略掉。 # -a 参数表示来同一个自零级波导孔的第二个read不会被忽略掉。 pa_DBsplit_option = -x500 -s50 # 调用daligner对所有Blocks进行Overlapping分析。 # -v 参数表示输出daligner程序运行信息 # -B4 参数表示每个daligner命令对4个Blocks进行Overlapping分析。该参数的值越大，则每个daligner命令的计算量越大，但是总的任务数越少。该参数等同于以前的-dal # -k -w -h 参数设置匹配的kmer相关参数，其默认值分别为 14,6,35 。 # -T4 表示每个daligner使用4个线程进行计算，该参数默认值是4，该参数可以设置成2,4,8,16,32...。 # -M32 表示每个daligner命令使用32G内存，加入该参数起到限制内存使用的作用，对大基因组比较有用。 # -t16 参数表示过滤掉覆盖度高于16的kmer，这些kmer会导致内存使用过多。默认设置下，daligner可以根据-M参数的值自动计算本参数的值。 # -l1000 参数表示忽略长度低于1000bp的reads。 # -s1000 参数表示记录比对结果时以每1000bp为一个记录点，相比于默认值100，能少很多记录点。 # 使用daligner的默认参数能很好地处理raw pacbio数据。 # 而对corrected pacbio数据，推荐使用-k20 -h60 -e.85参数。 pa_HPCdaligner_option = -v -B4 -k14 -T8 -t16 -e.70 -l1000 -s1000 # FALCON使用fc_consensus.py调用C语言写的程序来根据daligner进行Overlapping分析的结果进行consensus分析，从而对subreads进行校正。 # --min_cov 参数设置当read序列上某位点覆盖度低于指定阈值时，对read进行打断或截短，默认值是6。 # --min_cov_aln 参数设置当read序列的平均覆盖度低于指定阈值时，直接略过该read，默认值是10。 # --min_n_read 和 --max_n_read 参数设定比对结果中包含的reads数在此范围内才能得到consensus结果，其默认值分别是10和500。对于基因组重复程度较高的情况，要设置较低的--max_n_read值来减少对重复区域进行consensus分析的计算消耗。 # --min_idt 参数设置最小identity的比对结果能用于reads校正。 # --n_core 参数设置允许的线程数，默认值是24。 falcon_sense_option = --output_multi --min_idt 0.70 --min_cov 4 --max_n_read 200 --n_core 8 # 设置运行daligner任务的并发数。注意的是daligner和fc_consensus.py任务本身可以多线程，因此总的计算需求是线程数*并发数。若是总的计算需要远远超过服务器的计算资源，容易导致宕机。 da_concurrent_jobs = 10 la_concurrent_jobs = 2 # 设置运行fc_consensus.py任务的并发数。注意的是daligner和fc_consensus.py任务本身可以多线程，因此总的计算需求是线程数*并发数。若是总的计算需要远远超过服务器的计算资源，容易导致宕机。 cns_concurrent_jobs = 20 # 设置在SGE集群运行的并发数 sge_option_da = -pe smp 8 -q jobqueue sge_option_la = -pe smp 2 -q jobqueue sge_option_fc = -pe smp 80 -q jobqueue sge_option_cns = -pe smp 16 -q jobqueue ## 对校正后的reads进行overlapping分析，其参数和上一个步骤的参数一致。 ovlp_DBsplit_option = -x500 -s50 ovlp_HPCdaligner_option = -v -B4 -k20 -h60 -T8 -t32 -e.96 -l500 -s1000 # 设置对校正后reads运行daligner任务的并发数。 pda_concurrent_jobs = 10 pla_concurrent_jobs = 2 sge_option_pda = -pe smp 8 -q jobqueue sge_option_pla = -pe smp 2 -q jobqueue ## 过滤overlaps # 若reads首尾两端的覆盖度比平均覆盖度大很多，则表明reads首尾是重复序列；若reads首尾两端的覆盖度比平均覆盖度相差较小很多，则表明reads首尾出现错误的可能性很大。需要过滤掉这种reads的overlaps结果。该步骤的参数设置不对，容易导致overlaps全部被过滤掉，得不到基因组组装的结果。 # --bestn设置报告reads此数目的最优overlaps。 # --min_cov和--max_cov表示所允许的reads首尾的覆盖度范围。对于通过length_cutoff得到 >20x 校正后的数据进行的基因组组装，可以设置--min_cov值为5，设置--max_cov为平均覆盖度的3倍。若用于基因组组装的数据量较少，可以设置该值为1或2。 # --max_diff设置所允许的首尾覆盖度值的最大差异。设置该参数的值为平均覆盖度的2倍。 # 对于特殊情况，可以设置更高的--max_cov和--max_diff值。 # 可以使用在1-preads_ovl目录下运行 fc_ovlp_stats.py --fofn merge-gather/las.fofn 导出overlap结果首尾的覆盖度结果，从而帮助设置以上参数 overlap_filtering_setting = --max_diff 50 --max_cov 75 --min_cov 5 --bestn 10
5. FALCON结果文件
0-rawreads/
该目录存放对raw subreads进行overlpping分析与校正的结果；
以job_前缀的文件夹的表示daligner任务的结果；
以m_前缀的文件夹表示整合任务的结果，对raw subreads进行overlapping分析的比对结果是las文件，位于这些文件夹中；
merge-gather中存放着las.fofn文件，该文件中存放着las文件的路径信息；
preads目录下保存着校正后的reads信息，位于cns_前缀目录下的fasta文件。
1-preads_ovl/
该目录存放对校正后reads进行overlapping的结果；
以job_前缀的文件夹的表示daligner任务的结果；
以m_前缀的文件夹表示整合任务的结果，对校正后reads进行overlapping分析的比对结果是las文件，位于这些文件夹中；
merge-gather中存放着las.fofn文件，该文件中存放着las文件的路径信息；
2-asm-falcon/
该目录是最终结果目录，包含draft contigs结果文件p_ctg.fa。