NEWS

   1 Beta release 0.1.13 (1 March, 2011)
   2 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   3
   4 The most important though largely invisible modification is the change of the
   5 order of genotypes in the PL VCF/BCF tag. This is to conform the upcoming VCF
   6 spec v4.1. The change means that 0.1.13 is not backward compatible with VCF/BCF
   7 generated by samtools older than r921 inclusive.  VCF/BCF generated by the new
   8 samtools will contain a line `##fileformat=VCFv4.1' as well as the samtools
   9 version number.
  10
  11 Single Individual Haplotyping (SIH) is added as an experimental feature. It
  12 originally aims to produce haploid consensus from fosmid pool sequencing, but
  13 also works with short-read data. For short reads, phased blocks are usually too
  14 short to be useful in many applications, but they can help to rule out part of
  15 SNPs close to INDELs or between copies of CNVs.
  16
  17
  18 Other notable changes in samtools:
  19
  20  * Construct per-sample consensus to reduce the effect of nearby SNPs in INDEL
  21    calling. This reduces the power but improves specificity.
  22
  23  * Improved sorting order checking in indexing. Now indexing is the preferred way
  24    to check if a BAM is sorted.
  25
  26  * Added a switch `-E' to mpileup and calmd. This option uses an alternative way
  27    to apply BAQ, which increases sensistivity, especially to MNPs, at the cost of
  28    a little loss in specificity.
  29
  30  * Added `mpileup -A' to allow to use reads in anomalous pairs in SNP calling.
  31
  32  * Added `mpileup -m' to allow fine control of the collection of INDEL candidates.
  33
  34  * Added `mpileup -S' to compute per-sample strand bias P-value.
  35
  36  * Added `mpileup -G' to exclude read groups in variant calling.
  37
  38  * Fixed segfault in indel calling related to unmapped and refskip reads.
  39
  40  * Fixed an integer overflow in INDEL calling. This bug produces wrong INDEL
  41    genotypes for longer short INDELs, typically over 10bp.
  42
  43  * Fixed a bug in tview on big-endian machines.
  44
  45  * Fixed a very rare memory issue in bam_md.c
  46
  47  * Fixed an out-of-boundary bug in mpileup when the read base is `N'.
  48
  49  * Fixed a compiling error when the knetfile library is not used. Fixed a
  50    library compiling error due to the lack of bam_nt16_nt4_table[] table.
  51    Suppress a compiling warning related to the latest zlib.
  52
  53
  54 Other notable changes in bcftools:
  55
  56  * Updated the BCF spec.
  57
  58  * Added the `FQ' VCF INFO field, which gives the phred-scaled probability
  59    of all samples being the samei (identical to the reference or all homozygous
  60    variants). Option `view -f' has been dropped.
  61
  62  * Implementated of "vcfutils.pl vcf2fq" to generate a consensus sequence
  63    similar to "samtools.pl pileup2fq".
  64
  65  * Make sure the GT FORMAT field is always the first FORMAT to conform the VCF
  66    spec. Drop bcf-fix.pl.
  67
  68  * Output bcftools specific INFO and FORMAT in the VCF header.
  69
  70  * Added `view -s' to call variants from a subset of samples.
  71
  72  * Properly convert VCF to BCF with a user provided sequence dictionary. Nonetheless,
  73    custom fields are still unparsed and will be stored as a missing value.
  74
  75  * Fixed a minor bug in Fisher's exact test; the results are rarely changed.
  76
  77
  78 (0.1.13: 1 March 2011, r926:134)
  79
  80
  81
  82 Beta release 0.1.12a (2 December, 2010)
  83 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  84
  85 This is another bug fix release:
  86
  87  * Fixed a memory violation in mpileup, which causes segfault. Release
  88    0.1.9 and above are affected.
  89
  90  * Fixed a memory violation in the indel caller, which does not causes
  91    segfault, but may potentially affect deletion calls in an unexpected
  92    way. Release 0.1.10 and above are affected.
  93
  94  * Fixed a bug in computing r-square in bcftools. Few are using this
  95    functionality and it only has minor effect.
  96
  97  * Fixed a memory leak in bam_fetch().
  98
  99  * Fixed a bug in writing meta information to the BAM index for the last
 100    sequence. This bug is invisible to most users, but it is a bug anyway.
 101
 102  * Fixed a bug in bcftools which causes false "DP4=0,0,0,0" annotations.
 103
 104 (0.1.12: 2 December 2010, r862)
 105
 106
 107
 108 Beta release 0.1.11 (21 November, 2010)
 109 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 110
 111 This is mainly a bug fix release:
 112
 113  * Fixed a bug in random retrieval (since 0.1.8). It occurs when reads
 114    are retrieved from a small region containing no reads.
 115
 116  * Fixed a bug in pileup (since 0.1.9). The bug causes an assertion
 117    failure when the first CIGAR operation is a deletion.
 118
 119  * Improved fault tolerence in remote access.
 120
 121 One minor feature has been implemented in bcftools:
 122
 123  * Added a reference-free variant calling mode. In this mode, a site is
 124    regarded as a variat iff the sample(s) contains two or more alleles;
 125    the meaning of the QUAL field in the VCF output is changed
 126    accordingly. Effectively, the reference allele is irrelevant to the
 127    result in the new mode, although the reference sequence has to be
 128    used in realignment when SAMtools computes genotype likelihoods.
 129
 130 In addition, since 0.1.10, the `pileup' command has been deprecated by
 131 `mpileup' which is more powerful and more accurate. The `pileup' command
 132 will not be removed in the next few releases, but new features will not
 133 be added.
 134
 135 (0.1.11: 21 November 2010, r851)
 136
 137
 138
 139 Beta Release 0.1.10 (16 November, 2010)
 140 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 141
 142 This release is featured as the first major improvement to the indel
 143 caller. The method is similar to the old one implemented in the pileup
 144 command, but the details are handled more carefully both in theory and
 145 in practice. As a result, the new indel caller usually gives more
 146 accurate indel calls, though at the cost of sensitivity. The caller is
 147 implemented in the mpileup command and is invoked by default. It works
 148 with multiple samples.
 149
 150 Other notable changes:
 151
 152  * With the -r option, the calmd command writes the difference between
 153    the original base quality and the BAQ capped base quality at the BQ
 154    tag but does not modify the base quality. Please use -Ar to overwrite
 155    the original base quality (the 0.1.9 behavior).
 156
 157  * Allow to set a maximum per-sample read depth to reduce memory. In
 158    0.1.9, most of memory is wasted for the ultra high read depth in some
 159    regions (e.g. the chr1 centromere).
 160
 161  * Optionally write per-sample read depth and per-sample strand bias
 162    P-value.
 163
 164  * Compute equal-tail (Bayesian) credible interval of site allele
 165    frequency at the CI95 VCF annotation.
 166
 167  * Merged the vcfutils.pl varFilter and filter4vcf for better SNP/indel
 168    filtering.
 169
 170 (0.1.10: 16 November 2010, r829)
 171
 172
 173
 174 Beta Release 0.1.9 (27 October, 2010)
 175 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 176
 177 This release is featured as the first major improvement to the samtools'
 178 SNP caller.  It comes with a revised MAQ error model, the support of
 179 multi-sample SNP calling and the computation of base alignment quality
 180 (BAQ).
 181
 182 The revised MAQ error model is based on the original model. It solves an
 183 issue of miscalling SNPs in repetitive regions. Althought such SNPs can
 184 usually be filtered at a later step, they mess up unfiltered calls. This
 185 is a theoretical flaw in the original model. The revised MAQ model
 186 deprecates the orginal MAQ model and the simplified SOAPsnp model.
 187
 188 Multi-sample SNP calling is separated in two steps. The first is done by
 189 samtools mpileup and the second by a new program, bcftools, which is
 190 included in the samtools source code tree. Multi-sample SNP calling also
 191 works for single sample and has the advantage of enabling more powerful
 192 filtration. It is likely to deprecate pileup in future once a proper
 193 indel calling method is implemented.
 194
 195 BAQ is the Phred-scaled probability of a read base being wrongly
 196 aligned. Capping base quality by BAQ has been shown to be very effective
 197 in suppressing false SNPs caused by misalignments around indels or in
 198 low-complexity regions with acceptable compromise on computation
 199 time. This strategy is highly recommended and can be used with other SNP
 200 callers as well.
 201
 202 In addition to the three major improvements, other notable changes are:
 203
 204  * Changes to the pileup format. A reference skip (the N CIGAR operator)
 205    is shown as '<' or '>' depending on the strand. Tview is also changed
 206    accordingly.
 207
 208  * Accelerated pileup. The plain pileup is about 50% faster.
 209
 210  * Regional merge. The merge command now accepts a new option to merge
 211    files in a specified region.
 212
 213  * Fixed a bug in bgzip and razip which causes source files to be
 214    deleted even if option -c is applied.
 215
 216  * In APIs, propogate errors to downstream callers and make samtools
 217    return non-zero values once errors occur.
 218
 219 (0.1.9: 27 October 2010, r783)
 220
 221
 222
 223 Beta Release 0.1.8 (11 July, 2010)
 224 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 225
 226 Notable functional changes:
 227
 228  * Added the `reheader' command which replaces a BAM header with a new
 229    header. This command is much faster than replacing header by
 230    BAM->SAM->BAM conversions.
 231
 232  * Added the `mpileup' command which computes the pileup of multiple
 233    alignments.
 234
 235  * The `index' command now stores the number of mapped and unmapped
 236    reads in the index file. This information can be retrieved quickly by
 237    the new `idxstats' command.
 238
 239  * By default, pileup used the SOAPsnp model for SNP calling. This
 240    avoids the floating overflow in the MAQ model which leads to spurious
 241    calls in repetitive regions, although these calls will be immediately
 242    filtered by varFilter.
 243
 244  * The `tview' command now correctly handles CIGARs like 7I10M and
 245    10M1P1I10M which cause assertion failure in earlier versions.
 246
 247  * Tview accepts a region like `=10,000' where `=' stands for the
 248    current sequence name. This saves typing for long sequence names.
 249
 250  * Added the `-d' option to `pileup' which avoids slow indel calling
 251    in ultradeep regions by subsampling reads locally.
 252
 253  * Added the `-R' option to `view' which retrieves alignments in read
 254    groups listed in the specified file.
 255
 256 Performance improvements:
 257
 258  * The BAM->SAM conversion is up to twice faster, depending on the
 259    characteristic of the input.
 260
 261  * Parsing SAM headers with a lot of reference sequences is now much
 262    faster.
 263
 264  * The number of lseek() calls per query is reduced when the query
 265    region contains no read alignments.
 266
 267 Bug fixes:
 268
 269  * Fixed an issue in the indel caller that leads to miscall of indels.
 270    Note that this solution may not work well when the sequencing indel
 271    error rate is higher than the rate of SNPs.
 272
 273  * Fixed another issue in the indel caller which may lead to incorrect
 274    genotype.
 275
 276  * Fixed a bug in `sort' when option `-o' is applied.
 277
 278  * Fixed a bug in `view -r'.
 279
 280 APIs and other changes:
 281
 282  * Added iterator interfaces to random access and pileup. The callback
 283    interfaces directly call the iterator interfaces.
 284
 285  * The BGZF blocks holding the BAM header are indepedent of alignment
 286    BGZF blocks. Alignment records shorter than 64kB is guaranteed to be
 287    fully contained in one BGZF block. This change is fully compatible
 288    with the old version of samtools/picard.
 289
 290 Changes in other utilities:
 291
 292  * Updated export2sam.pl by Chris Saunders.
 293
 294  * Improved the sam2vcf.pl script.
 295
 296  * Added a Python version of varfilter.py by Aylwyn Scally.
 297
 298 (0.1.8: 11 July 2010, r613)
 299
 300
 301
 302 Beta Release 0.1.7 (10 November, 2009)
 303 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 304
 305 Notable changes:
 306
 307  * Improved the indel caller in complex scenariors, in particular for
 308    long reads. The indel caller is now able to make reasonable indel
 309    calls from Craig Venter capillary reads.
 310
 311  * Rewrote single-end duplicate removal with improved
 312    performance. Paired-end reads are not touched.
 313
 314  * Duplicate removal is now library aware. Samtools remove potential
 315    PCR/optical dupliates inside a library rather than across libraries.
 316
 317  * SAM header is now fully parsed, although this functionality is not
 318    used in merging and so on.
 319
 320  * In samtools merge, optionally take the input file name as RG-ID and
 321    attach the RG tag to each alignment.
 322
 323  * Added FTP support in the RAZF library. RAZF-compressed reference
 324    sequence can be retrieved remotely.
 325
 326  * Improved network support for Win32.
 327
 328  * Samtools sort and merge are now stable.
 329
 330 Changes in other utilities:
 331
 332  * Implemented sam2vcf.pl that converts the pileup format to the VCF
 333    format.
 334
 335  * This release of samtools is known to work with the latest
 336    Bio-Samtools Perl module.
 337
 338 (0.1.7: 10 November 2009, r510)
 339
 340
 341
 342 Beta Release 0.1.6 (2 September, 2009)
 343 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 344
 345 Notable changes:
 346
 347  * In tview, do not show a blank screen when no reads mapped to the
 348    corresponding region.
 349
 350  * Implemented native HTTP support in the BGZF library. Samtools is now
 351    able to directly open a BAM file on HTTP. HTTP proxy is also
 352    supported via the "http_proxy" environmental variable.
 353
 354  * Samtools is now compitable with the MinGW (win32) compiler and the
 355    PDCurses library.
 356
 357  * The calmd (or fillmd) command now calculates the NM tag and replaces
 358    MD tags if they are wrong.
 359
 360  * The view command now recognizes and optionally prints FLAG in HEXs or
 361    strings to make a SAM file more friendly to human eyes. This is a
 362    samtools-C extension, not implemented in Picard for the time
 363    being. Please type `samtools view -?' for more information.
 364
 365  * BAM files now have an end-of-file (EOF) marker to facilitate
 366    truncation detection. A warning will be given if an on-disk BAM file
 367    does not have this marker. The warning will be seen on BAM files
 368    generated by an older version of samtools. It does NO harm.
 369
 370  * New key bindings in tview: `r' to show read names and `s' to show
 371    reference skip (N operation) as deletions.
 372
 373  * Fixed a bug in `samtools merge -n'.
 374
 375  * Samtools merge now optionally copies the header of a user specified
 376    SAM file to the resultant BAM output.
 377
 378  * Samtools pileup/tview works with a CIGAR with the first or the last
 379    operation is an indel.
 380
 381  * Fixed a bug in bam_aux_get().
 382
 383
 384 Changes in other utilies:
 385
 386  * Fixed wrong FLAG in maq2sam.
 387
 388
 389 (0.1.6: 2 September 2009, r453)
 390
 391
 392
 393 Beta Release 0.1.5 (7 July, 2009)
 394 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 395
 396 Notable changes:
 397
 398  * Support opening a BAM alignment on FTP. Users can now use "tview" to
 399    view alignments at the NCBI ftp site. Please read manual for more
 400    information.
 401
 402  * In library, propagate errors rather than exit or complain assertion
 403    failure.
 404
 405  * Simplified the building system and fixed compiling errors caused by
 406    zlib<1.2.2.1.
 407
 408  * Fixed an issue about lost header information when a SAM is imported
 409    with "view -t".
 410
 411  * Implemented "samtool.pl varFilter" which filters both SNPs and short
 412    indels. This command replaces "indelFilter".
 413
 414  * Implemented "samtools.pl pileup2fq" to generate FASTQ consensus from
 415    pileup output.
 416
 417  * In pileup, cap mapping quality at 60. This helps filtering when
 418    different aligners are in use.
 419
 420  * In pileup, allow to output variant sites only.
 421
 422  * Made pileup generate correct calls in repetitive region. At the same
 423    time, I am considering to implement a simplified model in SOAPsnp,
 424    although this has not happened yet.
 425
 426  * In view, added '-u' option to output BAM without compression. This
 427    option is preferred when the output is piped to other commands.
 428
 429  * In view, added '-l' and '-r' to get the alignments for one library or
 430    read group. The "@RG" header lines are now partially parsed.
 431
 432  * Do not include command line utilities to libbam.a.
 433
 434  * Fixed memory leaks in pileup and bam_view1().
 435
 436  * Made faidx more tolerant to empty lines right before or after FASTA >
 437    lines.
 438
 439
 440 Changes in other utilities:
 441
 442  * Updated novo2sam.pl by Colin Hercus, the key developer of novoalign.
 443
 444
 445 This release involves several modifications to the key code base which
 446 may potentially introduce new bugs even though we have tried to minimize
 447 this by testing on several examples. Please let us know if you catch
 448 bugs.
 449
 450 (0.1.5: 7 July 2009, r373)
 451
 452
 453
 454 Beta Release 0.1.4 (21 May, 2009)
 455 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 456
 457 Notable changes:
 458
 459  * Added the 'rmdupse' command: removing duplicates for SE reads.
 460
 461  * Fixed a critical bug in the indel caller: clipped alignments are not
 462    processed correctly.
 463
 464  * Fixed a bug in the tview: gapped alignment may be incorrectly
 465    displayed.
 466
 467  * Unified the interface to BAM and SAM I/O. This is done by
 468    implementing a wrapper on top of the old APIs and therefore old APIs
 469    are still valid. The new I/O APIs also recognize the @SQ header
 470    lines.
 471
 472  * Generate the MD tag.
 473
 474  * Generate "=" bases. However, the indel caller will not work when "="
 475    bases are present.
 476
 477  * Enhanced support of color-read display (by Nils Homer).
 478
 479  * Implemented the GNU building system. However, currently the building
 480    system does not generate libbam.a. We will improve this later. For
 481    the time being, `make -f Makefile.generic' is preferred.
 482
 483  * Fixed a minor bug in pileup: the first read in a chromosome may be
 484    skipped.
 485
 486  * Fixed bugs in bam_aux.c. These bugs do not affect other components as
 487    they were not used previously.
 488
 489  * Output the 'SM' tag from maq2sam.
 490
 491 (0.1.4: 21 May 2009, r297)
 492
 493
 494
 495 Beta Release 0.1.3 (15 April, 2009)
 496 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 497
 498 Notable changes in SAMtools:
 499
 500  * SAMtools is more consistent with the specification: a) '*' in the
 501    QUAL field is allowed; b) the field separator is TAB only and SPACE
 502    is treated as a character in a field; c) empty header is allowed.
 503
 504  * Implemented GLFv3 support in pileup.
 505
 506  * Fixed a severe bug in fixmate: strand information is wrongly
 507    overwritten.
 508
 509  * Fixed a bug in alignment retrieval: alignments bridging n*16384bp are
 510    not correctly retrieved sometimes.
 511
 512  * Fixed a bug in rmdup: segfault if unmapped reads are present.
 513
 514  * Move indel_filter.pl to samtools.pl and improved the filtering by
 515    checking the actual number of alignments containing indels. The indel
 516    pileup line is also changed a little to make this filtration easier.
 517
 518  * Fixed a minor bug in indexing: the bin number of an unmapped read is
 519    wrongly calculated.
 520
 521  * Added `flagstat' command to show statistics on the FLAG field.
 522
 523  * Improved indel caller by setting the maximum window size in local
 524    realignment.
 525
 526 Changes in other utilities:
 527
 528  * Fixed a bug in maq2sam: a tag name is obsolete.
 529
 530  * Improvement to wgsim: a) added support for SOLiD read simulation; b)
 531    show the number of substitutions/indels/errors in read name; c)
 532    considerable code clean up.
 533
 534  * Various converters: improved functionality in general.
 535
 536  * Updated the example SAM due to the previous bug in fixmate.
 537
 538 (0.1.3: 15 April 2009, r227)
 539
 540
 541
 542 Beta Release 0.1.2 (28 January, 2008)
 543 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 544
 545 Notable changes in SAMtools:
 546
 547  * Implemented a Bayesian indel caller. The new caller generate scores
 548    and genotype and is potentially more accurate than Maq's indel
 549    caller. The pileup format is also changed accordingly.
 550
 551  * Implemented rmdup command: remove potential PCR duplicates. Note that
 552    this command ONLY works for FR orientation and requires ISIZE is
 553    correctly set.
 554
 555  * Added fixmate command: fill in mate coordinates, ISIZE and mate
 556    related flags from a name-sorted alignment.
 557
 558  * Fixed a bug in indexing: reads bridging 16x kbp were not retrieved.
 559
 560  * Allow to select reads shown in the pileup output with a mask.
 561
 562  * Generate GLFv2 from pileup.
 563
 564  * Added two more flags for flagging PCR/optical duplicates and for QC
 565    failure.
 566
 567  * Fixed a bug in sort command: name sorting for large alignment did not
 568    work.
 569
 570  * Allow to completely disable RAZF (using Makefile.lite) as some people
 571    have problem to compile it.
 572
 573  * Fixed a bug in import command when there are reads without
 574    coordinates.
 575
 576  * Fixed a bug in tview: clipping broke the alignment viewer.
 577
 578  * Fixed a compiling error when _NO_CURSES is applied.
 579
 580  * Fixed a bug in merge command.
 581
 582 Changes in other utilities:
 583
 584  * Added wgsim, a paired-end reads simulator. Wgsim was adapted from
 585    maq's reads simulator. Colin Hercus further improved it to allow
 586    longer indels.
 587
 588  * Added wgsim_eval.pl, a script that evaluates the accuracy of
 589    alignment on reads generated by wgsim.
 590
 591  * Added soap2sam.pl, a SOAP2->SAM converter. This converter does not
 592    work properly when multiple hits are output.
 593
 594  * Added bowtie2sam.pl, a Bowtie->SAM converter. Only the top hit will
 595    be retained when multiple hits are present.
 596
 597  * Fixed a bug in export2sam.pl for QC reads.
 598
 599  * Support RG tag at MAQ->SAM converter.
 600
 601  * Added novo2sam.pl, a NovoAlign->SAM converter. Multiple hits and
 602    indel are not properly handled, though.
 603
 604  * Added zoom2sam.pl, a ZOOM->SAM converter. It only works with the
 605    default Illumina output.
 606
 607 (0.1.2: 28 January 2008; r116)
 608
 609
 610
 611 Beta Release 0.1.1 (22 December, 2008)
 612 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 613
 614 The is the first public release of samtools. For more information,
 615 please check the manual page `samtools.1' and the samtools website
 616 http://samtools.sourceforge.net