NEWS

   1 Beta Release 0.1.9 (27 October, 2010)
   2 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   3
   4 This release is featured as the first major improvement to the samtools'
   5 SNP caller.  It comes with a revised MAQ error model, the support of
   6 multi-sample SNP calling and the computation of base alignment quality
   7 (BAQ).
   8
   9 The revised MAQ error model is based on the original model. It solves an
  10 issue of miscalling SNPs in repetitive regions. Althought such SNPs can
  11 usually be filtered at a later step, they mess up unfiltered calls. This
  12 is a theoretical flaw in the original model. The revised MAQ model
  13 deprecates the orginal MAQ model and the simplified SOAPsnp model.
  14
  15 Multi-sample SNP calling is separated in two steps. The first is done by
  16 samtools mpileup and the second by a new program, bcftools, which is
  17 included in the samtools source code tree. Multi-sample SNP calling also
  18 works for single sample and has the advantage of enabling more powerful
  19 filtration. It is likely to deprecate pileup in future once a proper
  20 indel calling method is implemented.
  21
  22 BAQ is the Phred-scaled probability of a read base being wrongly
  23 aligned. Capping base quality by BAQ has been shown to be very effective
  24 in suppressing false SNPs caused by misalignments around indels or in
  25 low-complexity regions with acceptable compromise on computation
  26 time. This strategy is highly recommended and can be used with other SNP
  27 callers as well.
  28
  29 In addition to the three major improvements, other notable changes are:
  30
  31  * Changes to the pileup format. A reference skip (the N CIGAR operator)
  32    is shown as '<' or '>' depending on the strand. Tview is also changed
  33    accordingly.
  34
  35  * Accelerated pileup. The plain pileup is about 50% faster.
  36
  37  * Regional merge. The merge command now accepts a new option to merge
  38    files in a specified region.
  39
  40  * Fixed a bug in bgzip and razip which causes source files to be
  41    deleted even if option -c is applied.
  42
  43  * In APIs, propogate errors to downstream callers and make samtools
  44    return non-zero values once errors occur.
  45
  46 (0.1.9: 27 October 2010, r783)
  47
  48
  49
  50 Beta Release 0.1.8 (11 July, 2010)
  51 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  52
  53 Notable functional changes:
  54
  55  * Added the `reheader' command which replaces a BAM header with a new
  56    header. This command is much faster than replacing header by
  57    BAM->SAM->BAM conversions.
  58
  59  * Added the `mpileup' command which computes the pileup of multiple
  60    alignments.
  61
  62  * The `index' command now stores the number of mapped and unmapped
  63    reads in the index file. This information can be retrieved quickly by
  64    the new `idxstats' command.
  65
  66  * By default, pileup used the SOAPsnp model for SNP calling. This
  67    avoids the floating overflow in the MAQ model which leads to spurious
  68    calls in repetitive regions, although these calls will be immediately
  69    filtered by varFilter.
  70
  71  * The `tview' command now correctly handles CIGARs like 7I10M and
  72    10M1P1I10M which cause assertion failure in earlier versions.
  73
  74  * Tview accepts a region like `=10,000' where `=' stands for the
  75    current sequence name. This saves typing for long sequence names.
  76
  77  * Added the `-d' option to `pileup' which avoids slow indel calling
  78    in ultradeep regions by subsampling reads locally.
  79
  80  * Added the `-R' option to `view' which retrieves alignments in read
  81    groups listed in the specified file.
  82
  83 Performance improvements:
  84
  85  * The BAM->SAM conversion is up to twice faster, depending on the
  86    characteristic of the input.
  87
  88  * Parsing SAM headers with a lot of reference sequences is now much
  89    faster.
  90
  91  * The number of lseek() calls per query is reduced when the query
  92    region contains no read alignments.
  93
  94 Bug fixes:
  95
  96  * Fixed an issue in the indel caller that leads to miscall of indels.
  97    Note that this solution may not work well when the sequencing indel
  98    error rate is higher than the rate of SNPs.
  99
 100  * Fixed another issue in the indel caller which may lead to incorrect
 101    genotype.
 102
 103  * Fixed a bug in `sort' when option `-o' is applied.
 104
 105  * Fixed a bug in `view -r'.
 106
 107 APIs and other changes:
 108
 109  * Added iterator interfaces to random access and pileup. The callback
 110    interfaces directly call the iterator interfaces.
 111
 112  * The BGZF blocks holding the BAM header are indepedent of alignment
 113    BGZF blocks. Alignment records shorter than 64kB is guaranteed to be
 114    fully contained in one BGZF block. This change is fully compatible
 115    with the old version of samtools/picard.
 116
 117 Changes in other utilities:
 118
 119  * Updated export2sam.pl by Chris Saunders.
 120
 121  * Improved the sam2vcf.pl script.
 122
 123  * Added a Python version of varfilter.py by Aylwyn Scally.
 124
 125 (0.1.8: 11 July 2010, r613)
 126
 127
 128
 129 Beta Release 0.1.7 (10 November, 2009)
 130 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 131
 132 Notable changes:
 133
 134  * Improved the indel caller in complex scenariors, in particular for
 135    long reads. The indel caller is now able to make reasonable indel
 136    calls from Craig Venter capillary reads.
 137
 138  * Rewrote single-end duplicate removal with improved
 139    performance. Paired-end reads are not touched.
 140
 141  * Duplicate removal is now library aware. Samtools remove potential
 142    PCR/optical dupliates inside a library rather than across libraries.
 143
 144  * SAM header is now fully parsed, although this functionality is not
 145    used in merging and so on.
 146
 147  * In samtools merge, optionally take the input file name as RG-ID and
 148    attach the RG tag to each alignment.
 149
 150  * Added FTP support in the RAZF library. RAZF-compressed reference
 151    sequence can be retrieved remotely.
 152
 153  * Improved network support for Win32.
 154
 155  * Samtools sort and merge are now stable.
 156
 157 Changes in other utilities:
 158
 159  * Implemented sam2vcf.pl that converts the pileup format to the VCF
 160    format.
 161
 162  * This release of samtools is known to work with the latest
 163    Bio-Samtools Perl module.
 164
 165 (0.1.7: 10 November 2009, r510)
 166
 167
 168
 169 Beta Release 0.1.6 (2 September, 2009)
 170 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 171
 172 Notable changes:
 173
 174  * In tview, do not show a blank screen when no reads mapped to the
 175    corresponding region.
 176
 177  * Implemented native HTTP support in the BGZF library. Samtools is now
 178    able to directly open a BAM file on HTTP. HTTP proxy is also
 179    supported via the "http_proxy" environmental variable.
 180
 181  * Samtools is now compitable with the MinGW (win32) compiler and the
 182    PDCurses library.
 183
 184  * The calmd (or fillmd) command now calculates the NM tag and replaces
 185    MD tags if they are wrong.
 186
 187  * The view command now recognizes and optionally prints FLAG in HEXs or
 188    strings to make a SAM file more friendly to human eyes. This is a
 189    samtools-C extension, not implemented in Picard for the time
 190    being. Please type `samtools view -?' for more information.
 191
 192  * BAM files now have an end-of-file (EOF) marker to facilitate
 193    truncation detection. A warning will be given if an on-disk BAM file
 194    does not have this marker. The warning will be seen on BAM files
 195    generated by an older version of samtools. It does NO harm.
 196
 197  * New key bindings in tview: `r' to show read names and `s' to show
 198    reference skip (N operation) as deletions.
 199
 200  * Fixed a bug in `samtools merge -n'.
 201
 202  * Samtools merge now optionally copies the header of a user specified
 203    SAM file to the resultant BAM output.
 204
 205  * Samtools pileup/tview works with a CIGAR with the first or the last
 206    operation is an indel.
 207
 208  * Fixed a bug in bam_aux_get().
 209
 210
 211 Changes in other utilies:
 212
 213  * Fixed wrong FLAG in maq2sam.
 214
 215
 216 (0.1.6: 2 September 2009, r453)
 217
 218
 219
 220 Beta Release 0.1.5 (7 July, 2009)
 221 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 222
 223 Notable changes:
 224
 225  * Support opening a BAM alignment on FTP. Users can now use "tview" to
 226    view alignments at the NCBI ftp site. Please read manual for more
 227    information.
 228
 229  * In library, propagate errors rather than exit or complain assertion
 230    failure.
 231
 232  * Simplified the building system and fixed compiling errors caused by
 233    zlib<1.2.2.1.
 234
 235  * Fixed an issue about lost header information when a SAM is imported
 236    with "view -t".
 237
 238  * Implemented "samtool.pl varFilter" which filters both SNPs and short
 239    indels. This command replaces "indelFilter".
 240
 241  * Implemented "samtools.pl pileup2fq" to generate FASTQ consensus from
 242    pileup output.
 243
 244  * In pileup, cap mapping quality at 60. This helps filtering when
 245    different aligners are in use.
 246
 247  * In pileup, allow to output variant sites only.
 248
 249  * Made pileup generate correct calls in repetitive region. At the same
 250    time, I am considering to implement a simplified model in SOAPsnp,
 251    although this has not happened yet.
 252
 253  * In view, added '-u' option to output BAM without compression. This
 254    option is preferred when the output is piped to other commands.
 255
 256  * In view, added '-l' and '-r' to get the alignments for one library or
 257    read group. The "@RG" header lines are now partially parsed.
 258
 259  * Do not include command line utilities to libbam.a.
 260
 261  * Fixed memory leaks in pileup and bam_view1().
 262
 263  * Made faidx more tolerant to empty lines right before or after FASTA >
 264    lines.
 265
 266
 267 Changes in other utilities:
 268
 269  * Updated novo2sam.pl by Colin Hercus, the key developer of novoalign.
 270
 271
 272 This release involves several modifications to the key code base which
 273 may potentially introduce new bugs even though we have tried to minimize
 274 this by testing on several examples. Please let us know if you catch
 275 bugs.
 276
 277 (0.1.5: 7 July 2009, r373)
 278
 279
 280
 281 Beta Release 0.1.4 (21 May, 2009)
 282 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 283
 284 Notable changes:
 285
 286  * Added the 'rmdupse' command: removing duplicates for SE reads.
 287
 288  * Fixed a critical bug in the indel caller: clipped alignments are not
 289    processed correctly.
 290
 291  * Fixed a bug in the tview: gapped alignment may be incorrectly
 292    displayed.
 293
 294  * Unified the interface to BAM and SAM I/O. This is done by
 295    implementing a wrapper on top of the old APIs and therefore old APIs
 296    are still valid. The new I/O APIs also recognize the @SQ header
 297    lines.
 298
 299  * Generate the MD tag.
 300
 301  * Generate "=" bases. However, the indel caller will not work when "="
 302    bases are present.
 303
 304  * Enhanced support of color-read display (by Nils Homer).
 305
 306  * Implemented the GNU building system. However, currently the building
 307    system does not generate libbam.a. We will improve this later. For
 308    the time being, `make -f Makefile.generic' is preferred.
 309
 310  * Fixed a minor bug in pileup: the first read in a chromosome may be
 311    skipped.
 312
 313  * Fixed bugs in bam_aux.c. These bugs do not affect other components as
 314    they were not used previously.
 315
 316  * Output the 'SM' tag from maq2sam.
 317
 318 (0.1.4: 21 May 2009, r297)
 319
 320
 321
 322 Beta Release 0.1.3 (15 April, 2009)
 323 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 324
 325 Notable changes in SAMtools:
 326
 327  * SAMtools is more consistent with the specification: a) '*' in the
 328    QUAL field is allowed; b) the field separator is TAB only and SPACE
 329    is treated as a character in a field; c) empty header is allowed.
 330
 331  * Implemented GLFv3 support in pileup.
 332
 333  * Fixed a severe bug in fixmate: strand information is wrongly
 334    overwritten.
 335
 336  * Fixed a bug in alignment retrieval: alignments bridging n*16384bp are
 337    not correctly retrieved sometimes.
 338
 339  * Fixed a bug in rmdup: segfault if unmapped reads are present.
 340
 341  * Move indel_filter.pl to samtools.pl and improved the filtering by
 342    checking the actual number of alignments containing indels. The indel
 343    pileup line is also changed a little to make this filtration easier.
 344
 345  * Fixed a minor bug in indexing: the bin number of an unmapped read is
 346    wrongly calculated.
 347
 348  * Added `flagstat' command to show statistics on the FLAG field.
 349
 350  * Improved indel caller by setting the maximum window size in local
 351    realignment.
 352
 353 Changes in other utilities:
 354
 355  * Fixed a bug in maq2sam: a tag name is obsolete.
 356
 357  * Improvement to wgsim: a) added support for SOLiD read simulation; b)
 358    show the number of substitutions/indels/errors in read name; c)
 359    considerable code clean up.
 360
 361  * Various converters: improved functionality in general.
 362
 363  * Updated the example SAM due to the previous bug in fixmate.
 364
 365 (0.1.3: 15 April 2009, r227)
 366
 367
 368
 369 Beta Release 0.1.2 (28 January, 2008)
 370 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 371
 372 Notable changes in SAMtools:
 373
 374  * Implemented a Bayesian indel caller. The new caller generate scores
 375    and genotype and is potentially more accurate than Maq's indel
 376    caller. The pileup format is also changed accordingly.
 377
 378  * Implemented rmdup command: remove potential PCR duplicates. Note that
 379    this command ONLY works for FR orientation and requires ISIZE is
 380    correctly set.
 381
 382  * Added fixmate command: fill in mate coordinates, ISIZE and mate
 383    related flags from a name-sorted alignment.
 384
 385  * Fixed a bug in indexing: reads bridging 16x kbp were not retrieved.
 386
 387  * Allow to select reads shown in the pileup output with a mask.
 388
 389  * Generate GLFv2 from pileup.
 390
 391  * Added two more flags for flagging PCR/optical duplicates and for QC
 392    failure.
 393
 394  * Fixed a bug in sort command: name sorting for large alignment did not
 395    work.
 396
 397  * Allow to completely disable RAZF (using Makefile.lite) as some people
 398    have problem to compile it.
 399
 400  * Fixed a bug in import command when there are reads without
 401    coordinates.
 402
 403  * Fixed a bug in tview: clipping broke the alignment viewer.
 404
 405  * Fixed a compiling error when _NO_CURSES is applied.
 406
 407  * Fixed a bug in merge command.
 408
 409 Changes in other utilities:
 410
 411  * Added wgsim, a paired-end reads simulator. Wgsim was adapted from
 412    maq's reads simulator. Colin Hercus further improved it to allow
 413    longer indels.
 414
 415  * Added wgsim_eval.pl, a script that evaluates the accuracy of
 416    alignment on reads generated by wgsim.
 417
 418  * Added soap2sam.pl, a SOAP2->SAM converter. This converter does not
 419    work properly when multiple hits are output.
 420
 421  * Added bowtie2sam.pl, a Bowtie->SAM converter. Only the top hit will
 422    be retained when multiple hits are present.
 423
 424  * Fixed a bug in export2sam.pl for QC reads.
 425
 426  * Support RG tag at MAQ->SAM converter.
 427
 428  * Added novo2sam.pl, a NovoAlign->SAM converter. Multiple hits and
 429    indel are not properly handled, though.
 430
 431  * Added zoom2sam.pl, a ZOOM->SAM converter. It only works with the
 432    default Illumina output.
 433
 434 (0.1.2: 28 January 2008; r116)
 435
 436
 437
 438 Beta Release 0.1.1 (22 December, 2008)
 439 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 440
 441 The is the first public release of samtools. For more information,
 442 please check the manual page `samtools.1' and the samtools website
 443 http://samtools.sourceforge.net