NEWS

   1 Beta release 0.1.12a (2 December, 2010)
   2 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   3
   4 This is another bug fix release:
   5
   6  * Fixed a memory violation in mpileup, which causes segfault. Release
   7    0.1.9 and above are affected.
   8
   9  * Fixed a memory violation in the indel caller, which does not causes
  10    segfault, but may potentially affect deletion calls in an unexpected
  11    way. Release 0.1.10 and above are affected.
  12
  13  * Fixed a bug in computing r-square in bcftools. Few are using this
  14    functionality and it only has minor effect.
  15
  16  * Fixed a memory leak in bam_fetch().
  17
  18  * Fixed a bug in writing meta information to the BAM index for the last
  19    sequence. This bug is invisible to most users, but it is a bug anyway.
  20
  21  * Fixed a bug in bcftools which causes false "DP4=0,0,0,0" annotations.
  22
  23 (0.1.12: 2 December 2010, r862)
  24
  25
  26
  27 Beta release 0.1.11 (21 November, 2010)
  28 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  29
  30 This is mainly a bug fix release:
  31
  32  * Fixed a bug in random retrieval (since 0.1.8). It occurs when reads
  33    are retrieved from a small region containing no reads.
  34
  35  * Fixed a bug in pileup (since 0.1.9). The bug causes an assertion
  36    failure when the first CIGAR operation is a deletion.
  37
  38  * Improved fault tolerence in remote access.
  39
  40 One minor feature has been implemented in bcftools:
  41
  42  * Added a reference-free variant calling mode. In this mode, a site is
  43    regarded as a variat iff the sample(s) contains two or more alleles;
  44    the meaning of the QUAL field in the VCF output is changed
  45    accordingly. Effectively, the reference allele is irrelevant to the
  46    result in the new mode, although the reference sequence has to be
  47    used in realignment when SAMtools computes genotype likelihoods.
  48
  49 In addition, since 0.1.10, the `pileup' command has been deprecated by
  50 `mpileup' which is more powerful and more accurate. The `pileup' command
  51 will not be removed in the next few releases, but new features will not
  52 be added.
  53
  54 (0.1.11: 21 November 2010, r851)
  55
  56
  57
  58 Beta Release 0.1.10 (16 November, 2010)
  59 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  60
  61 This release is featured as the first major improvement to the indel
  62 caller. The method is similar to the old one implemented in the pileup
  63 command, but the details are handled more carefully both in theory and
  64 in practice. As a result, the new indel caller usually gives more
  65 accurate indel calls, though at the cost of sensitivity. The caller is
  66 implemented in the mpileup command and is invoked by default. It works
  67 with multiple samples.
  68
  69 Other notable changes:
  70
  71  * With the -r option, the calmd command writes the difference between
  72    the original base quality and the BAQ capped base quality at the BQ
  73    tag but does not modify the base quality. Please use -Ar to overwrite
  74    the original base quality (the 0.1.9 behavior).
  75
  76  * Allow to set a maximum per-sample read depth to reduce memory. In
  77    0.1.9, most of memory is wasted for the ultra high read depth in some
  78    regions (e.g. the chr1 centromere).
  79
  80  * Optionally write per-sample read depth and per-sample strand bias
  81    P-value.
  82
  83  * Compute equal-tail (Bayesian) credible interval of site allele
  84    frequency at the CI95 VCF annotation.
  85
  86  * Merged the vcfutils.pl varFilter and filter4vcf for better SNP/indel
  87    filtering.
  88
  89 (0.1.10: 16 November 2010, r829)
  90
  91
  92
  93 Beta Release 0.1.9 (27 October, 2010)
  94 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  95
  96 This release is featured as the first major improvement to the samtools'
  97 SNP caller.  It comes with a revised MAQ error model, the support of
  98 multi-sample SNP calling and the computation of base alignment quality
  99 (BAQ).
 100
 101 The revised MAQ error model is based on the original model. It solves an
 102 issue of miscalling SNPs in repetitive regions. Althought such SNPs can
 103 usually be filtered at a later step, they mess up unfiltered calls. This
 104 is a theoretical flaw in the original model. The revised MAQ model
 105 deprecates the orginal MAQ model and the simplified SOAPsnp model.
 106
 107 Multi-sample SNP calling is separated in two steps. The first is done by
 108 samtools mpileup and the second by a new program, bcftools, which is
 109 included in the samtools source code tree. Multi-sample SNP calling also
 110 works for single sample and has the advantage of enabling more powerful
 111 filtration. It is likely to deprecate pileup in future once a proper
 112 indel calling method is implemented.
 113
 114 BAQ is the Phred-scaled probability of a read base being wrongly
 115 aligned. Capping base quality by BAQ has been shown to be very effective
 116 in suppressing false SNPs caused by misalignments around indels or in
 117 low-complexity regions with acceptable compromise on computation
 118 time. This strategy is highly recommended and can be used with other SNP
 119 callers as well.
 120
 121 In addition to the three major improvements, other notable changes are:
 122
 123  * Changes to the pileup format. A reference skip (the N CIGAR operator)
 124    is shown as '<' or '>' depending on the strand. Tview is also changed
 125    accordingly.
 126
 127  * Accelerated pileup. The plain pileup is about 50% faster.
 128
 129  * Regional merge. The merge command now accepts a new option to merge
 130    files in a specified region.
 131
 132  * Fixed a bug in bgzip and razip which causes source files to be
 133    deleted even if option -c is applied.
 134
 135  * In APIs, propogate errors to downstream callers and make samtools
 136    return non-zero values once errors occur.
 137
 138 (0.1.9: 27 October 2010, r783)
 139
 140
 141
 142 Beta Release 0.1.8 (11 July, 2010)
 143 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 144
 145 Notable functional changes:
 146
 147  * Added the `reheader' command which replaces a BAM header with a new
 148    header. This command is much faster than replacing header by
 149    BAM->SAM->BAM conversions.
 150
 151  * Added the `mpileup' command which computes the pileup of multiple
 152    alignments.
 153
 154  * The `index' command now stores the number of mapped and unmapped
 155    reads in the index file. This information can be retrieved quickly by
 156    the new `idxstats' command.
 157
 158  * By default, pileup used the SOAPsnp model for SNP calling. This
 159    avoids the floating overflow in the MAQ model which leads to spurious
 160    calls in repetitive regions, although these calls will be immediately
 161    filtered by varFilter.
 162
 163  * The `tview' command now correctly handles CIGARs like 7I10M and
 164    10M1P1I10M which cause assertion failure in earlier versions.
 165
 166  * Tview accepts a region like `=10,000' where `=' stands for the
 167    current sequence name. This saves typing for long sequence names.
 168
 169  * Added the `-d' option to `pileup' which avoids slow indel calling
 170    in ultradeep regions by subsampling reads locally.
 171
 172  * Added the `-R' option to `view' which retrieves alignments in read
 173    groups listed in the specified file.
 174
 175 Performance improvements:
 176
 177  * The BAM->SAM conversion is up to twice faster, depending on the
 178    characteristic of the input.
 179
 180  * Parsing SAM headers with a lot of reference sequences is now much
 181    faster.
 182
 183  * The number of lseek() calls per query is reduced when the query
 184    region contains no read alignments.
 185
 186 Bug fixes:
 187
 188  * Fixed an issue in the indel caller that leads to miscall of indels.
 189    Note that this solution may not work well when the sequencing indel
 190    error rate is higher than the rate of SNPs.
 191
 192  * Fixed another issue in the indel caller which may lead to incorrect
 193    genotype.
 194
 195  * Fixed a bug in `sort' when option `-o' is applied.
 196
 197  * Fixed a bug in `view -r'.
 198
 199 APIs and other changes:
 200
 201  * Added iterator interfaces to random access and pileup. The callback
 202    interfaces directly call the iterator interfaces.
 203
 204  * The BGZF blocks holding the BAM header are indepedent of alignment
 205    BGZF blocks. Alignment records shorter than 64kB is guaranteed to be
 206    fully contained in one BGZF block. This change is fully compatible
 207    with the old version of samtools/picard.
 208
 209 Changes in other utilities:
 210
 211  * Updated export2sam.pl by Chris Saunders.
 212
 213  * Improved the sam2vcf.pl script.
 214
 215  * Added a Python version of varfilter.py by Aylwyn Scally.
 216
 217 (0.1.8: 11 July 2010, r613)
 218
 219
 220
 221 Beta Release 0.1.7 (10 November, 2009)
 222 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 223
 224 Notable changes:
 225
 226  * Improved the indel caller in complex scenariors, in particular for
 227    long reads. The indel caller is now able to make reasonable indel
 228    calls from Craig Venter capillary reads.
 229
 230  * Rewrote single-end duplicate removal with improved
 231    performance. Paired-end reads are not touched.
 232
 233  * Duplicate removal is now library aware. Samtools remove potential
 234    PCR/optical dupliates inside a library rather than across libraries.
 235
 236  * SAM header is now fully parsed, although this functionality is not
 237    used in merging and so on.
 238
 239  * In samtools merge, optionally take the input file name as RG-ID and
 240    attach the RG tag to each alignment.
 241
 242  * Added FTP support in the RAZF library. RAZF-compressed reference
 243    sequence can be retrieved remotely.
 244
 245  * Improved network support for Win32.
 246
 247  * Samtools sort and merge are now stable.
 248
 249 Changes in other utilities:
 250
 251  * Implemented sam2vcf.pl that converts the pileup format to the VCF
 252    format.
 253
 254  * This release of samtools is known to work with the latest
 255    Bio-Samtools Perl module.
 256
 257 (0.1.7: 10 November 2009, r510)
 258
 259
 260
 261 Beta Release 0.1.6 (2 September, 2009)
 262 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 263
 264 Notable changes:
 265
 266  * In tview, do not show a blank screen when no reads mapped to the
 267    corresponding region.
 268
 269  * Implemented native HTTP support in the BGZF library. Samtools is now
 270    able to directly open a BAM file on HTTP. HTTP proxy is also
 271    supported via the "http_proxy" environmental variable.
 272
 273  * Samtools is now compitable with the MinGW (win32) compiler and the
 274    PDCurses library.
 275
 276  * The calmd (or fillmd) command now calculates the NM tag and replaces
 277    MD tags if they are wrong.
 278
 279  * The view command now recognizes and optionally prints FLAG in HEXs or
 280    strings to make a SAM file more friendly to human eyes. This is a
 281    samtools-C extension, not implemented in Picard for the time
 282    being. Please type `samtools view -?' for more information.
 283
 284  * BAM files now have an end-of-file (EOF) marker to facilitate
 285    truncation detection. A warning will be given if an on-disk BAM file
 286    does not have this marker. The warning will be seen on BAM files
 287    generated by an older version of samtools. It does NO harm.
 288
 289  * New key bindings in tview: `r' to show read names and `s' to show
 290    reference skip (N operation) as deletions.
 291
 292  * Fixed a bug in `samtools merge -n'.
 293
 294  * Samtools merge now optionally copies the header of a user specified
 295    SAM file to the resultant BAM output.
 296
 297  * Samtools pileup/tview works with a CIGAR with the first or the last
 298    operation is an indel.
 299
 300  * Fixed a bug in bam_aux_get().
 301
 302
 303 Changes in other utilies:
 304
 305  * Fixed wrong FLAG in maq2sam.
 306
 307
 308 (0.1.6: 2 September 2009, r453)
 309
 310
 311
 312 Beta Release 0.1.5 (7 July, 2009)
 313 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 314
 315 Notable changes:
 316
 317  * Support opening a BAM alignment on FTP. Users can now use "tview" to
 318    view alignments at the NCBI ftp site. Please read manual for more
 319    information.
 320
 321  * In library, propagate errors rather than exit or complain assertion
 322    failure.
 323
 324  * Simplified the building system and fixed compiling errors caused by
 325    zlib<1.2.2.1.
 326
 327  * Fixed an issue about lost header information when a SAM is imported
 328    with "view -t".
 329
 330  * Implemented "samtool.pl varFilter" which filters both SNPs and short
 331    indels. This command replaces "indelFilter".
 332
 333  * Implemented "samtools.pl pileup2fq" to generate FASTQ consensus from
 334    pileup output.
 335
 336  * In pileup, cap mapping quality at 60. This helps filtering when
 337    different aligners are in use.
 338
 339  * In pileup, allow to output variant sites only.
 340
 341  * Made pileup generate correct calls in repetitive region. At the same
 342    time, I am considering to implement a simplified model in SOAPsnp,
 343    although this has not happened yet.
 344
 345  * In view, added '-u' option to output BAM without compression. This
 346    option is preferred when the output is piped to other commands.
 347
 348  * In view, added '-l' and '-r' to get the alignments for one library or
 349    read group. The "@RG" header lines are now partially parsed.
 350
 351  * Do not include command line utilities to libbam.a.
 352
 353  * Fixed memory leaks in pileup and bam_view1().
 354
 355  * Made faidx more tolerant to empty lines right before or after FASTA >
 356    lines.
 357
 358
 359 Changes in other utilities:
 360
 361  * Updated novo2sam.pl by Colin Hercus, the key developer of novoalign.
 362
 363
 364 This release involves several modifications to the key code base which
 365 may potentially introduce new bugs even though we have tried to minimize
 366 this by testing on several examples. Please let us know if you catch
 367 bugs.
 368
 369 (0.1.5: 7 July 2009, r373)
 370
 371
 372
 373 Beta Release 0.1.4 (21 May, 2009)
 374 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 375
 376 Notable changes:
 377
 378  * Added the 'rmdupse' command: removing duplicates for SE reads.
 379
 380  * Fixed a critical bug in the indel caller: clipped alignments are not
 381    processed correctly.
 382
 383  * Fixed a bug in the tview: gapped alignment may be incorrectly
 384    displayed.
 385
 386  * Unified the interface to BAM and SAM I/O. This is done by
 387    implementing a wrapper on top of the old APIs and therefore old APIs
 388    are still valid. The new I/O APIs also recognize the @SQ header
 389    lines.
 390
 391  * Generate the MD tag.
 392
 393  * Generate "=" bases. However, the indel caller will not work when "="
 394    bases are present.
 395
 396  * Enhanced support of color-read display (by Nils Homer).
 397
 398  * Implemented the GNU building system. However, currently the building
 399    system does not generate libbam.a. We will improve this later. For
 400    the time being, `make -f Makefile.generic' is preferred.
 401
 402  * Fixed a minor bug in pileup: the first read in a chromosome may be
 403    skipped.
 404
 405  * Fixed bugs in bam_aux.c. These bugs do not affect other components as
 406    they were not used previously.
 407
 408  * Output the 'SM' tag from maq2sam.
 409
 410 (0.1.4: 21 May 2009, r297)
 411
 412
 413
 414 Beta Release 0.1.3 (15 April, 2009)
 415 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 416
 417 Notable changes in SAMtools:
 418
 419  * SAMtools is more consistent with the specification: a) '*' in the
 420    QUAL field is allowed; b) the field separator is TAB only and SPACE
 421    is treated as a character in a field; c) empty header is allowed.
 422
 423  * Implemented GLFv3 support in pileup.
 424
 425  * Fixed a severe bug in fixmate: strand information is wrongly
 426    overwritten.
 427
 428  * Fixed a bug in alignment retrieval: alignments bridging n*16384bp are
 429    not correctly retrieved sometimes.
 430
 431  * Fixed a bug in rmdup: segfault if unmapped reads are present.
 432
 433  * Move indel_filter.pl to samtools.pl and improved the filtering by
 434    checking the actual number of alignments containing indels. The indel
 435    pileup line is also changed a little to make this filtration easier.
 436
 437  * Fixed a minor bug in indexing: the bin number of an unmapped read is
 438    wrongly calculated.
 439
 440  * Added `flagstat' command to show statistics on the FLAG field.
 441
 442  * Improved indel caller by setting the maximum window size in local
 443    realignment.
 444
 445 Changes in other utilities:
 446
 447  * Fixed a bug in maq2sam: a tag name is obsolete.
 448
 449  * Improvement to wgsim: a) added support for SOLiD read simulation; b)
 450    show the number of substitutions/indels/errors in read name; c)
 451    considerable code clean up.
 452
 453  * Various converters: improved functionality in general.
 454
 455  * Updated the example SAM due to the previous bug in fixmate.
 456
 457 (0.1.3: 15 April 2009, r227)
 458
 459
 460
 461 Beta Release 0.1.2 (28 January, 2008)
 462 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 463
 464 Notable changes in SAMtools:
 465
 466  * Implemented a Bayesian indel caller. The new caller generate scores
 467    and genotype and is potentially more accurate than Maq's indel
 468    caller. The pileup format is also changed accordingly.
 469
 470  * Implemented rmdup command: remove potential PCR duplicates. Note that
 471    this command ONLY works for FR orientation and requires ISIZE is
 472    correctly set.
 473
 474  * Added fixmate command: fill in mate coordinates, ISIZE and mate
 475    related flags from a name-sorted alignment.
 476
 477  * Fixed a bug in indexing: reads bridging 16x kbp were not retrieved.
 478
 479  * Allow to select reads shown in the pileup output with a mask.
 480
 481  * Generate GLFv2 from pileup.
 482
 483  * Added two more flags for flagging PCR/optical duplicates and for QC
 484    failure.
 485
 486  * Fixed a bug in sort command: name sorting for large alignment did not
 487    work.
 488
 489  * Allow to completely disable RAZF (using Makefile.lite) as some people
 490    have problem to compile it.
 491
 492  * Fixed a bug in import command when there are reads without
 493    coordinates.
 494
 495  * Fixed a bug in tview: clipping broke the alignment viewer.
 496
 497  * Fixed a compiling error when _NO_CURSES is applied.
 498
 499  * Fixed a bug in merge command.
 500
 501 Changes in other utilities:
 502
 503  * Added wgsim, a paired-end reads simulator. Wgsim was adapted from
 504    maq's reads simulator. Colin Hercus further improved it to allow
 505    longer indels.
 506
 507  * Added wgsim_eval.pl, a script that evaluates the accuracy of
 508    alignment on reads generated by wgsim.
 509
 510  * Added soap2sam.pl, a SOAP2->SAM converter. This converter does not
 511    work properly when multiple hits are output.
 512
 513  * Added bowtie2sam.pl, a Bowtie->SAM converter. Only the top hit will
 514    be retained when multiple hits are present.
 515
 516  * Fixed a bug in export2sam.pl for QC reads.
 517
 518  * Support RG tag at MAQ->SAM converter.
 519
 520  * Added novo2sam.pl, a NovoAlign->SAM converter. Multiple hits and
 521    indel are not properly handled, though.
 522
 523  * Added zoom2sam.pl, a ZOOM->SAM converter. It only works with the
 524    default Illumina output.
 525
 526 (0.1.2: 28 January 2008; r116)
 527
 528
 529
 530 Beta Release 0.1.1 (22 December, 2008)
 531 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 532
 533 The is the first public release of samtools. For more information,
 534 please check the manual page `samtools.1' and the samtools website
 535 http://samtools.sourceforge.net