NEWS

   1 Beta release 0.1.11 (21 November, 2010)
   2 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   3
   4 This is mainly a bug fix release:
   5
   6  * Fixed a bug in random retrieval (since 0.1.8). It occurs when reads
   7    are retrieved from a small region containing no reads.
   8
   9  * Fixed a bug in pileup (since 0.1.9). The bug causes an assertion
  10    failure when the first CIGAR operation is a deletion.
  11
  12  * Improved fault tolerence in remote access.
  13
  14 One minor feature has been implemented in bcftools:
  15
  16  * Added a reference-free variant calling mode. In this mode, a site is
  17    regarded as a variat iff the sample(s) contains two or more alleles;
  18    the meaning of the QUAL field in the VCF output is changed
  19    accordingly. Effectively, the reference allele is irrelevant to the
  20    result in the new mode, although the reference sequence has to be
  21    used in realignment when SAMtools computes genotype likelihoods.
  22
  23 In addition, since 0.1.10, the `pileup' command has been deprecated by
  24 `mpileup' which is more powerful and more accurate. The `pileup' command
  25 will not be removed in the next few releases, but new features will not
  26 be added.
  27
  28 (0.1.11: 21 November 2010, r851)
  29
  30
  31
  32 Beta Release 0.1.10 (16 November, 2010)
  33 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  34
  35 This release is featured as the first major improvement to the indel
  36 caller. The method is similar to the old one implemented in the pileup
  37 command, but the details are handled more carefully both in theory and
  38 in practice. As a result, the new indel caller usually gives more
  39 accurate indel calls, though at the cost of sensitivity. The caller is
  40 implemented in the mpileup command and is invoked by default. It works
  41 with multiple samples.
  42
  43 Other notable changes:
  44
  45  * With the -r option, the calmd command writes the difference between
  46    the original base quality and the BAQ capped base quality at the BQ
  47    tag but does not modify the base quality. Please use -Ar to overwrite
  48    the original base quality (the 0.1.9 behavior).
  49
  50  * Allow to set a maximum per-sample read depth to reduce memory. In
  51    0.1.9, most of memory is wasted for the ultra high read depth in some
  52    regions (e.g. the chr1 centromere).
  53
  54  * Optionally write per-sample read depth and per-sample strand bias
  55    P-value.
  56
  57  * Compute equal-tail (Bayesian) credible interval of site allele
  58    frequency at the CI95 VCF annotation.
  59
  60  * Merged the vcfutils.pl varFilter and filter4vcf for better SNP/indel
  61    filtering.
  62
  63 (0.1.10: 16 November 2010, r829)
  64
  65
  66
  67 Beta Release 0.1.9 (27 October, 2010)
  68 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  69
  70 This release is featured as the first major improvement to the samtools'
  71 SNP caller.  It comes with a revised MAQ error model, the support of
  72 multi-sample SNP calling and the computation of base alignment quality
  73 (BAQ).
  74
  75 The revised MAQ error model is based on the original model. It solves an
  76 issue of miscalling SNPs in repetitive regions. Althought such SNPs can
  77 usually be filtered at a later step, they mess up unfiltered calls. This
  78 is a theoretical flaw in the original model. The revised MAQ model
  79 deprecates the orginal MAQ model and the simplified SOAPsnp model.
  80
  81 Multi-sample SNP calling is separated in two steps. The first is done by
  82 samtools mpileup and the second by a new program, bcftools, which is
  83 included in the samtools source code tree. Multi-sample SNP calling also
  84 works for single sample and has the advantage of enabling more powerful
  85 filtration. It is likely to deprecate pileup in future once a proper
  86 indel calling method is implemented.
  87
  88 BAQ is the Phred-scaled probability of a read base being wrongly
  89 aligned. Capping base quality by BAQ has been shown to be very effective
  90 in suppressing false SNPs caused by misalignments around indels or in
  91 low-complexity regions with acceptable compromise on computation
  92 time. This strategy is highly recommended and can be used with other SNP
  93 callers as well.
  94
  95 In addition to the three major improvements, other notable changes are:
  96
  97  * Changes to the pileup format. A reference skip (the N CIGAR operator)
  98    is shown as '<' or '>' depending on the strand. Tview is also changed
  99    accordingly.
 100
 101  * Accelerated pileup. The plain pileup is about 50% faster.
 102
 103  * Regional merge. The merge command now accepts a new option to merge
 104    files in a specified region.
 105
 106  * Fixed a bug in bgzip and razip which causes source files to be
 107    deleted even if option -c is applied.
 108
 109  * In APIs, propogate errors to downstream callers and make samtools
 110    return non-zero values once errors occur.
 111
 112 (0.1.9: 27 October 2010, r783)
 113
 114
 115
 116 Beta Release 0.1.8 (11 July, 2010)
 117 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 118
 119 Notable functional changes:
 120
 121  * Added the `reheader' command which replaces a BAM header with a new
 122    header. This command is much faster than replacing header by
 123    BAM->SAM->BAM conversions.
 124
 125  * Added the `mpileup' command which computes the pileup of multiple
 126    alignments.
 127
 128  * The `index' command now stores the number of mapped and unmapped
 129    reads in the index file. This information can be retrieved quickly by
 130    the new `idxstats' command.
 131
 132  * By default, pileup used the SOAPsnp model for SNP calling. This
 133    avoids the floating overflow in the MAQ model which leads to spurious
 134    calls in repetitive regions, although these calls will be immediately
 135    filtered by varFilter.
 136
 137  * The `tview' command now correctly handles CIGARs like 7I10M and
 138    10M1P1I10M which cause assertion failure in earlier versions.
 139
 140  * Tview accepts a region like `=10,000' where `=' stands for the
 141    current sequence name. This saves typing for long sequence names.
 142
 143  * Added the `-d' option to `pileup' which avoids slow indel calling
 144    in ultradeep regions by subsampling reads locally.
 145
 146  * Added the `-R' option to `view' which retrieves alignments in read
 147    groups listed in the specified file.
 148
 149 Performance improvements:
 150
 151  * The BAM->SAM conversion is up to twice faster, depending on the
 152    characteristic of the input.
 153
 154  * Parsing SAM headers with a lot of reference sequences is now much
 155    faster.
 156
 157  * The number of lseek() calls per query is reduced when the query
 158    region contains no read alignments.
 159
 160 Bug fixes:
 161
 162  * Fixed an issue in the indel caller that leads to miscall of indels.
 163    Note that this solution may not work well when the sequencing indel
 164    error rate is higher than the rate of SNPs.
 165
 166  * Fixed another issue in the indel caller which may lead to incorrect
 167    genotype.
 168
 169  * Fixed a bug in `sort' when option `-o' is applied.
 170
 171  * Fixed a bug in `view -r'.
 172
 173 APIs and other changes:
 174
 175  * Added iterator interfaces to random access and pileup. The callback
 176    interfaces directly call the iterator interfaces.
 177
 178  * The BGZF blocks holding the BAM header are indepedent of alignment
 179    BGZF blocks. Alignment records shorter than 64kB is guaranteed to be
 180    fully contained in one BGZF block. This change is fully compatible
 181    with the old version of samtools/picard.
 182
 183 Changes in other utilities:
 184
 185  * Updated export2sam.pl by Chris Saunders.
 186
 187  * Improved the sam2vcf.pl script.
 188
 189  * Added a Python version of varfilter.py by Aylwyn Scally.
 190
 191 (0.1.8: 11 July 2010, r613)
 192
 193
 194
 195 Beta Release 0.1.7 (10 November, 2009)
 196 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 197
 198 Notable changes:
 199
 200  * Improved the indel caller in complex scenariors, in particular for
 201    long reads. The indel caller is now able to make reasonable indel
 202    calls from Craig Venter capillary reads.
 203
 204  * Rewrote single-end duplicate removal with improved
 205    performance. Paired-end reads are not touched.
 206
 207  * Duplicate removal is now library aware. Samtools remove potential
 208    PCR/optical dupliates inside a library rather than across libraries.
 209
 210  * SAM header is now fully parsed, although this functionality is not
 211    used in merging and so on.
 212
 213  * In samtools merge, optionally take the input file name as RG-ID and
 214    attach the RG tag to each alignment.
 215
 216  * Added FTP support in the RAZF library. RAZF-compressed reference
 217    sequence can be retrieved remotely.
 218
 219  * Improved network support for Win32.
 220
 221  * Samtools sort and merge are now stable.
 222
 223 Changes in other utilities:
 224
 225  * Implemented sam2vcf.pl that converts the pileup format to the VCF
 226    format.
 227
 228  * This release of samtools is known to work with the latest
 229    Bio-Samtools Perl module.
 230
 231 (0.1.7: 10 November 2009, r510)
 232
 233
 234
 235 Beta Release 0.1.6 (2 September, 2009)
 236 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 237
 238 Notable changes:
 239
 240  * In tview, do not show a blank screen when no reads mapped to the
 241    corresponding region.
 242
 243  * Implemented native HTTP support in the BGZF library. Samtools is now
 244    able to directly open a BAM file on HTTP. HTTP proxy is also
 245    supported via the "http_proxy" environmental variable.
 246
 247  * Samtools is now compitable with the MinGW (win32) compiler and the
 248    PDCurses library.
 249
 250  * The calmd (or fillmd) command now calculates the NM tag and replaces
 251    MD tags if they are wrong.
 252
 253  * The view command now recognizes and optionally prints FLAG in HEXs or
 254    strings to make a SAM file more friendly to human eyes. This is a
 255    samtools-C extension, not implemented in Picard for the time
 256    being. Please type `samtools view -?' for more information.
 257
 258  * BAM files now have an end-of-file (EOF) marker to facilitate
 259    truncation detection. A warning will be given if an on-disk BAM file
 260    does not have this marker. The warning will be seen on BAM files
 261    generated by an older version of samtools. It does NO harm.
 262
 263  * New key bindings in tview: `r' to show read names and `s' to show
 264    reference skip (N operation) as deletions.
 265
 266  * Fixed a bug in `samtools merge -n'.
 267
 268  * Samtools merge now optionally copies the header of a user specified
 269    SAM file to the resultant BAM output.
 270
 271  * Samtools pileup/tview works with a CIGAR with the first or the last
 272    operation is an indel.
 273
 274  * Fixed a bug in bam_aux_get().
 275
 276
 277 Changes in other utilies:
 278
 279  * Fixed wrong FLAG in maq2sam.
 280
 281
 282 (0.1.6: 2 September 2009, r453)
 283
 284
 285
 286 Beta Release 0.1.5 (7 July, 2009)
 287 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 288
 289 Notable changes:
 290
 291  * Support opening a BAM alignment on FTP. Users can now use "tview" to
 292    view alignments at the NCBI ftp site. Please read manual for more
 293    information.
 294
 295  * In library, propagate errors rather than exit or complain assertion
 296    failure.
 297
 298  * Simplified the building system and fixed compiling errors caused by
 299    zlib<1.2.2.1.
 300
 301  * Fixed an issue about lost header information when a SAM is imported
 302    with "view -t".
 303
 304  * Implemented "samtool.pl varFilter" which filters both SNPs and short
 305    indels. This command replaces "indelFilter".
 306
 307  * Implemented "samtools.pl pileup2fq" to generate FASTQ consensus from
 308    pileup output.
 309
 310  * In pileup, cap mapping quality at 60. This helps filtering when
 311    different aligners are in use.
 312
 313  * In pileup, allow to output variant sites only.
 314
 315  * Made pileup generate correct calls in repetitive region. At the same
 316    time, I am considering to implement a simplified model in SOAPsnp,
 317    although this has not happened yet.
 318
 319  * In view, added '-u' option to output BAM without compression. This
 320    option is preferred when the output is piped to other commands.
 321
 322  * In view, added '-l' and '-r' to get the alignments for one library or
 323    read group. The "@RG" header lines are now partially parsed.
 324
 325  * Do not include command line utilities to libbam.a.
 326
 327  * Fixed memory leaks in pileup and bam_view1().
 328
 329  * Made faidx more tolerant to empty lines right before or after FASTA >
 330    lines.
 331
 332
 333 Changes in other utilities:
 334
 335  * Updated novo2sam.pl by Colin Hercus, the key developer of novoalign.
 336
 337
 338 This release involves several modifications to the key code base which
 339 may potentially introduce new bugs even though we have tried to minimize
 340 this by testing on several examples. Please let us know if you catch
 341 bugs.
 342
 343 (0.1.5: 7 July 2009, r373)
 344
 345
 346
 347 Beta Release 0.1.4 (21 May, 2009)
 348 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 349
 350 Notable changes:
 351
 352  * Added the 'rmdupse' command: removing duplicates for SE reads.
 353
 354  * Fixed a critical bug in the indel caller: clipped alignments are not
 355    processed correctly.
 356
 357  * Fixed a bug in the tview: gapped alignment may be incorrectly
 358    displayed.
 359
 360  * Unified the interface to BAM and SAM I/O. This is done by
 361    implementing a wrapper on top of the old APIs and therefore old APIs
 362    are still valid. The new I/O APIs also recognize the @SQ header
 363    lines.
 364
 365  * Generate the MD tag.
 366
 367  * Generate "=" bases. However, the indel caller will not work when "="
 368    bases are present.
 369
 370  * Enhanced support of color-read display (by Nils Homer).
 371
 372  * Implemented the GNU building system. However, currently the building
 373    system does not generate libbam.a. We will improve this later. For
 374    the time being, `make -f Makefile.generic' is preferred.
 375
 376  * Fixed a minor bug in pileup: the first read in a chromosome may be
 377    skipped.
 378
 379  * Fixed bugs in bam_aux.c. These bugs do not affect other components as
 380    they were not used previously.
 381
 382  * Output the 'SM' tag from maq2sam.
 383
 384 (0.1.4: 21 May 2009, r297)
 385
 386
 387
 388 Beta Release 0.1.3 (15 April, 2009)
 389 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 390
 391 Notable changes in SAMtools:
 392
 393  * SAMtools is more consistent with the specification: a) '*' in the
 394    QUAL field is allowed; b) the field separator is TAB only and SPACE
 395    is treated as a character in a field; c) empty header is allowed.
 396
 397  * Implemented GLFv3 support in pileup.
 398
 399  * Fixed a severe bug in fixmate: strand information is wrongly
 400    overwritten.
 401
 402  * Fixed a bug in alignment retrieval: alignments bridging n*16384bp are
 403    not correctly retrieved sometimes.
 404
 405  * Fixed a bug in rmdup: segfault if unmapped reads are present.
 406
 407  * Move indel_filter.pl to samtools.pl and improved the filtering by
 408    checking the actual number of alignments containing indels. The indel
 409    pileup line is also changed a little to make this filtration easier.
 410
 411  * Fixed a minor bug in indexing: the bin number of an unmapped read is
 412    wrongly calculated.
 413
 414  * Added `flagstat' command to show statistics on the FLAG field.
 415
 416  * Improved indel caller by setting the maximum window size in local
 417    realignment.
 418
 419 Changes in other utilities:
 420
 421  * Fixed a bug in maq2sam: a tag name is obsolete.
 422
 423  * Improvement to wgsim: a) added support for SOLiD read simulation; b)
 424    show the number of substitutions/indels/errors in read name; c)
 425    considerable code clean up.
 426
 427  * Various converters: improved functionality in general.
 428
 429  * Updated the example SAM due to the previous bug in fixmate.
 430
 431 (0.1.3: 15 April 2009, r227)
 432
 433
 434
 435 Beta Release 0.1.2 (28 January, 2008)
 436 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 437
 438 Notable changes in SAMtools:
 439
 440  * Implemented a Bayesian indel caller. The new caller generate scores
 441    and genotype and is potentially more accurate than Maq's indel
 442    caller. The pileup format is also changed accordingly.
 443
 444  * Implemented rmdup command: remove potential PCR duplicates. Note that
 445    this command ONLY works for FR orientation and requires ISIZE is
 446    correctly set.
 447
 448  * Added fixmate command: fill in mate coordinates, ISIZE and mate
 449    related flags from a name-sorted alignment.
 450
 451  * Fixed a bug in indexing: reads bridging 16x kbp were not retrieved.
 452
 453  * Allow to select reads shown in the pileup output with a mask.
 454
 455  * Generate GLFv2 from pileup.
 456
 457  * Added two more flags for flagging PCR/optical duplicates and for QC
 458    failure.
 459
 460  * Fixed a bug in sort command: name sorting for large alignment did not
 461    work.
 462
 463  * Allow to completely disable RAZF (using Makefile.lite) as some people
 464    have problem to compile it.
 465
 466  * Fixed a bug in import command when there are reads without
 467    coordinates.
 468
 469  * Fixed a bug in tview: clipping broke the alignment viewer.
 470
 471  * Fixed a compiling error when _NO_CURSES is applied.
 472
 473  * Fixed a bug in merge command.
 474
 475 Changes in other utilities:
 476
 477  * Added wgsim, a paired-end reads simulator. Wgsim was adapted from
 478    maq's reads simulator. Colin Hercus further improved it to allow
 479    longer indels.
 480
 481  * Added wgsim_eval.pl, a script that evaluates the accuracy of
 482    alignment on reads generated by wgsim.
 483
 484  * Added soap2sam.pl, a SOAP2->SAM converter. This converter does not
 485    work properly when multiple hits are output.
 486
 487  * Added bowtie2sam.pl, a Bowtie->SAM converter. Only the top hit will
 488    be retained when multiple hits are present.
 489
 490  * Fixed a bug in export2sam.pl for QC reads.
 491
 492  * Support RG tag at MAQ->SAM converter.
 493
 494  * Added novo2sam.pl, a NovoAlign->SAM converter. Multiple hits and
 495    indel are not properly handled, though.
 496
 497  * Added zoom2sam.pl, a ZOOM->SAM converter. It only works with the
 498    default Illumina output.
 499
 500 (0.1.2: 28 January 2008; r116)
 501
 502
 503
 504 Beta Release 0.1.1 (22 December, 2008)
 505 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 506
 507 The is the first public release of samtools. For more information,
 508 please check the manual page `samtools.1' and the samtools website
 509 http://samtools.sourceforge.net