alg/test/test_sequence.cpp

   1 #include <boost/test/auto_unit_test.hpp>
   2 #include <boost/filesystem/path.hpp>
   3 #include <boost/filesystem/operations.hpp>
   4 namespace fs=boost::filesystem;
   5
   6 #include <list>
   7 #include <iostream>
   8 #include <sstream>
   9
  10 #include <boost/archive/text_oarchive.hpp>
  11 #include <boost/archive/text_iarchive.hpp>
  12
  13 #include "alg/sequence.hpp"
  14 #include "mussa_exceptions.hpp"
  15
  16 using namespace std;
  17
  18 //! when we try to load a missing file, do we get an error?
  19 BOOST_AUTO_TEST_CASE( sequence_load_exception )
  20 {
  21   Sequence s;
  22   // there should be errors when we try to load something that doesn't exist
  23   BOOST_CHECK_THROW( s.load_fasta("alkejralk", 1, 0, 0), mussa_load_error);
  24   BOOST_CHECK_THROW( s.load_annot("alkejralk", 0, 0), mussa_load_error);
  25 }
  26
  27 BOOST_AUTO_TEST_CASE( sequence_eol_conventions )
  28 {
  29   string header(">Header");
  30   string line1("AAAAGGGGCCCCTTTTT");
  31   string line2("AAAAGGGGCCCCTTTTT");
  32   int seq_len = line1.size() + line2.size();
  33
  34   stringstream cr;
  35   cr << header << "\015" << line1 << "\015" << line2 << "\015";
  36   Sequence seq_cr;
  37   seq_cr.load_fasta(cr);
  38
  39   stringstream crlf;
  40   crlf << header << "\015\012" << line1 << "\015\012" << line2 << "\015\012";
  41   Sequence seq_crlf;
  42   seq_crlf.load_fasta(crlf);
  43
  44   stringstream lf;
  45   lf << header << "\012" << line1 << "\012" << line2 << "\012";
  46   Sequence seq_lf;
  47   seq_lf.load_fasta(lf);
  48
  49   BOOST_CHECK_EQUAL(seq_cr.size(),   seq_len);
  50   BOOST_CHECK_EQUAL(seq_crlf.size(), seq_len);
  51   BOOST_CHECK_EQUAL(seq_cr.size(),   seq_len);
  52 }
  53
  54
  55 //! Do simple operations work correctly?
  56 BOOST_AUTO_TEST_CASE( sequence_filter )
  57 {
  58   const char *core_seq = "AATTGGCC";
  59   Sequence s1(core_seq);
  60   BOOST_CHECK_EQUAL(s1, core_seq);
  61
  62   Sequence s2("aattggcc");
  63   BOOST_CHECK_EQUAL(s2, "AATTGGCC");
  64   BOOST_CHECK_EQUAL(s2.rev_comp(), "GGCCAATT");
  65   BOOST_CHECK_EQUAL(s2.size(), s2.size());
  66   BOOST_CHECK_EQUAL(s2.c_str(), core_seq);
  67
  68   Sequence s3("asdfg");
  69   BOOST_CHECK_EQUAL(s3, "ANNNG");
  70   BOOST_CHECK_EQUAL(s3.subseq(0,2), "AN");
  71
  72   s3.set_filtered_sequence("AAGGCCTT", 0, 2);
  73   BOOST_CHECK_EQUAL(s3, "AA");
  74   s3.set_filtered_sequence("AAGGCCTT", 2, 2);
  75   BOOST_CHECK_EQUAL( s3, "GG");
  76   s3.set_filtered_sequence("AAGGCCTT", 4);
  77   BOOST_CHECK_EQUAL( s3, "CCTT");
  78
  79   s3.clear();
  80   BOOST_CHECK_EQUAL(s3, "");
  81
  82   s3 = "AAGGFF";
  83   BOOST_CHECK_EQUAL(s3, "AAGGNN");
  84 }
  85
  86 BOOST_AUTO_TEST_CASE( subseq_names )
  87 {
  88   Sequence s1("AAGGCCTT");
  89   s1.set_species("species");
  90   s1.set_fasta_header("a fasta header");
  91   Sequence s2 = s1.subseq(2,2);
  92   BOOST_CHECK_EQUAL(s2, "GG");
  93   BOOST_CHECK_EQUAL(s2.get_species(), s1.get_species());
  94   BOOST_CHECK_EQUAL(s2.get_fasta_header(), s1.get_fasta_header());
  95 }
  96
  97 //! Can we load data from a file
  98 BOOST_AUTO_TEST_CASE( sequence_load )
  99 {
 100   fs::path seq_path(fs::path(EXAMPLE_DIR, fs::native)/ "seq");
 101   seq_path /=  "human_mck_pro.fa";
 102   Sequence s;
 103   s.load_fasta(seq_path);
 104   BOOST_CHECK_EQUAL(s.subseq(0, 5), "GGATC"); // first few chars of fasta file
 105   BOOST_CHECK_EQUAL(s.subseq(2, 3), "ATC");
 106   BOOST_CHECK_EQUAL(s.get_fasta_header(), "gi|180579|gb|M21487.1|HUMCKMM1 Human "
 107                                     "muscle creatine kinase gene (CKMM), "
 108                                     "5' flank");
 109 }
 110
 111 BOOST_AUTO_TEST_CASE( annotation_load )
 112 {
 113   string annot_data = "human\n"
 114                       "0 10 name   type\n"
 115                       "10 20 myf7\n"
 116                       "20 30 myod\n"
 117                       "50\t55 anothername\n"
 118                       "60 50 backward\n"
 119                       ">ident3 asdf\n"
 120                       "GCT\n"
 121                       "gCTn\n"
 122                       "75\t90\tname2\ttype2\n"
 123                       "100 120 name-asdf type!@#$%\n"
 124                       ;
 125   string s(100, 'A');
 126   s += "GCTGCTAATT";
 127   Sequence seq(s);
 128
 129   //istringstream annot_stream(annot_data);
 130   seq.parse_annot(annot_data, 0, 0);
 131   std::list<annot> annots_list = seq.annotations();
 132   std::vector<annot> annots(annots_list.begin(), annots_list.end());
 133   BOOST_REQUIRE_EQUAL( annots.size(), 8);
 134   BOOST_CHECK_EQUAL( annots[0].begin, 0 );
 135   BOOST_CHECK_EQUAL( annots[0].end, 10 );
 136   BOOST_CHECK_EQUAL( annots[0].type, "type");
 137   BOOST_CHECK_EQUAL( annots[0].name, "name");
 138   BOOST_CHECK_EQUAL( annots[1].name, "myf7");
 139   BOOST_CHECK_EQUAL( annots[2].name, "myod");
 140   BOOST_CHECK_EQUAL( annots[3].name, "anothername");
 141   BOOST_CHECK_EQUAL( annots[4].name, "backward");
 142   BOOST_CHECK_EQUAL( annots[5].name, "name2");
 143   BOOST_CHECK_EQUAL( annots[5].end, 90);
 144   BOOST_CHECK_EQUAL( annots[6].begin, 100);
 145   BOOST_CHECK_EQUAL( annots[6].end, 120);
 146   BOOST_CHECK_EQUAL( annots[6].name, "name-asdf");
 147   BOOST_CHECK_EQUAL( annots[6].type, "type!@#$%");
 148   // sequence defined annotations will always be after the
 149   // absolute positions
 150   BOOST_CHECK_EQUAL( annots[7].name, "ident3 asdf");
 151   BOOST_CHECK_EQUAL( annots[7].begin, 100);
 152
 153   //BOOST_CHECK_EQUAL( annots
 154 }
 155
 156
 157 BOOST_AUTO_TEST_CASE(annotation_ucsc_html_load)
 158 {
 159   // this actually is basically what's returned by UCSC
 160   // (well actually with some of the sequence and copies of fasta blocks
 161   // removed to make the example shorter
 162   string annot_data = "\n"
 163     "<PRE>\n"
 164     ">hg17_knownGene_NM_001824_0 range=chr19:50517919-50517974 5'pad=0 3'pad=0 revComp=TRUE strand=- repeatMasking=none\n"
 165     "GGGTCAGTGTCACCTCCAGGATACAGACAG\n"
 166     "&gt;hg17_knownGene_NM_001824_3 range=chr19:50510563-50510695 5'pad=0 3'pad=0 revComp=TRUE strand=- repeatMasking=none\n"
 167     "GGTGGAGACGACCTGGACCCTAACTACGT\n"
 168     "</PRE>\n"
 169     "\n"
 170     "</BODY>\n"
 171     "</HTML>\n"
 172     ;
 173
 174   string s =
 175     "TGGGTCAGTGTCACCTCCAGGATACAGACAGCCCCCCTTCAGCCCAGCCCAGCCAG"
 176     "AAAAA"
 177     "GGTGGAGACGACCTGGACCCTAACTACGTGCTCAGCAGCCGCGTCCGCAC";
 178   Sequence seq(s);
 179   seq.parse_annot(annot_data);
 180   std::list<annot> annots = seq.annotations();
 181   BOOST_CHECK_EQUAL( annots.size(), 2);
 182 }
 183
 184 BOOST_AUTO_TEST_CASE( annotation_load_no_species_name )
 185 {
 186   string annot_data = "0 10 name   type\n"
 187                       "10 20 myf7\n"
 188                       "20 30 myod\n"
 189                       "50\t55 anothername\n"
 190                       "60 50 backward\n"
 191                       ">ident3 asdf\n"
 192                       "GCT\n"
 193                       "gCTn\n"
 194                       "75\t90\tname2\ttype2\n"
 195                       "100 120 name-asdf type!@#$%\n"
 196                       ;
 197   string s(100, 'A');
 198   s += "GCTGCTAATT";
 199   Sequence seq(s);
 200
 201   //istringstream annot_stream(annot_data);
 202   seq.parse_annot(annot_data, 0, 0);
 203   std::list<annot> annots_list = seq.annotations();
 204   std::vector<annot> annots(annots_list.begin(), annots_list.end());
 205   BOOST_REQUIRE_EQUAL( annots.size(), 8);
 206   BOOST_CHECK_EQUAL( annots[0].begin, 0 );
 207   BOOST_CHECK_EQUAL( annots[0].end, 10 );
 208   BOOST_CHECK_EQUAL( annots[0].type, "type");
 209 }
 210
 211 // ticket:83 when you try to load a sequence from a file that doesn't
 212 // have fasta headers it crashes.
 213 BOOST_AUTO_TEST_CASE( sequence_past_end )
 214 {
 215   fs::path seq_path(fs::path(EXAMPLE_DIR, fs::native)/ "seq" );
 216   seq_path /=  "misformated_seq.fa";
 217   Sequence s;
 218   BOOST_CHECK_THROW( s.load_fasta(seq_path), mussa_load_error );
 219 }
 220
 221 BOOST_AUTO_TEST_CASE ( sequence_empty )
 222 {
 223   Sequence s;
 224   BOOST_CHECK_EQUAL( s.empty(), true );
 225   s = "AAAGGG";
 226   BOOST_CHECK_EQUAL( s.empty(), false );
 227 }
 228
 229 BOOST_AUTO_TEST_CASE ( sequence_iterators )
 230 {
 231   std::string seq_string = "AAGGCCTTNNTATA";
 232   Sequence s(seq_string);
 233   const Sequence cs(s);
 234   std::string::size_type count = 0;
 235
 236   std::string::iterator str_itor;
 237   Sequence::iterator s_itor;
 238   Sequence::const_iterator cs_itor;
 239
 240   for( str_itor = seq_string.begin(),
 241        s_itor   = s.begin(),
 242        cs_itor  = cs.begin();
 243        str_itor != seq_string.end() and
 244        s_itor   != s.end() and
 245        cs_itor  != cs.end();
 246        ++str_itor, ++s_itor, ++cs_itor, ++count)
 247   {
 248     BOOST_CHECK_EQUAL ( *str_itor, *s_itor );
 249     BOOST_CHECK_EQUAL ( *s_itor, *cs_itor );
 250     BOOST_CHECK_EQUAL ( *cs_itor, *str_itor );
 251   }
 252   BOOST_CHECK_EQUAL( seq_string.size(), count );
 253   BOOST_CHECK_EQUAL( s.size(), count );
 254   BOOST_CHECK_EQUAL( cs.size(), count );
 255 }
 256
 257 BOOST_AUTO_TEST_CASE( sequence_motifs )
 258 {
 259   string m("AAAA");
 260   string bogus("AATTGGAA");
 261   Sequence s1("AAAAGGGGCCCCTTTT");
 262
 263   list<motif>::const_iterator motif_i = s1.motifs().begin();
 264   list<motif>::const_iterator motif_end = s1.motifs().end();
 265
 266   // do our iterators work?
 267   BOOST_CHECK( motif_i == s1.motifs().begin() );
 268   BOOST_CHECK( motif_end == s1.motifs().end() );
 269   BOOST_CHECK( motif_i == motif_end );
 270
 271   // this shouldn't show up
 272   s1.add_motif(bogus);
 273   BOOST_CHECK( s1.motifs().begin() == s1.motifs().end() );
 274   BOOST_CHECK_EQUAL( s1.motifs().size(), 0 );
 275
 276   s1.add_motif(m);
 277   BOOST_CHECK( s1.motifs().begin() != s1.motifs().end() );
 278   BOOST_CHECK_EQUAL( s1.motifs().size(), 2 );
 279
 280   for(motif_i = s1.motifs().begin();
 281       motif_i != s1.motifs().end();
 282       ++motif_i)
 283   {
 284     BOOST_CHECK_EQUAL( motif_i->type, "motif" );
 285     BOOST_CHECK_EQUAL( motif_i->name, m);
 286     BOOST_CHECK_EQUAL( motif_i->sequence, m);
 287   }
 288
 289   s1.clear_motifs();
 290   BOOST_CHECK( s1.motifs().begin() == s1.motifs().end() );
 291
 292   /* FIXME: enable this when i find a way of passing storing the motif name
 293   // does our annotation travel?
 294   Sequence motif_seq(m);
 295   motif_seq.set_fasta_header("hi");
 296   s1.add_motif(motif_seq);
 297
 298   BOOST_CHECK_EQUAL(s1.motifs().size(), 2);
 299   for(motif_i = s1.motifs().begin();
 300       motif_i != s1.motifs().end();
 301       ++motif_i)
 302   {
 303     BOOST_CHECK_EQUAL( motif_i->type, "motif" );
 304     BOOST_CHECK_EQUAL( motif_i->name, "hi");
 305     BOOST_CHECK_EQUAL( motif_i->sequence, m);
 306   }
 307   */
 308 }
 309
 310 BOOST_AUTO_TEST_CASE( annot_test )
 311 {
 312   annot a(0, 10, "test", "thing");
 313
 314   BOOST_CHECK_EQUAL( a.begin, 0 );
 315   BOOST_CHECK_EQUAL( a.end,   10 );
 316   BOOST_CHECK_EQUAL( a.type,  "test" );
 317   BOOST_CHECK_EQUAL( a.name,  "thing" );
 318
 319   motif m(10, "AAGGCC");
 320   BOOST_CHECK_EQUAL( m.begin, 10 );
 321   BOOST_CHECK_EQUAL( m.type, "motif" );
 322   BOOST_CHECK_EQUAL( m.name, "AAGGCC" );
 323   BOOST_CHECK_EQUAL( m.end,  10+6 );
 324 }
 325
 326 BOOST_AUTO_TEST_CASE( annotate_from_sequence )
 327 {
 328   string s("CCGCCCCCCATCATCGCGGCTCTCCGAGAGTCCCGCGCCCCACTCCCGGC"
 329            "ACCCACCTGACCGCGGGCGGCTCCGGCCCCGCTTCGCCCCACTGCGATCA"
 330            "GTCGCGTCCCGCAGGCCAGGCACGCCCCGCCGCTCCCGCTGCGCCGGGCG"
 331            "TCTGGGACCTCGGGCGGCTCCTCCGAGGGGCGGGGCAGCCGGGAGCCACG"
 332            "CCCCCGCAGGTGAGCCGGCCACGCCCACCGCCCGTGGGAAGTTCAGCCTC"
 333            "GGGGCTCCAGCCCCGCGGGAATGGCAGAACTTCGCACGCGGAACTGGTAA"
 334            "CCTCCAGGACACCTCGAATCAGGGTGATTGTAGCGCAGGGGCCTTGGCCA"
 335            "AGCTAAAACTTTGGAAACTTTAGATCCCAGACAGGTGGCTTTCTTGCAGT");
 336   string gc("GCCCCC");
 337   string gga("GGACACCTC");
 338   Sequence seq(s);
 339
 340   std::list<Sequence> query_list;
 341   std::list<string> string_list;
 342   query_list.push_back(Sequence(gc));
 343   string_list.push_back(gc);
 344   query_list.push_back(Sequence(gga));
 345   string_list.push_back(gga);
 346
 347   BOOST_CHECK_EQUAL( seq.annotations().size(), 0 );
 348   seq.find_sequences(query_list.begin(), query_list.end());
 349
 350   int count = 0;
 351   for(list<string>::iterator string_i = string_list.begin();
 352       string_i != string_list.end();
 353       ++string_i)
 354   {
 355     string::size_type pos=0;
 356     while(pos != string::npos) {
 357       pos = s.find(*string_i, pos);
 358       if (pos != string::npos) {
 359         ++count;
 360         ++pos;
 361       }
 362     }
 363   }
 364   BOOST_CHECK_EQUAL(seq.annotations().size(), count);
 365 }
 366
 367 BOOST_AUTO_TEST_CASE( subseq_annotation_test )
 368 {
 369   string s("CCGCCCCCCATCATCGCGGCTCTCCGAGAGTCCCGCGCCCCACTCCCGGC"
 370            "ACCCACCTGACCGCGGGCGGCTCCGGCCCCGCTTCGCCCCACTGCGATCA"
 371            "GTCGCGTCCCGCAGGCCAGGCACGCCCCGCCGCTCCCGCTGCGCCGGGCG"
 372            "TCTGGGACCTCGGGCGGCTCCTCCGAGGGGCGGGGCAGCCGGGAGCCACG"
 373            "CCCCCGCAGGTGAGCCGGCCACGCCCACCGCCCGTGGGAAGTTCAGCCTC"
 374            "GGGGCTCCAGCCCCGCGGGAATGGCAGAACTTCGCACGCGGAACTGGTAA"
 375            "CCTCCAGGACACCTCGAATCAGGGTGATTGTAGCGCAGGGGCCTTGGCCA"
 376            "AGCTAAAACTTTGGAAACTTTAGATCCCAGACAGGTGGCTTTCTTGCAGT");
 377   Sequence seq(s);
 378
 379
 380   seq.add_annotation(annot(0, 10, "0-10", "0-10"));
 381   seq.add_annotation(annot(10, 20, "10-20", "10-20"));
 382   seq.add_annotation(annot(0, 20, "0-20", "0-20"));
 383   seq.add_annotation(annot(8, 12, "8-12", "8-12"));
 384   seq.add_annotation(annot(100, 5000, "100-5000", "100-5000"));
 385
 386   Sequence subseq = seq.subseq(5, 10);
 387   const list<annot> annots = subseq.annotations();
 388   // generate some ground truth
 389   list<annot> correct;
 390   correct.push_back(annot(0, 5, "0-10",  "0-10"));
 391   correct.push_back(annot(5,10, "10-20", "10-20"));
 392   correct.push_back(annot(0,10, "0-20",  "0-20"));
 393   correct.push_back(annot(3, 7, "8-12",  "8-12"));
 394   BOOST_REQUIRE_EQUAL( annots.size(), correct.size() );
 395
 396   list<annot>::iterator correct_i = correct.begin();
 397   list<annot>::const_iterator annot_i = annots.begin();
 398   for(; annot_i != annots.end(); ++annot_i, ++correct_i)
 399   {
 400     BOOST_CHECK( *annot_i == *correct_i );
 401   }
 402 }
 403
 404 BOOST_AUTO_TEST_CASE( motif_annotation_update )
 405 {
 406   string s("CCGTCCCCCATCATCGCGGCTCTCCGAGAGTCCCGCGCCCCACTCCCGGC"
 407            "ACCCACCTGACCGCGGGCGGCTCCGGCCCCGCTTCGCCCCACTGCGATCA"
 408            "GTCGCGTCCCGCAGGCCAGGCACGCCCCGCCGCTCCCGCTGCGCCGGGCG"
 409            "TCTGGGACCTCGGGCGGCTCCTCCGAGGGGCGGGGCAGCCGGGAGCCACG"
 410            "CCCCCGCAGGTGAGCCGGCCACGCCCACCGCCCGTGGGAAGTTCAGCCTC"
 411            "GGGGCTCCAGCCCCGCGGGAATGGCAGAACTTCGCACGCGGAACTGGTAA"
 412            "CCTCCAGGACACCTCGAATCAGGGTGATTGTAGCGCAGGGGCCTTGGCCA"
 413            "AGCTAAAACTTTGGAAACTTTAGATCCCAGACAGGTGGCTTTCTTGCAGT");
 414   Sequence seq(s);
 415
 416   // starting conditions
 417   BOOST_CHECK_EQUAL(seq.annotations().size(), 0);
 418   BOOST_CHECK_EQUAL(seq.motifs().size(), 0);
 419   seq.add_annotation(annot(0, 10, "0-10", "0-10"));
 420   seq.add_annotation(annot(10, 20, "10-20", "10-20"));
 421   seq.add_annotation(annot(0, 20, "0-20", "0-20"));
 422   BOOST_CHECK_EQUAL(seq.annotations().size(), 3);
 423   BOOST_CHECK_EQUAL(seq.motifs().size(), 0);
 424   seq.add_motif("CCGTCCC");
 425   BOOST_CHECK_EQUAL(seq.annotations().size(), 3);
 426   BOOST_CHECK_EQUAL(seq.motifs().size(), 1);
 427   seq.clear_motifs();
 428   BOOST_CHECK_EQUAL(seq.annotations().size(), 3);
 429   BOOST_CHECK_EQUAL(seq.motifs().size(), 0);
 430 }
 431
 432 BOOST_AUTO_TEST_CASE( out_operator )
 433 {
 434   string s("AAGGCCTT");
 435   Sequence seq(s);
 436
 437   ostringstream buf;
 438   buf << s;
 439   BOOST_CHECK_EQUAL( s, buf.str() );
 440 }
 441
 442 BOOST_AUTO_TEST_CASE( get_name )
 443 {
 444   Sequence seq("AAGGCCTT");
 445
 446   BOOST_CHECK_EQUAL( seq.get_name(), "" );
 447   seq.set_species("hooman"); // anyone remember tradewars?
 448   BOOST_CHECK_EQUAL( seq.get_name(), "hooman");
 449   seq.set_fasta_header("fasta human");
 450   BOOST_CHECK_EQUAL( seq.get_name(), "fasta human");
 451 }
 452
 453 BOOST_AUTO_TEST_CASE( serialize_simple )
 454 {
 455   std::string seq_string = "AAGGCCTT";
 456   Sequence seq(seq_string);
 457
 458   std::ostringstream oss;
 459   // allocate/deallocate serialization components
 460   {
 461     boost::archive::text_oarchive oarchive(oss);
 462     const Sequence& const_seq(seq);
 463     BOOST_CHECK_EQUAL(seq, const_seq);
 464     oarchive << const_seq;
 465   }
 466
 467   Sequence seq_loaded;
 468   {
 469     std::istringstream iss(oss.str());
 470     boost::archive::text_iarchive iarchive(iss);
 471     iarchive >> seq_loaded;
 472   }
 473 }