921c5ef7aa2437a177b6f8094279ccca50d71441
[mussa.git] / alg / test / test_sequence.cpp
1 #define BOOST_AUTO_TEST_MAIN
2 #include <boost/test/auto_unit_test.hpp>
3 #include <boost/filesystem/path.hpp>
4 #include <boost/filesystem/operations.hpp>
5 namespace fs=boost::filesystem;
6
7 #include <boost/algorithm/string/case_conv.hpp>
8
9 #include <list>
10 #include <iostream>
11 #include <sstream>
12
13 #include <boost/archive/text_oarchive.hpp>
14 #include <boost/archive/text_iarchive.hpp>
15 #include <boost/archive/xml_oarchive.hpp>
16 #include <boost/archive/xml_iarchive.hpp>
17
18 #include "alg/sequence.hpp"
19 #include "mussa_exceptions.hpp"
20
21 using namespace std;
22
23 BOOST_AUTO_TEST_CASE( sequence_copy_constructor )
24 {
25   SequenceRef s(new Sequence("AAAAGGGG"));
26   s->set_species("foo");
27   BOOST_CHECK_EQUAL(s->get_species(), "foo");
28   
29   SequenceRef c(new Sequence(s));
30   BOOST_CHECK_EQUAL(c->get_species(), "foo");
31
32   c->set_species("bar");
33   BOOST_CHECK_EQUAL(s->get_species(), "foo");
34   BOOST_CHECK_EQUAL(c->get_species(), "bar");
35 }
36
37 BOOST_AUTO_TEST_CASE( sequence_copy_constructor_copy_motifs )
38 {
39   SequenceRef s(new Sequence("AAAAGGGGAAAA"));
40   s->add_motif("AAGG");
41   BOOST_CHECK_EQUAL(s->motifs().size(), 1);
42   
43   SequenceRef c(new Sequence(s->subseq()));
44   BOOST_CHECK_EQUAL(c->motifs().size(), 1);
45   
46   s->clear_motifs();  
47   BOOST_CHECK_EQUAL(s->motifs().size(), 0);
48   // FIXME: Technically c shouldn't lose its motifs.
49   // FIXME: getting that to work is hard.
50   // BOOST_CHECK_EQUAL(c->motifs().size(), 1);
51   BOOST_CHECK_EQUAL(c->motifs().size(), 0);
52 }
53
54 BOOST_AUTO_TEST_CASE( sequence_get_sequence )
55 {
56         Sequence s;
57         // make sure that retrieving the sequence doesn't throw an error
58         BOOST_CHECK_EQUAL(s.get_sequence(), std::string() );
59 }
60
61 BOOST_AUTO_TEST_CASE( sequence_from_string )
62 {
63   std::string str1("AAAT");
64   Sequence seq1(str1);
65   BOOST_CHECK_EQUAL(seq1.get_sequence(), str1);
66
67
68 BOOST_AUTO_TEST_CASE( sequence_find_first_not_of )
69 {
70   std::string str1("AAAAT");
71   Sequence seq1(str1);
72   BOOST_CHECK_EQUAL(seq1.find_first_not_of("A"), str1.find_first_not_of("A"));
73   
74   std::string str2("AATTGGCC");
75   Sequence seq2(str2);
76   BOOST_CHECK_EQUAL(seq2.find_first_not_of("qwer"), str2.find_first_not_of("qwer"));
77 }
78
79 //! when we try to load a missing file, do we get an error?
80 BOOST_AUTO_TEST_CASE( sequence_load_exception )
81 {
82   Sequence s;
83   // there should be errors when we try to load something that doesn't exist
84   BOOST_CHECK_THROW( s.load_fasta("alkejralk", 1, 0, 0), mussa_load_error);
85   BOOST_CHECK_THROW( s.load_annot("alkejralk", 0, 0), mussa_load_error);
86 }
87
88 BOOST_AUTO_TEST_CASE( sequence_eol_conventions )
89 {
90   string header(">Header");
91   string line1("AAAAGGGGCCCCTTTTT");
92   string line2("AAAAGGGGCCCCTTTTT");
93   int seq_len = line1.size() + line2.size();
94
95   stringstream cr;
96   cr << header << "\015" << line1 << "\015" << line2 << "\015";
97   Sequence seq_cr;
98   seq_cr.load_fasta(cr);
99
100   stringstream crlf;
101   crlf << header << "\015\012" << line1 << "\015\012" << line2 << "\015\012";
102   Sequence seq_crlf;
103   seq_crlf.load_fasta(crlf);
104
105   stringstream lf;
106   lf << header << "\012" << line1 << "\012" << line2 << "\012";
107   Sequence seq_lf;
108   seq_lf.load_fasta(lf);
109
110   BOOST_CHECK_EQUAL(seq_cr.size(),   seq_len);
111   BOOST_CHECK_EQUAL(seq_crlf.size(), seq_len);
112   BOOST_CHECK_EQUAL(seq_cr.size(),   seq_len);
113 }
114
115
116 //! Do simple operations work correctly?
117 BOOST_AUTO_TEST_CASE( sequence_filter )
118 {
119   const char *core_seq = "AATTGGCC";
120   Sequence s1(core_seq, reduced_dna_alphabet);
121   BOOST_CHECK_EQUAL(s1, core_seq);
122
123   Sequence s2("aattggcc", reduced_dna_alphabet);
124   BOOST_CHECK_EQUAL(s2, "AATTGGCC");
125   BOOST_CHECK_EQUAL(s2.rev_comp(), "GGCCAATT");
126   BOOST_CHECK_EQUAL(s2.rev_comp(), "ggccaatt"); // we should be case insensitive now
127   BOOST_CHECK_EQUAL(s2.size(), s2.size());
128   //We're currently forcing sequences to uppercase
129   BOOST_CHECK_EQUAL(s2.get_sequence(), "AATTGGCC"); 
130
131   Sequence s3("asdfg", reduced_dna_alphabet);
132   BOOST_CHECK_EQUAL(s3, "ANNNG");
133   BOOST_CHECK_EQUAL(s3.subseq(0,2), "AN");
134
135   s3.set_filtered_sequence("AAGGCCTT", reduced_dna_alphabet, 0, 2); 
136   BOOST_CHECK_EQUAL(s3, "AA");
137   s3.set_filtered_sequence("AAGGCCTT", reduced_dna_alphabet, 2, 2);
138   BOOST_CHECK_EQUAL( s3, "GG");
139   s3.set_filtered_sequence("AAGGCCTT", reduced_dna_alphabet, 4);
140   BOOST_CHECK_EQUAL( s3, "CCTT");
141
142   s3 = "AAGGFF";
143   BOOST_CHECK_EQUAL(s3, "AAGGNN");
144 }
145
146 BOOST_AUTO_TEST_CASE( sequence_nucleic_alphabet )
147 {
148   std::string agct("AGCT");
149   Sequence seq(agct, nucleic_alphabet);
150   BOOST_CHECK_EQUAL(seq.size(), agct.size());
151   BOOST_CHECK_EQUAL(seq.get_sequence(), agct);
152   
153   std::string bdv("BDv");
154   Sequence seq_bdv(bdv, nucleic_alphabet);
155   BOOST_CHECK_EQUAL(seq_bdv.size(), bdv.size());
156   // forcing sequence to upper case
157   BOOST_CHECK_EQUAL(seq_bdv.get_sequence(), 
158                     boost::algorithm::to_upper_copy(bdv));
159   
160 }
161
162 BOOST_AUTO_TEST_CASE( sequence_default_alphabet )
163 {
164   std::string agct("AGCT");
165   Sequence seq(agct);
166   BOOST_CHECK_EQUAL(seq.size(), agct.size());
167   BOOST_CHECK_EQUAL(seq.get_sequence(), agct);
168   BOOST_CHECK_EQUAL(seq[0], agct[0]);
169   BOOST_CHECK_EQUAL(seq[1], agct[1]);
170   BOOST_CHECK_EQUAL(seq[2], agct[2]);
171   BOOST_CHECK_EQUAL(seq[3], agct[3]);
172   
173   std::string bdv("BDv");
174   Sequence seq_bdv(bdv);
175   BOOST_CHECK_EQUAL(seq_bdv.size(), bdv.size());
176   // default alphabet only allows AGCTUN
177   BOOST_CHECK_EQUAL(seq_bdv.get_sequence(), "NNN");  
178 }
179
180 BOOST_AUTO_TEST_CASE( subseq_names )
181 {
182   Sequence s1("AAGGCCTT", reduced_dna_alphabet);
183   s1.set_species("species");
184   s1.set_fasta_header("a fasta header");
185   Sequence s2 = s1.subseq(2,2);
186   BOOST_CHECK_EQUAL(s2, "GG");
187   BOOST_CHECK_EQUAL(s2.get_species(), s1.get_species());
188   BOOST_CHECK_EQUAL(s2.get_fasta_header(), s1.get_fasta_header());
189 }
190
191 BOOST_AUTO_TEST_CASE( sequence_start_stop )
192 {
193   Sequence s1;
194   BOOST_CHECK_EQUAL( s1.start(), 0 );
195   BOOST_CHECK_EQUAL( s1.stop(), 0 );
196
197   std::string seq_string("AAGGCCTT");
198   Sequence s2(seq_string, reduced_dna_alphabet);
199   BOOST_CHECK_EQUAL( s2.start(), 0 );
200   BOOST_CHECK_EQUAL( s2.stop(), seq_string.size() );
201
202   std::string s3seq_string = seq_string.substr(2,3);
203   Sequence s3 = s2.subseq(2,3);
204   BOOST_CHECK_EQUAL( s3.start(), 2);
205   BOOST_CHECK_EQUAL( s3.stop(), 2+3);
206   BOOST_CHECK_EQUAL( s3.size(), 3);
207   BOOST_CHECK_EQUAL( s3, s3seq_string);
208   
209   std::string s4seq_string = s3seq_string.substr(1,1);
210   Sequence s4 = s3.subseq(1,1);
211   BOOST_CHECK_EQUAL( s4.start(), 1 );
212   BOOST_CHECK_EQUAL( s4.stop(), 1+1);
213   BOOST_CHECK_EQUAL( s4.size(), 1);
214   BOOST_CHECK_EQUAL( s4, s4seq_string);
215 }
216
217 //! Can we load data from a file
218 BOOST_AUTO_TEST_CASE( sequence_load )
219 {
220   fs::path seq_path(fs::path(EXAMPLE_DIR, fs::native)/ "seq");
221   seq_path /=  "human_mck_pro.fa";
222   Sequence s;
223   s.load_fasta(seq_path, reduced_dna_alphabet);
224   BOOST_CHECK_EQUAL(s.subseq(0, 5), "GGATC"); // first few chars of fasta file
225   BOOST_CHECK_EQUAL(s.subseq(2, 3), "ATC");
226   BOOST_CHECK_EQUAL(s.get_fasta_header(), "gi|180579|gb|M21487.1|HUMCKMM1 Human "
227                                     "muscle creatine kinase gene (CKMM), "
228                                     "5' flank");
229 }
230
231 BOOST_AUTO_TEST_CASE( sequence_load_fasta_error )
232 {
233   fs::path seq_path(fs::path(EXAMPLE_DIR, fs::native)/"seq");
234   seq_path /= "broken.fa";
235   bool exception_thrown = false;
236   std::string exception_filename;
237   Sequence s;
238   try {
239     s.load_fasta(seq_path);
240   } catch(sequence_invalid_load_error e) {
241     exception_thrown = true;
242     size_t native_string_size = seq_path.native_file_string().size();
243     std:string estr(e.what());
244     BOOST_REQUIRE(estr.size() > native_string_size);
245     std::copy(estr.begin(), estr.begin()+native_string_size,
246               std::back_inserter(exception_filename));
247   }
248   BOOST_CHECK_EQUAL(exception_thrown, true);
249   BOOST_CHECK_EQUAL(seq_path.native_file_string(), exception_filename);
250 }
251
252 BOOST_AUTO_TEST_CASE( sequence_load_annot_error )
253 {
254   fs::path seq_path(fs::path(EXAMPLE_DIR, fs::native)/"seq");
255   seq_path /= "mouse_mck_pro.fa";
256   fs::path annot_path(fs::path(EXAMPLE_DIR, fs::native));
257   annot_path /= "broken.annot";
258   bool exception_thrown = false;
259   Sequence s;
260   s.load_fasta(seq_path);
261
262   std::string exception_filename;
263   try {
264     s.load_annot(annot_path, 0, 0);
265   } catch(annotation_load_error e) {
266     exception_thrown = true;
267     std:string estr(e.what());
268     size_t native_string_size = annot_path.native_file_string().size();
269     BOOST_REQUIRE(estr.size() > native_string_size);
270     std::copy(estr.begin(), estr.begin()+native_string_size,
271               std::back_inserter(exception_filename));
272   }
273   BOOST_CHECK_EQUAL(exception_thrown, true);
274   BOOST_CHECK_EQUAL(annot_path.native_file_string(), exception_filename);
275 }
276
277 BOOST_AUTO_TEST_CASE( sequence_load_dna_reduced )
278 {
279   std::string reduced_dna_fasta_string(">foo\nAAGGCCTTNN\n");
280   std::stringstream reduced_dna_fasta(reduced_dna_fasta_string);
281   std::string invalid_dna_fasta_string(">wrong\nAUSSI\n");
282   std::stringstream invalid_dna_fasta(invalid_dna_fasta_string);
283   std::string reduced_rna_fasta_string(">foo\nAAGGCCUUNN-\n");
284   std::stringstream reduced_rna_fasta(reduced_rna_fasta_string);
285   std::string garbage_string(">foo\na34ralk3547oilk,jual;(*&^#%-\n");
286   std::stringstream garbage_fasta(garbage_string);
287   
288   Sequence s;
289   s.load_fasta(reduced_dna_fasta, reduced_dna_alphabet);
290   BOOST_CHECK_THROW(s.load_fasta(invalid_dna_fasta, 
291                                  reduced_dna_alphabet),
292                     sequence_invalid_load_error);
293   BOOST_CHECK_THROW(s.load_fasta(reduced_rna_fasta, 
294                                  reduced_dna_alphabet),
295                     sequence_invalid_load_error);
296   BOOST_CHECK_THROW(s.load_fasta(garbage_fasta, 
297                                  reduced_dna_alphabet),
298                     sequence_invalid_load_error);
299
300 }
301
302 BOOST_AUTO_TEST_CASE( sequence_load_rna_reduced )
303 {
304   std::string reduced_rna_fasta_string(">foo\nAAGGCCUUNN\n");
305   std::stringstream reduced_rna_fasta(reduced_rna_fasta_string);
306   std::string invalid_rna_fasta_string(">wrong\nATSSI\n");
307   std::stringstream invalid_rna_fasta(invalid_rna_fasta_string);
308   std::string reduced_dna_fasta_string(">foo\nAAGGCCTTNN\n");
309   std::stringstream reduced_dna_fasta(reduced_dna_fasta_string);
310   std::string garbage_string(">foo\na34ralk3547oilk,jual;(*&^#%-\n");
311   std::stringstream garbage_fasta(garbage_string);
312   
313   Sequence s;
314   s.load_fasta(reduced_rna_fasta, reduced_rna_alphabet);
315   BOOST_CHECK_THROW(s.load_fasta(invalid_rna_fasta, 
316                                  reduced_rna_alphabet),
317                     sequence_invalid_load_error);
318   BOOST_CHECK_THROW(s.load_fasta(reduced_dna_fasta, 
319                                  reduced_rna_alphabet),
320                     sequence_invalid_load_error);
321   BOOST_CHECK_THROW(s.load_fasta(garbage_fasta, 
322                                  reduced_rna_alphabet),
323                     sequence_invalid_load_error);
324 }
325
326 BOOST_AUTO_TEST_CASE( sequence_load_fasta_default )
327 {
328   std::string reduced_rna_fasta_string(">foo\nAAGGCCUUNN\n");
329   std::stringstream reduced_rna_fasta1(reduced_rna_fasta_string);
330   std::stringstream reduced_rna_fasta2(reduced_rna_fasta_string);
331   std::string invalid_nucleotide_fasta_string(">wrong\nATSSI\n");
332   std::stringstream invalid_nucleotide_fasta(invalid_nucleotide_fasta_string);
333   std::string reduced_dna_fasta_string(">foo\nAAGGCCTTNN\n");
334   std::stringstream reduced_dna_fasta1(reduced_dna_fasta_string);
335   std::stringstream reduced_dna_fasta2(reduced_dna_fasta_string);
336   std::string garbage_string(">foo\na34ralk3547oilk,jual;(*&^#%-\n");
337   std::stringstream garbage_fasta(garbage_string);
338   
339   Sequence s;
340   Sequence specific;
341   // there's two copies of reduced_rna_fasta because i didn't feel like
342   // figuring out how to properly reset the read pointer in a stringstream
343   s.load_fasta(reduced_rna_fasta1);
344   specific.load_fasta(reduced_rna_fasta2, reduced_nucleic_alphabet);
345   BOOST_CHECK_EQUAL(s, specific);
346   
347   s.load_fasta(reduced_dna_fasta1);
348   specific.load_fasta(reduced_dna_fasta2, reduced_nucleic_alphabet);
349   BOOST_CHECK_EQUAL(s, specific);
350   
351   BOOST_CHECK_THROW(s.load_fasta(invalid_nucleotide_fasta), 
352                     sequence_invalid_load_error);
353   BOOST_CHECK_THROW(s.load_fasta(garbage_fasta), 
354                     sequence_invalid_load_error);
355 }
356
357 BOOST_AUTO_TEST_CASE( sequence_load_multiple_sequences_one_fasta ) 
358 {
359   std::string fasta_file(
360     ">gi|10129974|gb|AF188002.1|AF188002\n"
361     "AAAAGGCTCCTGTCATATTGTGTCCTGCTCTGGTCTGC\n"
362     ">gi|180579|gb|M21487.1|HUMCKMM1\n"
363     "CGCCGAGAGCGCTTGCTCTGCCCAGATCTCGGCGAGTC\n"
364     ">gi|1621|emb|X55146.1|OCMCK1\n"
365     "CTCCCTGAGGGGAGTGCCCCGCTTAGCCC\n"
366   );
367   istringstream seq1_file(fasta_file);
368   Sequence seq1;
369   seq1.load_fasta(seq1_file, 1, 0, 0);
370   BOOST_CHECK_EQUAL(seq1.get_sequence(), "AAAAGGCTCCTGTCATATTGTGTCCTGCTCTGGTCTGC");
371   
372   istringstream seq2_file(fasta_file);
373   Sequence seq2;
374   seq2.load_fasta(seq2_file, 2, 0, 0);
375   BOOST_CHECK_EQUAL(seq2.get_sequence(), "CGCCGAGAGCGCTTGCTCTGCCCAGATCTCGGCGAGTC");
376   
377   istringstream seq3_file(fasta_file);
378   Sequence seq3;
379   seq3.load_fasta(seq3_file, 3, 0, 0);  
380   BOOST_CHECK_EQUAL(seq3.get_sequence(), "CTCCCTGAGGGGAGTGCCCCGCTTAGCCC"); 
381 }
382
383 BOOST_AUTO_TEST_CASE( sequence_reverse_complement )
384 {
385   std::string iupac_symbols("AaCcGgTtRrYySsWwKkMmBbDdHhVvNn-~.?");
386   Sequence seq(iupac_symbols, nucleic_alphabet);
387   Sequence seqr = seq.rev_comp();
388   
389   BOOST_CHECK( seq != seqr );
390   BOOST_CHECK_EQUAL( seq, seqr.rev_comp() );
391   // forcing sequence to upper case
392   BOOST_CHECK_EQUAL( seq.get_sequence(), 
393                      boost::algorithm::to_upper_copy(iupac_symbols) );
394 }
395
396 BOOST_AUTO_TEST_CASE( sequence_reverse_complement_dna )
397 {
398   std::string dna_str("AGCTN");
399   Sequence dna_seq(dna_str, reduced_dna_alphabet);
400   BOOST_CHECK_EQUAL(dna_seq.rev_comp(), "NAGCT");  
401   BOOST_CHECK_EQUAL(dna_seq, dna_seq.rev_comp().rev_comp());
402 }
403
404 BOOST_AUTO_TEST_CASE( sequence_reverse_complement_rna )
405 {
406   std::string rna_str("AGCUN");
407   Sequence rna_seq(rna_str, reduced_rna_alphabet);
408   BOOST_CHECK_EQUAL(rna_seq.rev_comp().get_sequence(), "NAGCU");  
409   BOOST_CHECK_EQUAL(rna_seq.get_sequence(), 
410                     rna_seq.rev_comp().rev_comp().get_sequence());
411 }
412
413 BOOST_AUTO_TEST_CASE( sequence_reverse_complement_subseq )
414 {
415   std::string dna_str("AAAAAAAAAAGGGGGGGGGGG");
416   Sequence seq(dna_str, reduced_dna_alphabet);
417   Sequence subseq = seq.subseq(8,4);
418   BOOST_CHECK_EQUAL( subseq, "AAGG");
419   Sequence rev_subseq = subseq.rev_comp();
420   BOOST_CHECK_EQUAL( rev_subseq.size(), subseq.size() );
421   BOOST_CHECK_EQUAL( rev_subseq.get_sequence(), "CCTT");
422 }
423
424 BOOST_AUTO_TEST_CASE( sequence_reverse_iterator )
425 {
426   std::string dna_str("AAAAAAAAAAGGGGGGGGGGG");
427   std::string dna_str_reversed(dna_str.rbegin(), dna_str.rend());
428   Sequence seq(dna_str);
429   std::string seq_reversed(seq.rbegin(), seq.rend());
430   BOOST_CHECK_EQUAL(seq_reversed, dna_str_reversed);
431   
432   std::string substr = dna_str.substr(8,4);
433   Sequence subseq = seq.subseq(8,4);
434   BOOST_CHECK_EQUAL(substr, subseq);
435
436   std::string substr_reversed(substr.rbegin(), substr.rend());
437   std::string subseq_reversed(subseq.rbegin(), subseq.rend());
438   BOOST_CHECK_EQUAL(substr_reversed, subseq_reversed);  
439 }
440
441 BOOST_AUTO_TEST_CASE( sequence_empty_reverse_iterator)
442 {
443   // so what happens with reverse interators when we have no sequence?
444   Sequence seq1;
445   Sequence seq2;
446   Sequence seq3("AGCT");
447   
448   // all the empty sequences should have equal iterators
449   BOOST_CHECK(seq1.rbegin() == seq1.rend());
450   BOOST_CHECK(seq1.rbegin() == seq2.rend());
451   
452   // none of the seq1 iterators should equal any of the seq3 iterators
453   BOOST_CHECK(seq1.rbegin() != seq3.rbegin());
454   BOOST_CHECK(seq1.rbegin() != seq3.rend());
455   BOOST_CHECK(seq1.rend() != seq3.rbegin());
456   BOOST_CHECK(seq1.rend() != seq3.rend());
457   
458   // seq3 iterators should work
459   BOOST_CHECK(seq3.rbegin() != seq3.rend());
460   
461 }
462
463 BOOST_AUTO_TEST_CASE( annotation_load )
464 {
465   string annot_data = "human\n"
466                       "0 10 name   type\n"
467                       "10 20 myf7\n"
468                       "20 30 myod\n"
469                       "50\t55 anothername\n"
470                       "60 50 backward\n"
471                       ">ident3 asdf\n"
472                       "GCT\n"
473                       "gCTn\n"
474                       "75\t90\tname2\ttype2\n"
475                       "100 120 name-asdf type!@#$%\n"
476                       ;
477   string s(100, 'A');
478   s += "GCTGCTAATT";
479   Sequence seq(s, reduced_dna_alphabet);
480                      
481   //istringstream annot_stream(annot_data);
482   seq.parse_annot(annot_data, 0, 0);
483   std::list<annot> annots_list = seq.annotations();
484   std::vector<annot> annots(annots_list.begin(), annots_list.end());
485   BOOST_REQUIRE_EQUAL( annots.size(), 8);
486   BOOST_CHECK_EQUAL( annots[0].begin, 0 );
487   BOOST_CHECK_EQUAL( annots[0].end, 10 );
488   BOOST_CHECK_EQUAL( annots[0].type, "type");
489   BOOST_CHECK_EQUAL( annots[0].name, "name");
490   BOOST_CHECK_EQUAL( annots[1].name, "myf7");
491   BOOST_CHECK_EQUAL( annots[2].name, "myod");
492   BOOST_CHECK_EQUAL( annots[3].name, "anothername");
493   BOOST_CHECK_EQUAL( annots[4].name, "backward");
494   BOOST_CHECK_EQUAL( annots[5].name, "name2");
495   BOOST_CHECK_EQUAL( annots[5].end, 90);
496   BOOST_CHECK_EQUAL( annots[6].begin, 100);
497   BOOST_CHECK_EQUAL( annots[6].end, 120);
498   BOOST_CHECK_EQUAL( annots[6].name, "name-asdf");
499   BOOST_CHECK_EQUAL( annots[6].type, "type!@#$%");
500   // sequence defined annotations will always be after the
501   // absolute positions
502   BOOST_CHECK_EQUAL( annots[7].name, "ident3 asdf");
503   BOOST_CHECK_EQUAL( annots[7].begin, 100);
504
505   //BOOST_CHECK_EQUAL( annots
506 }
507
508 BOOST_AUTO_TEST_CASE( annotation_broken_load )
509 {
510   string annot_data = "human\n"
511                       "0 10 name   type\n"
512                       "blah60 50 backward\n"
513                       ">ident3 asdf\n"
514                       "GCT\n"
515                       "gCTn\n"
516                       ;
517   string s(100, 'A');
518   s += "GCTGCTAATT";
519   Sequence seq(s, reduced_dna_alphabet);
520                      
521   BOOST_CHECK_THROW(seq.parse_annot(annot_data, 0, 0), annotation_load_error);
522   BOOST_CHECK_EQUAL(seq.annotations().size(), 0);
523   }
524
525 BOOST_AUTO_TEST_CASE(annotation_ucsc_html_load)
526 {
527   // this actually is basically what's returned by UCSC
528   // (well actually with some of the sequence and copies of fasta blocks
529   // removed to make the example shorter
530   string annot_data = "\n"
531     "<PRE>\n"
532     ">hg17_knownGene_NM_001824_0 range=chr19:50517919-50517974 5'pad=0 3'pad=0 revComp=TRUE strand=- repeatMasking=none\n"
533     "GGGTCAGTGTCACCTCCAGGATACAGACAG\n"
534     "&gt;hg17_knownGene_NM_001824_3 range=chr19:50510563-50510695 5'pad=0 3'pad=0 revComp=TRUE strand=- repeatMasking=none\n"
535     "GGTGGAGACGACCTGGACCCTAACTACGT\n"
536     "</PRE>\n"
537     "\n"
538     "</BODY>\n"
539     "</HTML>\n"
540     ;
541
542   string s = 
543     "TGGGTCAGTGTCACCTCCAGGATACAGACAGCCCCCCTTCAGCCCAGCCCAGCCAG"
544     "AAAAA"
545     "GGTGGAGACGACCTGGACCCTAACTACGTGCTCAGCAGCCGCGTCCGCAC";
546   Sequence seq(s, reduced_dna_alphabet);
547   seq.parse_annot(annot_data);
548   std::list<annot> annots = seq.annotations();
549   BOOST_CHECK_EQUAL( annots.size(), 2);
550 }
551
552 BOOST_AUTO_TEST_CASE( annotation_load_no_species_name )
553 {
554   string annot_data = "0 10 name   type\n"
555                       "10 20 myf7\n"
556                       "20 30 myod\n"
557                       "50\t55 anothername\n"
558                       "60 50 backward\n"
559                       ">ident3 asdf\n"
560                       "GCT\n"
561                       "gCTn\n"
562                       "75\t90\tname2\ttype2\n"
563                       "100 120 name-asdf type!@#$%\n"
564                       ;
565   string s(100, 'A');
566   s += "GCTGCTAATT";
567   Sequence seq(s, reduced_dna_alphabet);
568                      
569   //istringstream annot_stream(annot_data);
570   seq.parse_annot(annot_data, 0, 0);
571   std::list<annot> annots_list = seq.annotations();
572   std::vector<annot> annots(annots_list.begin(), annots_list.end());
573   BOOST_REQUIRE_EQUAL( annots.size(), 8);
574   BOOST_CHECK_EQUAL( annots[0].begin, 0 );
575   BOOST_CHECK_EQUAL( annots[0].end, 10 );
576   BOOST_CHECK_EQUAL( annots[0].type, "type");
577 }
578
579 // ticket:83 when you try to load a sequence from a file that doesn't
580 // have fasta headers it crashes. 
581 BOOST_AUTO_TEST_CASE( sequence_past_end ) 
582 {
583   fs::path seq_path(fs::path(EXAMPLE_DIR, fs::native)/ "seq" );
584   seq_path /=  "misformated_seq.fa";
585   Sequence s;
586   BOOST_CHECK_THROW( s.load_fasta(seq_path), mussa_load_error );
587 }
588
589 BOOST_AUTO_TEST_CASE ( sequence_empty )
590 {
591   
592   Sequence s;
593   BOOST_CHECK_EQUAL( s.empty(), true );
594   s = "AAAGGG";
595   BOOST_CHECK_EQUAL( s.empty(), false );
596   s.clear();
597   BOOST_CHECK_EQUAL( s.empty(), true);
598   s = "";
599   BOOST_CHECK_EQUAL( s.empty(), true);
600 }
601
602 BOOST_AUTO_TEST_CASE ( sequence_size )
603 {
604   
605   Sequence s;
606   BOOST_CHECK_EQUAL( s.size(), 0);
607   std::string seq_string("AAAGGG");
608   s = seq_string;
609   BOOST_CHECK_EQUAL( s.size(), seq_string.size() );
610   s.clear();
611   BOOST_CHECK_EQUAL( s.size(), 0);
612   s = "";
613   BOOST_CHECK_EQUAL( s.size(), 0);
614 }
615
616 BOOST_AUTO_TEST_CASE( sequence_empty_equality )
617 {
618   Sequence szero("", reduced_dna_alphabet);
619   BOOST_CHECK_EQUAL(szero.empty(), true);
620   BOOST_CHECK_EQUAL(szero, szero);
621   BOOST_CHECK_EQUAL(szero, "");
622
623   Sequence sclear("AGCT", reduced_dna_alphabet);
624   sclear.clear();
625   BOOST_CHECK_EQUAL(sclear.empty(), true);
626   BOOST_CHECK_EQUAL(sclear, sclear);
627   BOOST_CHECK_EQUAL(sclear, szero);
628   BOOST_CHECK_EQUAL(sclear, "");
629
630 }
631 BOOST_AUTO_TEST_CASE ( sequence_iterators )
632 {
633   std::string seq_string = "AAGGCCTTNNTATA";
634   Sequence s(seq_string, reduced_dna_alphabet);
635   const Sequence cs(s);
636   std::string::size_type count = 0;
637
638   std::string::iterator str_itor;
639   Sequence::const_iterator s_itor;
640   Sequence::const_iterator cs_itor;
641
642   for( str_itor = seq_string.begin(),
643        s_itor   = s.begin(),
644        cs_itor  = cs.begin();
645        str_itor != seq_string.end() and
646        s_itor   != s.end() and
647        cs_itor  != cs.end();
648        ++str_itor, ++s_itor, ++cs_itor, ++count)
649   {
650     BOOST_CHECK_EQUAL ( *str_itor, *s_itor );
651     BOOST_CHECK_EQUAL ( *s_itor, *cs_itor );
652     BOOST_CHECK_EQUAL ( *cs_itor, *str_itor );
653   }
654   BOOST_CHECK_EQUAL( seq_string.size(), count );
655   BOOST_CHECK_EQUAL( s.size(), count );
656   BOOST_CHECK_EQUAL( cs.size(), count );
657 }
658
659 BOOST_AUTO_TEST_CASE( sequence_motifs )
660 {
661   string m("AAAA");
662   string bogus("AATTGGAA");
663   Sequence s1("AAAAGGGGCCCCTTTT", reduced_dna_alphabet);
664
665   list<motif>::const_iterator motif_i = s1.motifs().begin();
666   list<motif>::const_iterator motif_end = s1.motifs().end();
667
668   // do our iterators work?
669   BOOST_CHECK( motif_i == s1.motifs().begin() );
670   BOOST_CHECK( motif_end == s1.motifs().end() );
671   BOOST_CHECK( motif_i == motif_end );
672
673   // this shouldn't show up
674   s1.add_motif(bogus);
675   BOOST_CHECK( s1.motifs().begin() == s1.motifs().end() );
676   BOOST_CHECK_EQUAL( s1.motifs().size(), 0 );
677
678   s1.add_motif(m);
679   BOOST_CHECK( s1.motifs().begin() != s1.motifs().end() );
680   BOOST_CHECK_EQUAL( s1.motifs().size(), 2 );
681
682   for(motif_i = s1.motifs().begin(); 
683       motif_i != s1.motifs().end(); 
684       ++motif_i)
685   {
686     BOOST_CHECK_EQUAL( motif_i->type, "motif" );
687     BOOST_CHECK_EQUAL( motif_i->name, m);
688     BOOST_CHECK_EQUAL( motif_i->sequence, m);
689   }
690
691   s1.clear_motifs();
692   BOOST_CHECK( s1.motifs().begin() == s1.motifs().end() );
693
694   /* FIXME: enable this when i find a way of passing storing the motif name
695   // does our annotation travel?
696   Sequence motif_seq(m);
697   motif_seq.set_fasta_header("hi");
698   s1.add_motif(motif_seq);
699
700   BOOST_CHECK_EQUAL(s1.motifs().size(), 2);
701   for(motif_i = s1.motifs().begin(); 
702       motif_i != s1.motifs().end(); 
703       ++motif_i)
704   {
705     BOOST_CHECK_EQUAL( motif_i->type, "motif" );
706     BOOST_CHECK_EQUAL( motif_i->name, "hi");
707     BOOST_CHECK_EQUAL( motif_i->sequence, m);
708   }
709   */
710 }
711
712 BOOST_AUTO_TEST_CASE( sequence_motif_subseq)
713 {
714   // when searching for a motif on a subsequence we should 
715   // only search the subsequence ticket:199
716   string aaaa("AAAA");
717   string cccc("CCCC");
718   Sequence s1("AAAANCCCC", reduced_dna_alphabet);
719
720   // this shouldn't show up
721   s1.add_motif(cccc);
722   BOOST_CHECK_EQUAL( s1.motifs().size(), 1 );
723
724   s1.add_motif(aaaa);
725   BOOST_CHECK_EQUAL( s1.motifs().size(), 2 );
726
727   Sequence subseq1 = s1.subseq(4,5);
728   BOOST_CHECK_EQUAL(subseq1.motifs().size(), 2);
729   subseq1.clear_motifs();
730   BOOST_CHECK_EQUAL(subseq1.motifs().size(), 0);
731   // this is outside of our subsequence, and so shouldn't be found    
732   subseq1.add_motif(aaaa);
733   BOOST_CHECK_EQUAL( subseq1.motifs().size(), 0 );
734   
735   subseq1.add_motif(cccc);
736   BOOST_CHECK_EQUAL( subseq1.motifs().size(), 1);
737   std::list<motif>::const_iterator motif_i = subseq1.motifs().begin();
738   BOOST_REQUIRE(motif_i != subseq1.motifs().end());
739   BOOST_CHECK_EQUAL(motif_i->begin, 1);
740   BOOST_CHECK_EQUAL(motif_i->end, 5);
741 }
742
743 BOOST_AUTO_TEST_CASE( annot_test )
744 {
745   annot a(0, 10, "test", "thing");
746
747   BOOST_CHECK_EQUAL( a.begin, 0 );
748   BOOST_CHECK_EQUAL( a.end,   10 );
749   BOOST_CHECK_EQUAL( a.type,  "test" );
750   BOOST_CHECK_EQUAL( a.name,  "thing" );
751
752   motif m(10, "AAGGCC");
753   BOOST_CHECK_EQUAL( m.begin, 10 );
754   BOOST_CHECK_EQUAL( m.type, "motif" );
755   BOOST_CHECK_EQUAL( m.name, "AAGGCC" );
756   BOOST_CHECK_EQUAL( m.end,  10+6 );
757 }
758
759 BOOST_AUTO_TEST_CASE( annotate_from_sequence )
760 {
761   string s("CCGCCCCCCATCATCGCGGCTCTCCGAGAGTCCCGCGCCCCACTCCCGGC"
762            "ACCCACCTGACCGCGGGCGGCTCCGGCCCCGCTTCGCCCCACTGCGATCA"
763            "GTCGCGTCCCGCAGGCCAGGCACGCCCCGCCGCTCCCGCTGCGCCGGGCG"
764            "TCTGGGACCTCGGGCGGCTCCTCCGAGGGGCGGGGCAGCCGGGAGCCACG"
765            "CCCCCGCAGGTGAGCCGGCCACGCCCACCGCCCGTGGGAAGTTCAGCCTC"
766            "GGGGCTCCAGCCCCGCGGGAATGGCAGAACTTCGCACGCGGAACTGGTAA"
767            "CCTCCAGGACACCTCGAATCAGGGTGATTGTAGCGCAGGGGCCTTGGCCA"
768            "AGCTAAAACTTTGGAAACTTTAGATCCCAGACAGGTGGCTTTCTTGCAGT");
769   string gc("GCCCCC");
770   string gga("GGACACCTC");
771   Sequence seq(s, reduced_dna_alphabet);
772
773   std::list<Sequence> query_list;
774   std::list<string> string_list;
775   query_list.push_back(Sequence(gc));
776   string_list.push_back(gc);
777   query_list.push_back(Sequence(gga));
778   string_list.push_back(gga);
779
780   BOOST_CHECK_EQUAL( seq.annotations().size(), 0 );
781   seq.find_sequences(query_list.begin(), query_list.end());
782   
783   int count = 0;
784   for(list<string>::iterator string_i = string_list.begin();
785       string_i != string_list.end();
786       ++string_i)
787   {
788     string::size_type pos=0;
789     while(pos != string::npos) {
790       pos = s.find(*string_i, pos);
791       if (pos != string::npos) {
792         ++count;
793         ++pos;
794       }
795     }
796   }
797   BOOST_CHECK_EQUAL(seq.annotations().size(), count);
798   const std::list<annot> &a = seq.annotations();
799   for (std::list<annot>::const_iterator annot_i = a.begin();
800        annot_i != a.end();
801        ++annot_i)
802   {
803     int count = annot_i->end - annot_i->begin ;
804   }
805 }
806
807 BOOST_AUTO_TEST_CASE( subseq_annotation_test )
808 {
809   string s("CCGCCCCCCATCATCGCGGCTCTCCGAGAGTCCCGCGCCCCACTCCCGGC"
810            "ACCCACCTGACCGCGGGCGGCTCCGGCCCCGCTTCGCCCCACTGCGATCA"
811            "GTCGCGTCCCGCAGGCCAGGCACGCCCCGCCGCTCCCGCTGCGCCGGGCG"
812            "TCTGGGACCTCGGGCGGCTCCTCCGAGGGGCGGGGCAGCCGGGAGCCACG"
813            "CCCCCGCAGGTGAGCCGGCCACGCCCACCGCCCGTGGGAAGTTCAGCCTC"
814            "GGGGCTCCAGCCCCGCGGGAATGGCAGAACTTCGCACGCGGAACTGGTAA"
815            "CCTCCAGGACACCTCGAATCAGGGTGATTGTAGCGCAGGGGCCTTGGCCA"
816            "AGCTAAAACTTTGGAAACTTTAGATCCCAGACAGGTGGCTTTCTTGCAGT");
817   Sequence seq(s, reduced_dna_alphabet);
818
819
820   seq.add_annotation(annot(0, 10, "0-10", "0-10"));
821   seq.add_annotation(annot(10, 20, "10-20", "10-20"));
822   seq.add_annotation(annot(0, 20, "0-20", "0-20"));
823   seq.add_annotation(annot(8, 12, "8-12", "8-12"));
824   seq.add_annotation(annot(100, 5000, "100-5000", "100-5000"));
825
826   Sequence subseq = seq.subseq(5, 10);
827   const list<annot> annots = subseq.annotations();
828   // generate some ground truth
829   list<annot> correct;
830   correct.push_back(annot(0, 5, "0-10",  "0-10"));
831   correct.push_back(annot(5,10, "10-20", "10-20"));
832   correct.push_back(annot(0,10, "0-20",  "0-20"));
833   correct.push_back(annot(3, 7, "8-12",  "8-12"));
834   BOOST_REQUIRE_EQUAL( annots.size(), correct.size() );
835
836   list<annot>::iterator correct_i = correct.begin();
837   list<annot>::const_iterator annot_i = annots.begin();
838   for(; annot_i != annots.end(); ++annot_i, ++correct_i)
839   {
840     BOOST_CHECK( *annot_i == *correct_i );
841   }
842 }
843
844 BOOST_AUTO_TEST_CASE( motif_annotation_update )
845 {
846   string s("CCGTCCCCCATCATCGCGGCTCTCCGAGAGTCCCGCGCCCCACTCCCGGC"
847            "ACCCACCTGACCGCGGGCGGCTCCGGCCCCGCTTCGCCCCACTGCGATCA"
848            "GTCGCGTCCCGCAGGCCAGGCACGCCCCGCCGCTCCCGCTGCGCCGGGCG"
849            "TCTGGGACCTCGGGCGGCTCCTCCGAGGGGCGGGGCAGCCGGGAGCCACG"
850            "CCCCCGCAGGTGAGCCGGCCACGCCCACCGCCCGTGGGAAGTTCAGCCTC"
851            "GGGGCTCCAGCCCCGCGGGAATGGCAGAACTTCGCACGCGGAACTGGTAA"
852            "CCTCCAGGACACCTCGAATCAGGGTGATTGTAGCGCAGGGGCCTTGGCCA"
853            "AGCTAAAACTTTGGAAACTTTAGATCCCAGACAGGTGGCTTTCTTGCAGT");
854   Sequence seq(s, reduced_dna_alphabet);
855
856   // starting conditions
857   BOOST_CHECK_EQUAL(seq.annotations().size(), 0);
858   BOOST_CHECK_EQUAL(seq.motifs().size(), 0);
859   seq.add_annotation(annot(0, 10, "0-10", "0-10"));
860   seq.add_annotation(annot(10, 20, "10-20", "10-20"));
861   seq.add_annotation(annot(0, 20, "0-20", "0-20"));
862   BOOST_CHECK_EQUAL(seq.annotations().size(), 3);
863   BOOST_CHECK_EQUAL(seq.motifs().size(), 0);
864   seq.add_motif("CCGTCCC");
865   BOOST_CHECK_EQUAL(seq.annotations().size(), 3);
866   BOOST_CHECK_EQUAL(seq.motifs().size(), 1);
867   seq.clear_motifs();
868   BOOST_CHECK_EQUAL(seq.annotations().size(), 3);
869   BOOST_CHECK_EQUAL(seq.motifs().size(), 0);
870 }
871
872 BOOST_AUTO_TEST_CASE( out_operator )
873 {
874   string s("AAGGCCTT");
875   Sequence seq(s, reduced_dna_alphabet);
876
877   ostringstream buf;
878   buf << s;
879   BOOST_CHECK_EQUAL( s, buf.str() );
880 }
881
882 BOOST_AUTO_TEST_CASE( get_name )
883 {
884   Sequence seq("AAGGCCTT", reduced_dna_alphabet);
885
886   BOOST_CHECK_EQUAL( seq.get_name(), "" );
887   seq.set_species("hooman"); // anyone remember tradewars?
888   BOOST_CHECK_EQUAL( seq.get_name(), "hooman");
889   seq.set_fasta_header("fasta human");
890   BOOST_CHECK_EQUAL( seq.get_name(), "fasta human");
891 }
892
893 BOOST_AUTO_TEST_CASE( serialize_simple )
894 {
895   std::string seq_string = "AAGGCCTT";
896   Sequence seq(seq_string, reduced_dna_alphabet);
897   seq.set_species("ribbet");
898   std::ostringstream oss;
899   // allocate/deallocate serialization components
900   {
901     boost::archive::text_oarchive oarchive(oss);
902     const Sequence& const_seq(seq);
903     BOOST_CHECK_EQUAL(seq, const_seq);
904     oarchive << const_seq;
905   }
906   Sequence seq_loaded;
907   {
908     std::istringstream iss(oss.str());
909     boost::archive::text_iarchive iarchive(iss);
910     iarchive >> seq_loaded;
911   }
912   BOOST_CHECK_EQUAL(seq_loaded, seq);
913   BOOST_CHECK_EQUAL(seq.get_species(), "ribbet");
914 }  
915
916 BOOST_AUTO_TEST_CASE( serialize_tree )
917 {
918   std::string seq_string = "AAGGCCTT";
919   Sequence seq(seq_string, reduced_dna_alphabet);
920   seq.set_species("ribbet");
921   seq.add_motif("AA");
922   seq.add_motif("GC");
923   annot a1(6,7,"t","t");
924   seq.add_annotation(a1);
925
926   std::ostringstream oss;
927   // allocate/deallocate serialization components
928   {
929     boost::archive::text_oarchive oarchive(oss);
930     const Sequence& const_seq(seq);
931     BOOST_CHECK_EQUAL(seq, const_seq);
932     oarchive << const_seq;
933   }
934
935   Sequence seq_loaded;
936   {
937     std::istringstream iss(oss.str());
938     boost::archive::text_iarchive iarchive(iss);
939     iarchive >> seq_loaded;
940   }
941   BOOST_CHECK_EQUAL(seq_loaded, seq);
942 }  
943
944 // this writes out an "old" style annotated sequence
945 // with annotations attached as "motifs" and "annots"
946 BOOST_AUTO_TEST_CASE( serialize_xml_sequence )
947 {
948   std::string seq_string = "AAGGCCTT";
949   Sequence seq(seq_string, reduced_dna_alphabet);
950   seq.set_species("ribbet");
951   seq.add_motif("AA");
952   seq.add_motif("GC");
953   annot a1(6,7,"t","t");
954   seq.add_annotation(a1);
955
956   std::ostringstream oss;
957   // allocate/deallocate serialization components
958   {
959     boost::archive::xml_oarchive oarchive(oss);
960     const Sequence& const_seq(seq);
961     BOOST_CHECK_EQUAL(seq, const_seq);
962     oarchive << boost::serialization::make_nvp("root", const_seq);
963   }
964   Sequence seq_loaded;
965   {
966     std::istringstream iss(oss.str());
967     boost::archive::xml_iarchive iarchive(iss);
968     iarchive >> boost::serialization::make_nvp("root", seq_loaded);
969   }
970   BOOST_CHECK_EQUAL(seq_loaded, seq);
971 }
972
973 BOOST_AUTO_TEST_CASE( serialize_xml_two )
974 {
975   std::string seq_string = "AAGGCCTT";
976   Sequence seq1(seq_string, reduced_dna_alphabet);
977   Sequence seq2(seq1);
978
979   std::ostringstream oss;
980   // allocate/deallocate serialization components
981   {
982     boost::archive::xml_oarchive oarchive(oss);
983     const Sequence& const_seq1(seq1);
984     const Sequence& const_seq2(seq2);
985     oarchive << boost::serialization::make_nvp("seq1", const_seq1);
986     oarchive << boost::serialization::make_nvp("seq2", const_seq2);
987   }
988   //std::cout << "xml: " << oss.str() << std::endl;
989   Sequence seq1_loaded;
990   Sequence seq2_loaded;
991   {
992     std::istringstream iss(oss.str());
993     boost::archive::xml_iarchive iarchive(iss);
994     iarchive >> boost::serialization::make_nvp("seq1", seq1_loaded);
995     iarchive >> boost::serialization::make_nvp("seq2", seq2_loaded);
996   }
997   BOOST_CHECK_EQUAL(seq1_loaded, seq1);
998   BOOST_CHECK_EQUAL(seq2_loaded, seq2);
999   // test if our pointers are the same
1000   BOOST_CHECK_EQUAL(seq1_loaded.data(), seq2_loaded.data());
1001 }