alg/mussa.cpp

   1 //  This file is part of the Mussa source distribution.
   2 //  http://mussa.caltech.edu/
   3 //  Contact author: Tristan  De Buysscher, tristan@caltech.edu
   4
   5 // This program and all associated source code files are Copyright (C) 2005
   6 // the California Institute of Technology, Pasadena, CA, 91125 USA.  It is
   7 // under the GNU Public License; please see the included LICENSE.txt
   8 // file for more information, or contact Tristan directly.
   9
  10
  11 //                        ----------------------------------------
  12 //                          ---------- mussa_class.cc -----------
  13 //                        ----------------------------------------
  14
  15 #include <boost/filesystem/path.hpp>
  16 #include <boost/filesystem/operations.hpp>
  17 #include <boost/filesystem/fstream.hpp>
  18 namespace fs = boost::filesystem;
  19
  20 #include <boost/spirit/core.hpp>
  21 #include <boost/spirit/actor/push_back_actor.hpp>
  22 #include <boost/spirit/iterator/file_iterator.hpp>
  23 #include <boost/spirit/utility/chset.hpp>
  24 namespace spirit = boost::spirit;
  25
  26 #include <iostream>
  27 #include <sstream>
  28
  29 #include "mussa_exceptions.hpp"
  30 #include "alg/mussa.hpp"
  31 #include "alg/flp.hpp"
  32
  33 using namespace std;
  34
  35
  36 Mussa::Mussa()
  37   : color_mapper(new AnnotationColors)
  38 {
  39   clear();
  40   connect(&the_paths, SIGNAL(progress(const std::string&, int, int)),
  41           this, SIGNAL(progress(const std::string&, int, int)));
  42 }
  43
  44 Mussa::Mussa(const Mussa& m)
  45   : analysis_name(m.analysis_name),
  46     window(m.window),
  47     threshold(m.threshold),
  48     soft_thres(m.soft_thres),
  49     ana_mode(m.ana_mode),
  50     win_append(m.win_append),
  51     thres_append(m.thres_append),
  52     motif_sequences(m.motif_sequences),
  53     color_mapper(m.color_mapper),
  54     analysis_path(m.analysis_path),
  55     dirty(m.dirty)
  56 {
  57   connect(&the_paths, SIGNAL(progress(const std::string&, int, int)),
  58           this, SIGNAL(progress(const std::string&, int, int)));
  59 }
  60
  61 boost::filesystem::path Mussa::get_analysis_path() const
  62 {
  63   return analysis_path;
  64 }
  65
  66 void Mussa::set_analysis_path(boost::filesystem::path pathname)
  67 {
  68   analysis_path = pathname;
  69 }
  70
  71 // set all parameters to null state
  72 void
  73 Mussa::clear()
  74 {
  75   analysis_name = "";
  76   ana_mode = TransitiveNway;
  77   window = 0;
  78   threshold = 0;
  79   soft_thres = 0;
  80   win_append = false;
  81   thres_append = false;
  82   motif_sequences.clear();
  83   if(color_mapper) color_mapper->clear();
  84   the_seqs.clear();
  85   the_paths.clear();
  86   analysis_path = fs::path();
  87   dirty = false;
  88 }
  89
  90 bool Mussa::is_dirty() const
  91 {
  92   return dirty;
  93 }
  94
  95 bool Mussa::empty() const
  96 {
  97   return the_seqs.empty();
  98 }
  99
 100
 101 // these 5 simple methods manually set the parameters for doing an analysis
 102 // used so that the gui can take input from user and setup the analysis
 103 // note - still need a set_append(bool, bool) method...
 104 void
 105 Mussa::set_name(string a_name)
 106 {
 107   analysis_name = a_name;
 108   dirty = true;
 109 }
 110
 111 string Mussa::get_name() const
 112 {
 113   return analysis_name;
 114 }
 115
 116 string Mussa::get_title() const
 117 {
 118   fs::path analysis_path = get_analysis_path();
 119   if (not analysis_path.empty()) {
 120     return analysis_path.native_file_string();
 121   } else if (get_name().size() > 0) {
 122     return get_name();
 123   } else {
 124     return std::string("Unnamed");
 125   }
 126 }
 127
 128 int
 129 Mussa::size() const
 130 {
 131   if (the_seqs.size() > 0)
 132     return the_seqs.size();
 133   else
 134     return 0;
 135 }
 136
 137 void
 138 Mussa::set_window(int a_window)
 139 {
 140   window = a_window;
 141   dirty = true;
 142 }
 143
 144 int Mussa::get_window() const
 145 {
 146   return window;
 147 }
 148
 149 void
 150 Mussa::set_threshold(int a_threshold)
 151 {
 152   threshold = a_threshold;
 153   dirty = true;
 154   if (a_threshold > soft_thres) {
 155     soft_thres = a_threshold;
 156   }
 157 }
 158
 159 int Mussa::get_threshold() const
 160 {
 161   return threshold;
 162 }
 163
 164 void
 165 Mussa::set_soft_threshold(int new_threshold)
 166 {
 167   if (new_threshold < threshold) {
 168     soft_thres = threshold;
 169   } else if (new_threshold > window) {
 170     soft_thres = window;
 171   } else {
 172     soft_thres = new_threshold;
 173   }
 174 }
 175
 176 int Mussa::get_soft_threshold() const
 177 {
 178   return soft_thres;
 179 }
 180
 181 void
 182 Mussa::set_analysis_mode(enum analysis_modes new_ana_mode)
 183 {
 184   ana_mode = new_ana_mode;
 185   dirty = true;
 186 }
 187
 188 enum Mussa::analysis_modes Mussa::get_analysis_mode() const
 189 {
 190   return ana_mode;
 191 }
 192
 193 string Mussa::get_analysis_mode_name() const
 194 {
 195   switch (ana_mode)
 196   {
 197   case TransitiveNway:
 198     return string("Transitive");
 199     break;
 200   case RadialNway:
 201     return string("Radial");
 202     break;
 203   case EntropyNway:
 204     return string("Entropy");
 205     break;
 206   case RecursiveNway:
 207     return string("[deprecated] Recursive");
 208     break;
 209   default:
 210     throw runtime_error("invalid analysis mode type");
 211     break;
 212   }
 213 }
 214
 215 const NwayPaths& Mussa::paths() const
 216 {
 217   return the_paths;
 218 }
 219
 220 //template <class IteratorT>
 221 //void Mussa::createLocalAlignment(IteratorT begin, IteratorT end)
 222 void Mussa::createLocalAlignment(std::list<ConservedPath>::iterator begin,
 223                                  std::list<ConservedPath>::iterator end,
 224                                  std::list<ConservedPath::path_type>& result,
 225                                  std::list<std::vector<bool> >& reversed)
 226 {
 227   const vector_sequence_type& raw_seq = the_seqs;
 228   ConservedPath::path_type aligned_path;
 229   size_t i2, i3;
 230   int x_start, x_end;
 231   int window_length, win_i;
 232   int rc_1 = 0;
 233   int rc_2 = 0;
 234   vector<bool> rc_list;
 235   bool full_match;
 236   vector<bool> matched;
 237   int align_counter;
 238
 239   align_counter = 0;
 240   for(std::list<ConservedPath>::iterator pathz_i=begin; pathz_i != end; ++pathz_i)
 241   {
 242     ConservedPath& a_path = *pathz_i;
 243     window_length = a_path.window_size;
 244     // determine which parts of the path are RC relative to first species
 245     rc_list = a_path.reverseComplimented();
 246
 247     // loop over each bp in the conserved region for all sequences
 248     for(win_i = 0; win_i < window_length; win_i++)
 249     {
 250       aligned_path.clear();
 251       // determine which exact base pairs match between the sequences
 252       full_match = true;
 253       for(i2 = 0; i2 < a_path.size()-1; i2++)
 254       {
 255         // assume not rc as most likely, adjust below
 256         rc_1 = 0;
 257         rc_2 = 0;
 258         // no matter the case, any RC node needs adjustments
 259         if (a_path[i2] < 0)
 260           rc_1 = window_length-1;
 261         if (a_path[i2+1] < 0)
 262           rc_2 = window_length-1;
 263
 264         x_start = (abs(a_path[i2]-rc_1+win_i));
 265         x_end =   (abs(a_path[i2+1]-rc_2+win_i));
 266
 267         boost::shared_ptr<Sequence> cur(raw_seq[i2]) ;
 268         boost::shared_ptr<Sequence> next(raw_seq[i2+1]);
 269         // RC case handling
 270         // ugh, and xor...only want rc coloring if just one of the nodes is rc
 271         // if both nodes are rc, then they are 'normal' relative to each other
 272         if((rc_list[i2] || rc_list[i2+1] )&&!(rc_list[i2] && rc_list[i2+1]))
 273         { //the hideous rc matching logic - not complex, but annoying
 274           if(!(( ((*cur)[x_start]=='A')&&((*next)[x_end]=='T')) ||
 275                 (((*cur)[x_start]=='T')&&((*next)[x_end]=='A')) ||
 276                 (((*cur)[x_start]=='G')&&((*next)[x_end]=='C')) ||
 277                 (((*cur)[x_start]=='C')&&((*next)[x_end]=='G'))) )
 278           {
 279             full_match = false;
 280           } else {
 281             aligned_path.push_back(x_start);
 282           }
 283         }
 284         else
 285         { // forward match
 286           if (!( ((*cur)[x_start] == (*next)[x_end]) &&
 287                 ((*cur)[x_start] != 'N') && ((*next)[x_end] != 'N') ) ) {
 288             full_match = false;
 289           } else {
 290             aligned_path.push_back(x_start);
 291           }
 292         }
 293       }
 294       // grab the last part of our path, assuming we matched
 295       if (full_match)
 296         aligned_path.push_back(x_end);
 297
 298       if (aligned_path.size() == a_path.size()) {
 299         result.push_back(aligned_path);
 300         reversed.push_back(rc_list);
 301       }
 302     }
 303     align_counter++;
 304   }
 305 }
 306
 307
 308 void Mussa::append_sequence(const Sequence& a_seq)
 309 {
 310   boost::shared_ptr<Sequence> seq_copy(new Sequence(a_seq));
 311   the_seqs.push_back(seq_copy);
 312   dirty = true;
 313 }
 314
 315 void Mussa::append_sequence(boost::shared_ptr<Sequence> a_seq)
 316 {
 317   the_seqs.push_back(a_seq);
 318   dirty = true;
 319 }
 320
 321
 322 const vector<boost::shared_ptr<Sequence> >&
 323 Mussa::sequences() const
 324 {
 325   return the_seqs;
 326 }
 327
 328 void Mussa::load_sequence(fs::path seq_file, fs::path annot_file,
 329                           int fasta_index, int sub_seq_start, int sub_seq_end,
 330                           std::string *name)
 331 {
 332   boost::shared_ptr<Sequence> aseq(new Sequence);
 333   aseq->load_fasta(seq_file, fasta_index, sub_seq_start, sub_seq_end);
 334   if ( not annot_file.empty() ) {
 335     aseq->load_annot(annot_file, sub_seq_start, sub_seq_end);
 336   }
 337   if (name != 0 and name->size() > 0 ) {
 338     aseq->set_species(*name);
 339   }
 340   the_seqs.push_back(aseq);
 341   dirty = true;
 342 }
 343
 344 void
 345 Mussa::load_mupa_file(fs::path para_file_path)
 346 {
 347   fs::ifstream para_file;
 348   string file_data_line;
 349   string param, value;
 350   fs::path annot_file;
 351   int split_index, fasta_index;
 352   int sub_seq_start, sub_seq_end;
 353   bool seq_params, did_seq;
 354   string err_msg;
 355   bool parsing_path;
 356   string::size_type new_index, dir_index;
 357
 358   // initialize values
 359   clear();
 360
 361   // if file was opened, read the parameter values
 362   if (not fs::exists(para_file_path))
 363   {
 364     throw mussa_load_error("Config File: " + para_file_path.string() + " not found");
 365   } else if (fs::is_directory(para_file_path)) {
 366     throw mussa_load_error("Config File: " + para_file_path.string() + " is a directory.");
 367   } else if (fs::is_empty(para_file_path)) {
 368     throw mussa_load_error("Config File: " + para_file_path.string() + " is empty");
 369   } else  {
 370     para_file.open(para_file_path, ios::in);
 371
 372     // what directory is the mupa file in?
 373     fs::path file_path_base = para_file_path.branch_path();
 374
 375     // setup loop by getting file's first line
 376     getline(para_file,file_data_line);
 377     split_index = file_data_line.find(" ");
 378     param = file_data_line.substr(0,split_index);
 379     value = file_data_line.substr(split_index+1);
 380
 381     while (para_file)
 382     {
 383       did_seq = false;
 384       if (param == "ANA_NAME")
 385         analysis_name = value;
 386       else if (param == "APPEND_WIN")
 387         win_append = true;
 388       else if (param == "APPEND_THRES")
 389         thres_append = true;
 390       else if (param == "SEQUENCE_NUM")
 391         ; // ignore sequence_num now
 392       else if (param == "WINDOW")
 393         window = atoi(value.c_str());
 394       else if (param == "THRESHOLD")
 395         threshold = atoi(value.c_str());
 396       else if (param == "SEQUENCE")
 397       {
 398         fs::path seq_file = file_path_base / value;
 399         //cout << "seq_file_name " << seq_files.back() << endl;
 400         fasta_index = 1;
 401         annot_file = "";
 402         sub_seq_start = 0;
 403         sub_seq_end = 0;
 404         seq_params = true;
 405
 406         while (para_file && seq_params)
 407         {
 408           getline(para_file,file_data_line);
 409           split_index = file_data_line.find(" ");
 410           param = file_data_line.substr(0,split_index);
 411           value = file_data_line.substr(split_index+1);
 412
 413           if (param == "FASTA_INDEX")
 414             fasta_index = atoi(value.c_str());
 415           else if (param == "ANNOTATION")
 416             annot_file = file_path_base / value;
 417           else if (param == "SEQ_START")
 418             sub_seq_start = atoi(value.c_str());
 419           else if (param == "SEQ_END")
 420           {
 421             sub_seq_end = atoi(value.c_str());
 422           }
 423           //ignore empty lines or that start with '#'
 424           else if ((param == "") || (param == "#")) {}
 425           else seq_params = false;
 426         }
 427         load_sequence(seq_file, annot_file, fasta_index, sub_seq_start,
 428                       sub_seq_end);
 429         did_seq = true;
 430       }
 431       //ignore empty lines or that start with '#'
 432       else if ((param == "") || (param == "#")) {}
 433       else
 434       {
 435         clog << "Illegal/misplaced mussa parameter in file\n";
 436         clog << param << "\n";
 437       }
 438
 439       if (!did_seq)
 440       {
 441         getline(para_file,file_data_line);
 442         split_index = file_data_line.find(" ");
 443         param = file_data_line.substr(0,split_index);
 444         value = file_data_line.substr(split_index+1);
 445         did_seq = false;
 446       }
 447     }
 448
 449     para_file.close();
 450
 451     soft_thres = threshold;
 452     //cout << "nway mupa: analysis_name = " << analysis_name
 453     //     << " window = " << window
 454     //     << " threshold = " << threshold << endl;
 455   }
 456   // no file was loaded, signal error
 457   dirty = true;
 458 }
 459
 460
 461 void
 462 Mussa::analyze()
 463 {
 464   if (the_seqs.size() < 2) {
 465     throw mussa_analysis_error("you need to have at least 2 sequences to "
 466                                "do an analysis.");
 467   }
 468
 469   seqcomp();
 470   the_paths.setup(window, threshold);
 471   nway();
 472 }
 473
 474 void
 475 Mussa::seqcomp()
 476 {
 477   vector<int> seq_lens;
 478   vector<FLPs> empty_FLP_vector;
 479   FLPs dummy_comp;
 480   string save_file_string;
 481
 482   empty_FLP_vector.clear();
 483   for(vector<Sequence>::size_type i = 0; i < the_seqs.size(); i++)
 484   {
 485     all_comps.push_back(empty_FLP_vector);
 486     for(vector<Sequence>::size_type i2 = 0; i2 < the_seqs.size(); i2++)
 487       all_comps[i].push_back(dummy_comp);
 488   }
 489   for(vector<Sequence>::size_type i = 0; i < the_seqs.size(); i++) {
 490     seq_lens.push_back(the_seqs[i]->size());
 491   }
 492   int seqcomps_done = 0;
 493   int seqcomps_todo = (the_seqs.size() * (the_seqs.size()-1)) / 2;
 494   emit progress("seqcomp", seqcomps_done, seqcomps_todo);
 495
 496   for(vector<Sequence>::size_type i = 0; i < the_seqs.size(); i++)
 497     for(vector<Sequence>::size_type i2 = i+1; i2 < the_seqs.size(); i2++)
 498     {
 499       //cout << "seqcomping: " << i << " v. " << i2 << endl;
 500       all_comps[i][i2].setup(window, threshold);
 501       all_comps[i][i2].seqcomp(*the_seqs[i], *the_seqs[i2], false);
 502       all_comps[i][i2].seqcomp(*the_seqs[i], the_seqs[i2]->rev_comp(),true);
 503       ++seqcomps_done;
 504       emit progress("seqcomp", seqcomps_done, seqcomps_todo);
 505     }
 506 }
 507
 508 void
 509 Mussa::nway()
 510 {
 511
 512   the_paths.set_soft_threshold(soft_thres);
 513
 514   if (ana_mode == TransitiveNway) {
 515     the_paths.trans_path_search(all_comps);
 516   }
 517   else if (ana_mode == RadialNway) {
 518     the_paths.radiate_path_search(all_comps);
 519   }
 520   else if (ana_mode == EntropyNway)
 521   {
 522     vector<Sequence> some_Seqs;
 523     //unlike other methods, entropy needs to look at the sequence at this stage
 524     some_Seqs.clear();
 525     for(vector<Sequence>::size_type i = 0; i < the_seqs.size(); i++)
 526     {
 527       some_Seqs.push_back(*the_seqs[i]);
 528     }
 529
 530     the_paths.setup_ent(ent_thres, some_Seqs); // ent analysis extra setup
 531     the_paths.entropy_path_search(all_comps);
 532   }
 533
 534   // old recursive transitive analysis function
 535   else if (ana_mode == RecursiveNway)
 536     the_paths.find_paths_r(all_comps);
 537
 538   the_paths.simple_refine();
 539 }
 540
 541 void
 542 Mussa::save(fs::path save_path)
 543 {
 544   fs::fstream save_file;
 545   ostringstream append_info;
 546   int dir_create_status;
 547
 548   if (save_path.empty()) {
 549     if (not analysis_path.empty()) {
 550       save_path = analysis_path;
 551     } else if (not analysis_name.empty()) {
 552       std::string save_name = analysis_name;
 553        // gotta do bit with adding win & thres if to be appended
 554        if (win_append) {
 555         append_info.str("");
 556         append_info <<  "_w" << window;
 557         save_name += append_info.str();
 558       }
 559
 560       if (thres_append) {
 561         append_info.str("");
 562         append_info <<  "_t" << threshold;
 563         save_name += append_info.str();
 564       }
 565       save_path = save_name;
 566     } else {
 567       throw mussa_save_error("Need filename or analysis name to save");
 568     }
 569   }
 570
 571   if (not fs::exists(save_path)) {
 572     fs::create_directory(save_path);
 573   }
 574
 575   std::string basename = save_path.leaf();
 576   fs::path museq(basename + ".museq", fs::native);
 577
 578   // save sequence and annots to a special mussa file
 579   save_file.open(save_path / museq, ios::out);
 580   save_file << "<Mussa_Sequence>" << endl;
 581
 582   for(vector<Sequence>::size_type i = 0; i < the_seqs.size(); i++)
 583   {
 584     the_seqs[i]->save(save_file);
 585   }
 586
 587   save_file << "</Mussa_Sequence>" << endl;
 588   save_file.close();
 589
 590   // if we have any motifs, save them.
 591   if (motif_sequences.size()) {
 592     fs::path mtl(basename + ".mtl", fs::native);
 593     save_motifs(save_path / mtl);
 594   }
 595
 596   // save nway paths to its mussa save file
 597   fs::path muway(basename + ".muway", fs::native);
 598   the_paths.save(save_path / muway);
 599
 600   for(vector<Sequence>::size_type i = 0; i < the_seqs.size(); i++) {
 601     for(vector<Sequence>::size_type i2 = i+1; i2 < the_seqs.size(); i2++)
 602     {
 603       append_info.str("");
 604       append_info <<  "_sp_" << i << "v" << i2;
 605       fs::path flp(basename+append_info.str()+".flp", fs::native);
 606       all_comps[i][i2].save(save_path / flp);
 607     }
 608   }
 609
 610   dirty = false;
 611   analysis_path = save_path;
 612 }
 613
 614 void
 615 Mussa::save_muway(fs::path save_path)
 616 {
 617   the_paths.save(save_path);
 618 }
 619
 620 void
 621 Mussa::load(fs::path ana_file)
 622 {
 623   int i, i2;
 624   fs::path file_path_base;
 625   fs::path a_file_path;
 626   fs::path ana_path(ana_file);
 627   bool parsing_path;
 628   string err_msg;
 629   ostringstream append_info;
 630   vector<FLPs> empty_FLP_vector;
 631   FLPs dummy_comp;
 632
 633   analysis_path = ana_file;
 634   analysis_name = ana_path.leaf();
 635   file_path_base =  ana_path.branch_path() / analysis_name;
 636   a_file_path = file_path_base / (analysis_name + ".muway");
 637   the_paths.load(a_file_path);
 638   // perhaps this could be more elegent, but at least this'll let
 639   // us know what our threshold and window sizes were when we load a muway
 640   window = the_paths.get_window();
 641   threshold = the_paths.get_threshold();
 642   soft_thres = threshold;
 643
 644   int seq_num = the_paths.sequence_count();
 645
 646   a_file_path = file_path_base / (analysis_name + ".museq");
 647
 648   // this is a bit of a hack due to C++ not acting like it should with files
 649   for (i = 1; i <= seq_num; i++)
 650   {
 651     boost::shared_ptr<Sequence> tmp_seq(new Sequence);
 652     tmp_seq->load_museq(a_file_path, i);
 653     the_seqs.push_back(tmp_seq);
 654   }
 655
 656   fs::path motif_file = file_path_base / (analysis_name + ".mtl");
 657   if (fs::exists(motif_file)) {
 658     load_motifs(motif_file);
 659   }
 660   empty_FLP_vector.clear();
 661   for(i = 0; i < seq_num; i++)
 662   {
 663     all_comps.push_back(empty_FLP_vector);
 664     for(i2 = 0; i2 < seq_num; i2++)
 665       all_comps[i].push_back(dummy_comp);
 666   }
 667
 668   for(i = 0; i < seq_num; i++)
 669   {
 670     for(i2 = i+1; i2 < seq_num; i2++)
 671     {
 672       append_info.str("");
 673       append_info << analysis_name <<  "_sp_" << i << "v" << i2 << ".flp";
 674       //clog << append_info.str() << endl;
 675       a_file_path = file_path_base / append_info.str();
 676       //clog << "path " << a_file_path.string() << endl;
 677       all_comps[i][i2].load(a_file_path);
 678       //clog << "real size = " << all_comps[i][i2].size() << endl;
 679     }
 680   }
 681 }
 682
 683
 684 void
 685 Mussa::save_old()
 686 {
 687   fs::fstream save_file;
 688
 689   save_file.open(analysis_name, ios::out);
 690
 691   for(vector<Sequence>::size_type i = 0; i < the_seqs.size(); i++)
 692     save_file << *(the_seqs[i]) << endl;
 693
 694   save_file << window << endl;
 695   save_file.close();
 696   //note more complex eventually since analysis_name may need to have
 697   //window size, threshold and other stuff to modify it...
 698   the_paths.save_old(analysis_name);
 699 }
 700
 701
 702 void
 703 Mussa::load_old(char * load_file_path, int s_num)
 704 {
 705   fstream save_file;
 706   string file_data_line;
 707   int i, space_split_i, comma_split_i;
 708   vector<int> loaded_path;
 709   string node_pair, node;
 710   Sequence a_seq;
 711
 712   int seq_num = s_num;
 713   the_paths.setup(0, 0);
 714   save_file.open(load_file_path, ios::in);
 715
 716   // currently loads old mussa format
 717
 718   // get sequences
 719   for(i = 0; i < seq_num; i++)
 720   {
 721     getline(save_file, file_data_line);
 722     boost::shared_ptr<Sequence> a_seq(new Sequence(file_data_line));
 723     the_seqs.push_back(a_seq);
 724   }
 725
 726   // get window size
 727   getline(save_file, file_data_line);
 728   window = atoi(file_data_line.c_str());
 729   // get paths
 730
 731   while (!save_file.eof())
 732   {
 733     loaded_path.clear();
 734     getline(save_file, file_data_line);
 735     if (file_data_line != "")
 736     for(i = 0; i < seq_num; i++)
 737     {
 738       space_split_i = file_data_line.find(" ");
 739       node_pair = file_data_line.substr(0,space_split_i);
 740       //cout << "np= " << node_pair;
 741       comma_split_i = node_pair.find(",");
 742       node = node_pair.substr(comma_split_i+1);
 743       //cout << "n= " << node << " ";
 744       loaded_path.push_back(atoi (node.c_str()));
 745       file_data_line = file_data_line.substr(space_split_i+1);
 746     }
 747     //cout << endl;
 748     // FIXME: do we have any information about what the threshold should be?
 749     the_paths.add_path(0, loaded_path);
 750   }
 751   save_file.close();
 752
 753   //the_paths.save("tmp.save");
 754 }
 755
 756 void Mussa::add_motif(const Sequence& motif, const Color& color)
 757 {
 758   motif_sequences.insert(motif);
 759   color_mapper->appendInstanceColor("motif", motif.get_sequence(), color);
 760   dirty = true;
 761 }
 762
 763 void Mussa::set_motifs(const vector<Sequence>& motifs,
 764                        const vector<Color>& colors)
 765 {
 766   if (motifs.size() != colors.size()) {
 767     throw mussa_error("motif and color vectors must be the same size");
 768   }
 769
 770   motif_sequences.clear();
 771   for(size_t i = 0; i != motifs.size(); ++i)
 772   {
 773     add_motif(motifs[i], colors[i]);
 774   }
 775   update_sequences_motifs();
 776 }
 777
 778 // Helper functor to append created motifs to our Mussa analysis
 779 struct push_back_motif {
 780   Mussa::motif_set& motifs;
 781   boost::shared_ptr<AnnotationColors> color_mapper;
 782   std::string& seq_string;
 783   std::string& name;
 784   float& red;
 785   float& green;
 786   float& blue;
 787   float& alpha;
 788   int& parsed;
 789
 790   push_back_motif(Mussa::motif_set& motifs_,
 791                   boost::shared_ptr<AnnotationColors> color_mapper_,
 792                   std::string& seq_,
 793                   std::string& name_,
 794                   float &red_, float &green_, float &blue_, float &alpha_,
 795                   int &parsed_)
 796     : motifs(motifs_),
 797       color_mapper(color_mapper_),
 798       seq_string(seq_),
 799       name(name_),
 800       red(red_),
 801       green(green_),
 802       blue(blue_),
 803       alpha(alpha_),
 804       parsed(parsed_)
 805   {
 806   }
 807
 808   void operator()(std::string::const_iterator,
 809                   std::string::const_iterator) const
 810   {
 811     Sequence seq(seq_string, Sequence::nucleic_alphabet);
 812     // shouldn't we have a better field than "fasta header" and speices?
 813     seq.set_fasta_header(name);
 814     // we need to clear the name in case the next motif doesn't have one.
 815     name.clear();
 816     // be nice if glsequence was a subclass of sequence so we could
 817     // just attach colors directly to the motif.
 818     Color c(red, green, blue, alpha);
 819     color_mapper->appendInstanceColor("motif", seq.c_str(), c);
 820     alpha = 1.0;
 821     motifs.insert(seq);
 822     ++parsed;
 823   };
 824 };
 825
 826 void Mussa::load_motifs(fs::path filename)
 827 {
 828   fs::ifstream f;
 829   f.open(filename, ifstream::in);
 830   load_motifs(f);
 831 }
 832
 833 // I mostly split the ifstream out so I can use a stringstream to test it.
 834 void Mussa::load_motifs(std::istream &in)
 835 {
 836   std::string data;
 837   const char *alphabet = Alphabet::nucleic_alphabet.c_str();
 838   string seq;
 839   string name;
 840   float red = 1.0;
 841   float green = 0.0;
 842   float blue = 0.0;
 843   float alpha = 1.0;
 844   int parsed = 1;
 845
 846   // slurp our data into a string
 847   std::streamsize bytes_read = 1;
 848   while (in.good() and bytes_read) {
 849     const std::streamsize bufsiz=512;
 850     char buf[bufsiz];
 851     bytes_read = in.readsome(buf, bufsiz);
 852     data.append(buf, buf+bytes_read);
 853   }
 854   // parse our string
 855   bool ok = spirit::parse(data.begin(), data.end(),
 856      *(
 857        (
 858         (
 859          (+spirit::chset<>(alphabet))[spirit::assign_a(seq)] >>
 860          +spirit::space_p
 861         ) >>
 862         !(
 863           (
 864             // names can either be letter followed by non-space characters
 865             (spirit::alpha_p >> *spirit::graph_p)[spirit::assign_a(name)]
 866             |
 867             // or a quoted string
 868             (
 869              spirit::ch_p('"') >>
 870                (+(~spirit::ch_p('"')))[spirit::assign_a(name)] >>
 871              spirit::ch_p('"')
 872             )
 873           ) >> +spirit::space_p
 874         ) >>
 875         spirit::real_p[spirit::assign_a(red)] >> +spirit::space_p >>
 876         spirit::real_p[spirit::assign_a(green)] >> +spirit::space_p >>
 877         spirit::real_p[spirit::assign_a(blue)] >> +spirit::space_p >>
 878         !(spirit::real_p[spirit::assign_a(alpha)] >> +spirit::space_p)
 879        )[push_back_motif(motif_sequences, color_mapper, seq, name, red, green, blue, alpha, parsed)]
 880      )).full;
 881   if (not ok) {
 882     stringstream msg;
 883     msg << "Error parsing motif #" << parsed;
 884     // erase our potentially broken motif list
 885     motif_sequences.clear();
 886     throw motif_load_error(msg.str());
 887   }
 888   update_sequences_motifs();
 889 }
 890
 891 void Mussa::save_motifs(fs::path filename)
 892 {
 893   fs::ofstream out_stream;
 894   out_stream.open(filename, ofstream::out);
 895   save_motifs(out_stream);
 896 }
 897
 898 void Mussa::save_motifs(std::ostream& out)
 899 {
 900   for(motif_set::iterator motif_i = motif_sequences.begin();
 901       motif_i != motif_sequences.end();
 902       ++motif_i)
 903   {
 904     out << motif_i->get_sequence() << " ";
 905     if (motif_i->get_name().size() > 0) {
 906       out << "\"" << motif_i->get_name() << "\" ";
 907     }
 908     out << color_mapper->lookup("motif", motif_i->get_sequence());
 909     out << std::endl;
 910   }
 911 }
 912
 913 void Mussa::update_sequences_motifs()
 914 {
 915   // once we've loaded all the motifs from the file,
 916   // lets attach them to the sequences
 917   for(vector<boost::shared_ptr<Sequence> >::iterator seq_i = the_seqs.begin();
 918       seq_i != the_seqs.end();
 919       ++seq_i)
 920   {
 921     // clear out old motifs
 922     (*seq_i)->clear_motifs();
 923     // for all the motifs in our set, attach them to the current sequence
 924     for(set<Sequence>::iterator motif_i = motif_sequences.begin();
 925         motif_i != motif_sequences.end();
 926         ++motif_i)
 927     {
 928       (*seq_i)->add_motif(*motif_i);
 929     }
 930   }
 931 }
 932
 933 const set<Sequence>& Mussa::motifs() const
 934 {
 935   return motif_sequences;
 936 }
 937
 938 boost::shared_ptr<AnnotationColors> Mussa::colorMapper()
 939 {
 940   return color_mapper;
 941 }