C++ (Cpp) token_line示例

示例#1

文件： token.c 项目： baccigalupi/fauxy-hand-coded-lex

Token *Token_create(String *value, int line, int column) {
  Token *token = calloc(1, sizeof(Token));
  check_mem(token);

  object_value(token) = value;
  token_line(token) = line;
  token_column(token) = column;

  return token;
error:
  return NULL;
}

示例#2

文件： parser.cpp 项目： rouckas/mag2d

static void tokenize(string fname, vector< vector<string> > & tokens)
{
    ifstream fr(fname.c_str());
    string line;
    while(fr.good())
    {
        getline(fr, line);
        if(line[0] == '#') continue;
        istringstream s_line;
        vector<string> token_line(0);
        s_line.str(line);
        string token;
        while( s_line >> token )
        {
            token_line.push_back(token);
        }
        if(token_line.size()==0) continue;
        tokens.push_back(token_line);
    }

};