Ejemplos de initTokenizer en C++ (Cpp)

Ejemplo n.º 1

Archivo: TokenizerTest.c Proyecto: lm/yet-another-smalltalk-vm

void testNextTokenWithString(void)
{
	Tokenizer tokenizer;

	initTokenizer(&tokenizer, "123 abc efg: [ ] #foo $a 'abc' 'a''b' '' '''' := 16r09AF #( ;");
	testNextToken(&tokenizer);
	freeTokenizer(&tokenizer);

}

Ejemplo n.º 2

Archivo: TokenizerTest.c Proyecto: lm/yet-another-smalltalk-vm

void testSkipToken(void)
{
	Tokenizer tokenizer;
	Token *token;

	initTokenizer(&tokenizer, "1 a ( ) [ ]");
	token = skipToken(&tokenizer, 4);
	ASSERT(token->type == TOKEN_OPEN_SQUARE_BRACKET);

	token = skipToken(&tokenizer, -1);
}

Ejemplo n.º 3

Archivo: main.c Proyecto: ABratovic/open-watcom-v2

void doConversion(void **name) {
    char *newName = *name;
    initErrorFile(newName);
    initExpandToken();
    initSymbolTable();
    newName = initTokenizer(newName);
    initPrinting(newName);

    cparseInterface();

    zapPrinting();
    zapTokenizer();
    zapSymbolTable();
    zapExpandToken();
    zapStringTable();
    zapErrorFile();
}