コード例 #1
0
N *Tokenizer<N, P>::getEOSNode(Allocator<N, P> *allocator) const {
  N *eos_node = getBOSNode(allocator);  // same
  eos_node->stat = MECAB_EOS_NODE;
  return eos_node;
}
コード例 #2
0
ファイル: tokenizer.cpp プロジェクト: nvdajp/nvdajpmiscdep
N *TokenizerImpl<N, P>::getEOSNode() {
  N *eosNode = getBOSNode();  // same
  eosNode->stat = MECAB_EOS_NODE;
  return eosNode;
}