C++抽象编程——面向对象（10）——token扫描器的实现

tokenscanner.h接口

界面中的许多方法用于启用更改扫描仪默认行为的选项。例如，我们可以通过初始化像这样的token扫描器忽略输入流中的所有空格：

TokenScanner scanner; scanner.ignoreWhitespace();

接下来我们的目的是实现下面的一些功能：

方法作用构造函数TokenScanner() TokenScanner(str) TokenScanner(infile)初始化扫描仪对象。 token的源码从指定的字符串或输入文件初始化。如果没有提供token源，则必须在从扫描仪读取令牌之前调用setInput读取token的方法hasMoreTokens()返回true，如果还有其他更多的token未被读取nextToken()从扫描仪返回下一个token。 如果在没有token可用的情况下调用nextToken，则返回空字符串。saveToken(token)将指定的token保存为扫描仪内部状态的一部分，以便在下次调用nextToken时返回。控制扫描器的方法ignoreWhitespace()告诉扫描仪扫描的时候忽略空格字符

实现简单的token扫描器

TokenScanner.h

#ifndef _TokenScanner_h #define _TokenScanner_h #include <string> /* *这个类用来处理一些分割字符串 */ class TokenScanner{ public: /* *构造函数： TokenScanner scanner *用法：TokenScanner scanner() TokenScanner scanner(str) *--------------------------- *用途：创建一个TokenScanner对象，当其为默认构造函数的时候 *token为空字符串，否则，这token来自于用户定义的字符串 */ TokenScanner(); TokenScanner(std::string str); /* *方法：setInput（） *用法：scanner.setInput(str) *-------------------------- *用途：为扫描器提供指定的string输入 */ void setInput(std::string str); /* *方法：hasMoreTokens *用法：if(scanner.hasMoreTokens) *------------------------------ *用途：判断是否还有后续的tokens */ bool hasMoreTokens(); /* *方法：nextToken *用法：token = scanner.nextToken() *-------------------------------- *用途：返回下一个token的值。如果没有后续的token，那么返回空字符串 */ std::string nextToken(); /* *方法：ignoreWhitespace *用法:scanner.ignoreWhitespace() *----------------------------- *用途：告诉扫描仪忽略空格字符。 默认情况下，nextToken方法像任何其 *它标点符号一样处理空格字符（通常为空格和制tab），并将其作为单字符 *token返回。调用： * scanner.ignoreWhitespace(); *以便我们可以这样操作 */ void ignoreWhitespace(); #include "tokenscannerpriv.h" }; #endif

TokenScannerpriv.h

/* *这个文件为TokenScanner类的私有部分 */ private: /*实例化变量*/ std::string buffer; //包含token的输入字符串，buffer的意思为缓存 int cp; //token在缓存中的正确位置，cp：current position bool ignoreWhitespaceFlag;//设立一个忽略空格的标志，注意这是一个变量 /*私有方法*/ void skipWhitespace(); //跳过空格

TokenScanner.cpp

/* *这个文件用于实现我们前面写的TokenScanner的功能 */ #include <cctype> #include <string> #include "TokenScanner.h" using namespace std; /*构造函数的实现*/ TokenScanner::TokenScanner(){ /*空函数*/ } TokenScanner::TokenScanner(string str){ setInput(str); } /*setInput函数的实现*/ void TokenScanner::setInput(string str){ buffer = str; cp = 0; } /* *hasMoreTokens函数的实现 *当cp在buffer的里面的时候，意味着分割尚未完成，所以返回true *当遇到空格时候，就跳过空格 */ bool TokenScanner::hasMoreTokens() { if (ignoreWhitespaceFlag) skipWhitespace(); return cp < buffer.length(); } /* *nextToken函数的实现 *该方法通过查看由cp指示的当前字符处的字符开始。 *如果该位置超过了字符串的结尾，则nextToken将返回空字符串。 *如果该字符是字母数字，则nextToken会继续向前扫描，直到找到该字的结尾; *如果没有，则nextToken将该字符作为单字符字符串返回 */ string TokenScanner::nextToken() { if (ignoreWhitespaceFlag) skipWhitespace(); if (cp >= buffer.length()) { return ""; } else if (isalnum(buffer[cp])) {//判断是否为字母数字 int start = cp; //将此时开始的cp的位置赋给start /*当cp处于buffer内，且cp中所指的都是字母数字的时候*/ while (cp < buffer.length() && isalnum(buffer[cp])) { cp++; } return buffer.substr(start, cp - start);//返回截取的这一段字符 } else { return string(1, buffer[cp++]); } } /*ignoreWhitespace()函数的实现 */ void TokenScanner::ignoreWhitespace() { ignoreWhitespaceFlag = true; } /* *此方法是一种私有方法，因此不会导出。 *但是，它需要在类的私有部分中声明，该部分 *包含在tokenscannerpriv.h文件中。 *这个方法从hasMoreTokens和nextToken都调用 */ void TokenScanner::skipWhitespace() { while (cp < buffer.length() && isspace(buffer[cp])) { cp++; } }

测试文件

#include <iostream> #include <string> #include "TokenScanner.h" using namespace std; int main(){ string line; getline(cin,line); TokenScanner scanner(line); for(int i = 0;i <= line.length();i++){ string str = scanner.nextToken(); cout << str << endl; } return 0; }

测试结果

自此，面向对象暂时告一段落，以后会提到虚函数之类的