parser: Implement parsing of inclusive-or-expression, exclusive-or-expression, and-expression, and equality-expression grammar constructs

lex: Fix lexing of xor operators

parser: Implement parsing of logical-or-expression grammar constructs; add prototypes for parser functions

parser: Implement parsing of cast-expression and conditional-expression grammar types

parser: Add type-name grammar type

parser: Implement parsing of assignment expressions

parser: Add various grammatical types and allocator functions

parser: Implement parsing of strings, identifiers, and primary expressions

lex: Return wide strings and wide character literals as one token

parser: Implement parsing of integer, character, and floating point constants

lex: Add token type for floating pointer literals and parse them correctly

parser: Implement parsing of declaration-specifiers

token: Add token_value() method to get the lexeme of a token

parser: Move structs that describe the C grammar to grammar.h and their methods to grammar.c

lex: Add file attribute to tokens to identify the file a token came from

parser: Implement parsing of translation units, external declarations, storage class specifiers, type specifiers, and type qualifiers

parser: Implement parsing of type qualifiers

lex: Add token types for keywords

lex: Add functions to the lexer so the tokens can be accessed more flexibly

lex: Assign tokens a type during the lexing step

lex: Clean up the token type

lex: Refactor the tokenizer into a lexer module

Rename tokenize.c to lex.c

tokenize: Add parser for '->' tokens and make sure the last token is returned even if the output does not end with a newline

tokenize: Fix mistaken use of putchar() where putnext() should have been

tokenize: Fix off-by-one bug in the column number

tokenize: Implement recognition of identifiers, numeric literals, and several operators

tokenize: Add token_new_from_char() helper function

tokenize: Implement tokenization of bitwise operators, string literals, character literals, and some others

tokenize: Implement correct tokenization of comments and operators starting with < and >

Add first attempt at writing a tokenizer

doc: Fix error in the tokenizer chart

doc: Add graph of the tokenizer automaton