lex: Add token types for keywords

lex: Add functions to the lexer so the tokens can be accessed more flexibly

lex: Assign tokens a type during the lexing step

lex: Clean up the token type

lex: Refactor the tokenizer into a lexer module

Rename tokenize.c to lex.c

tokenize: Add parser for '->' tokens and make sure the last token is returned even if the output does not end with a newline

tokenize: Fix mistaken use of putchar() where putnext() should have been

tokenize: Fix off-by-one bug in the column number

tokenize: Implement recognition of identifiers, numeric literals, and several operators

tokenize: Add token_new_from_char() helper function

tokenize: Implement tokenization of bitwise operators, string literals, character literals, and some others

tokenize: Implement correct tokenization of comments and operators starting with < and >

Add first attempt at writing a tokenizer

doc: Fix error in the tokenizer chart

doc: Add graph of the tokenizer automaton