1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
---input--- 'a' 'я' '\u{1234}' ' ' 'abc' ---tokens--- "'a'" Literal.String.Char '\n' Text.Whitespace "'я'" Literal.String.Char '\n' Text.Whitespace "'\\u{1234}'" Literal.String.Char '\n' Text.Whitespace "'\n'" Literal.String.Char '\n' Text.Whitespace "'" Error 'abc' Name "'" Error '\n' Text.Whitespace