diff options
Diffstat (limited to 'tests/breaks')
| -rw-r--r-- | tests/breaks/eleven.expected | 13 | ||||
| -rw-r--r-- | tests/breaks/fifteen.break | 1 | ||||
| -rw-r--r-- | tests/breaks/fifteen.expected | 7 | ||||
| -rw-r--r-- | tests/breaks/four.expected | 13 | ||||
| -rw-r--r-- | tests/breaks/nine.expected | 13 | ||||
| -rw-r--r-- | tests/breaks/one.expected | 1 | ||||
| -rw-r--r-- | tests/breaks/sixteen.break | 1 | ||||
| -rw-r--r-- | tests/breaks/sixteen.expected | 7 | ||||
| -rw-r--r-- | tests/breaks/ten.expected | 13 | ||||
| -rw-r--r-- | tests/breaks/three.expected | 13 | ||||
| -rw-r--r-- | tests/breaks/two.expected | 1 |
11 files changed, 53 insertions, 30 deletions
diff --git a/tests/breaks/eleven.expected b/tests/breaks/eleven.expected index 45c7ad01..f5b26708 100644 --- a/tests/breaks/eleven.expected +++ b/tests/breaks/eleven.expected @@ -1,6 +1,7 @@ -Text: ❤️︎︎ 👨[0x200d]🦰 👨🏿[0x200d]🦱 0️⃣ 🏴[0xe0075][0xe0073][0xe0063][0xe0061][0xe007f] 🇩🇪️ [0x0a] -Breaks: c lc lc lc lc lc c c -Whitespace: w w -Sentences: bs e b -Words: b b b bs be b b b -Graphemes: b b b b b b b b +Text: ❤ ️ ︎ ︎ 👨 [0x200d]🦰 👨🏿 [0x200d]🦱 0 ️ ⃣ 🏴[0xe0075][0xe0073][0xe0063][0xe0061][0xe007f] 🇩🇪 ️ [0x0a] +Breaks: c lc lc lc lc lc c c +Whitespace: w w +Sentences: bs e b +Words: b b b bs be b b b +Graphemes: b b b b b b b b +Hyphens: i i i i i i i i diff --git a/tests/breaks/fifteen.break b/tests/breaks/fifteen.break new file mode 100644 index 00000000..452d9bb5 --- /dev/null +++ b/tests/breaks/fifteen.break @@ -0,0 +1 @@ +<span insert_hyphens='false'>one</span> two-three four diff --git a/tests/breaks/fifteen.expected b/tests/breaks/fifteen.expected new file mode 100644 index 00000000..3f5e4655 --- /dev/null +++ b/tests/breaks/fifteen.expected @@ -0,0 +1,7 @@ +Text: o n e [ ] t w o - t h r e e [ ] f o [0xad] u r [0x0a] +Breaks: c c c c lc c c c lc c c c c c lc c c lc c c c +Whitespace: x x w w +Sentences: bs e b +Words: bs be bs be bs be bs be b +Graphemes: b b b b b b b b b b b b b b b b b b b b b +Hyphens: i i i i i i i i i diff --git a/tests/breaks/four.expected b/tests/breaks/four.expected index 2f29d778..e94af24a 100644 --- a/tests/breaks/four.expected +++ b/tests/breaks/four.expected @@ -1,6 +1,7 @@ -Text: ภ า ษ า ไ ท ย [ ] ห รื อ [ ] ภ า ษ า ไ ท ย ก ล า ง [ ] เ ป็ น ภ า ษ า ร า ช ก า ร แ ล ะ ภ า ษ า ป ร ะ จ ำ ช า ติ ข อ ง ป ร ะ เ ท ศ ไ ท ย [ ] ภ า ษ า ไ ท ย เ ป็ น ภ า ษ า ใ น ก ลุ่ ม ภ า ษ า ไ ท ซึ่ ง เ ป็ น ก ลุ่ ม ย่ อ ย ข อ ง ต ร ะ กู ล ภ า ษ า ข ร้ า [ ] ไ ท [ ] สั น นิ ษ ฐ า น ว่ า [ ] ภ า ษ า ใ น ต ร ะ กู ล นี้ มี ถิ่ น ก ำ เ นิ ด จ า ก ท า ง ต อ น ใ ต้ ข อ ง ป ร ะ เ ท ศ จี น [ ] แ ล ะ นั ก ภ า ษ า ศ า ส ต ร์ บ า ง ส่ ว น เ ส น อ ว่ า [ ] ภ า ษ า ไ ท ย น่ า จ ะ มี ค ว า ม เ ชื่ อ ม โ ย ง กั บ ต ร ะ กู ล ภ า ษ า อ อ ส โ ต ร [ ] เ อ เ ชี ย ติ ก [ ] ต ร ะ กู ล ภ า ษ า อ อ ส โ ต ร นี เ ซี ย น [ ] แ ล ะ ต ร ะ กู ล ภ า ษ า จี น [ ] ทิ เ บ ต [0x0a] -Breaks: c c c c lc c c c lc c c c lc c c c lc c c lc c c c c lc c c lc c c c lc c c c c c lc c c lc c c c lc c c c c lc c c lc c c lc c c c c c lc c c c lc c c c lc c c lc c c lc c c c lc c lc c c lc c c c lc c lc c lc c c lc c c lc c c lc c c lc c c c c lc c c c lc c c c lc c c lc c c c c c c lc c c lc c c c lc c lc c c c c lc lc lc c lc c c c c lc c c lc c c lc c c lc c lc c c lc c c c c c lc c c lc c c lc c lc c c c c c c c c lc c c lc c c lc c c c lc c c lc c c c lc c c lc c lc c lc lc c c c lc c c c lc c c lc c lc c c c c lc c c c lc c lc c c c c lc c c c c lc c c lc c c c c lc c c c lc c lc c c c c c c c c c lc c c lc c c c c lc c c c lc c c lc c c c c c -Whitespace: x x x x x x x x x x x x x w w -Sentences: bs e b -Words: bs b b b bse b b be bs b b be bs b b b bse b b bse b b b be bs b b bse b b b bse b b b b b bse b b bse b b b bse b b b b bse b b bse b b bse b b b b b bse b b be bs b b b bse b b bse b b bse b b b bse b bse b b bse b b b bse b bse b bse b b bse b b bse b b bse b b bse b b b b bse b b b bse b b be bs b be bs b b b b b b bse b be bs b b b bse b bse b b b b bse bse bse b bse b b b b bse b b bse b b bse b b bse b bse b b bse b b b b b bse b be bs b b bse b bse b b b b b b b b bse b b bse b b bse b b b bse b be bs b b b bse b b bse b bse b bse bse b b b bse b b b bse b b bse b bse b b b b bse b b b bse b bse b b b be bs b b b b bse b be bs b b b b bse b b b bse b bse b b b b b b b b be bs b b bse b b b b bse b b b bse b be bs b b b be b -Graphemes: b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b +Text: ภ า ษ า ไ ท ย [ ] ห ร ื อ [ ] ภ า ษ า ไ ท ย ก ล า ง [ ] เ ป ็ น ภ า ษ า ร า ช ก า ร แ ล ะ ภ า ษ า ป ร ะ จ ำ ช า ต ิ ข อ ง ป ร ะ เ ท ศ ไ ท ย [ ] ภ า ษ า ไ ท ย เ ป ็ น ภ า ษ า ใ น ก ล ุ ่ ม ภ า ษ า ไ ท ซ ึ ่ ง เ ป ็ น ก ล ุ ่ ม ย ่ อ ย ข อ ง ต ร ะ ก ู ล ภ า ษ า ข ร ้ า [ ] ไ ท [ ] ส ั น น ิ ษ ฐ า น ว ่ า [ ] ภ า ษ า ใ น ต ร ะ ก ู ล น ี ้ ม ี ถ ิ ่ น ก ำ เ น ิ ด จ า ก ท า ง ต อ น ใ ต ้ ข อ ง ป ร ะ เ ท ศ จ ี น [ ] แ ล ะ น ั ก ภ า ษ า ศ า ส ต ร ์ บ า ง ส ่ ว น เ ส น อ ว ่ า [ ] ภ า ษ า ไ ท ย น ่ า จ ะ ม ี ค ว า ม เ ช ื ่ อ ม โ ย ง ก ั บ ต ร ะ ก ู ล ภ า ษ า อ อ ส โ ต ร [ ] เ อ เ ช ี ย ต ิ ก [ ] ต ร ะ ก ู ล ภ า ษ า อ อ ส โ ต ร น ี เ ซ ี ย น [ ] แ ล ะ ต ร ะ ก ู ล ภ า ษ า จ ี น [ ] ท ิ เ บ ต [0x0a] +Breaks: c c c c lc c c c lc c c c lc c c c lc c c lc c c c c lc c c lc c c c lc c c c c c lc c c lc c c c lc c c c c lc c c lc c c lc c c c c c lc c c c lc c c c lc c c lc c c lc c c c lc c lc c c lc c c c lc c lc c lc c c lc c c lc c c lc c c lc c c c c lc c c c lc c c c lc c c lc c c c c c c lc c c lc c c c lc c lc c c c c lc lc lc c lc c c c c lc c c lc c c lc c c lc c lc c c lc c c c c c lc c c lc c c lc c lc c c c c c c c c lc c c lc c c lc c c c lc c c lc c c c lc c c lc c lc c lc lc c c c lc c c c lc c c lc c lc c c c c lc c c c lc c lc c c c c lc c c c c lc c c lc c c c c lc c c c lc c lc c c c c c c c c c lc c c lc c c c c lc c c c lc c c lc c c c c c +Whitespace: x x x x x x x x x x x x x w w +Sentences: bs e b +Words: bs b b b bse b b be bs b b be bs b b b bse b b bse b b b be bs b b bse b b b bse b b b b b bse b b bse b b b bse b b b b bse b b bse b b bse b b b b b bse b b be bs b b b bse b b bse b b bse b b b bse b bse b b bse b b b bse b bse b bse b b bse b b bse b b bse b b bse b b b b bse b b b bse b b be bs b be bs b b b b b b bse b be bs b b b bse b bse b b b b bse bse bse b bse b b b b bse b b bse b b bse b b bse b bse b b bse b b b b b bse b be bs b b bse b bse b b b b b b b b bse b b bse b b bse b b b bse b be bs b b b bse b b bse b bse b bse bse b b b bse b b b bse b b bse b bse b b b b bse b b b bse b bse b b b be bs b b b b bse b be bs b b b b bse b b b bse b bse b b b b b b b b be bs b b bse b b b b bse b b b bse b be bs b b b be b +Graphemes: b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b +Hyphens: i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i diff --git a/tests/breaks/nine.expected b/tests/breaks/nine.expected index 957f67e5..818a78aa 100644 --- a/tests/breaks/nine.expected +++ b/tests/breaks/nine.expected @@ -1,6 +1,7 @@ -Text: मी [ ] का च [ ] खा ऊ [ ] श क तो , [ ] म ला [ ] ते [ ] दु ख त [ ] ना ह [0x0a] मैं [ ] काँ च [ ] खा [ ] स क ता [ ] हूँ , [ ] मु झे [ ] उ स [ ] से [ ] को ई [ ] पी डा [ ] न हीं [ ] हो त [0x0a] நா ன் [ ] க ண் ணா டி [ ] சா ப் பி டு வே ன் , [ ] அ த னா ல் [ ] எ ன க் கு [ ] ஒ ரு [ ] கே டு ம் [ ] வ ரா த [0x0a] ﻢ ﯾ ں [ ] ﮎ ﺎ ﻨ ﭼ [ ] ﮎ ھ ﺍ [ ] ﺲ ﮑ ﺗ ﺍ [ ] ہ ﻭ ں [ ] ﺍ ﻭ ﺭ [ ] ﻢ ﺟ ھ ے [ ] ﺖ ﮑ ﻠ ﯿ ﻓ [ ] ﻥ ہ ﯼ ں [ ] ہ ﻮ ﺘ ﯾ [ ] [0x0a] ﺰ ﻫ [ ] ﺶ ﻴ ﺸ ﻫ [ ] ﺥ ﻭ ړ ﻝ ې [ ] ﺶ ﻣ ، [ ] ﻪ ﻐ ﻫ [ ] ﻡ ﺍ [ ] ﻦ ﻫ [ ] ﺥ ﻭ ږ ﻮ ﻳ [0x0a] -Breaks: c c lc c c lc c c lc c c c c lc c c lc c lc c c c lc c c c c lc c c lc c lc c c c lc c c lc c c lc c c lc c lc c c lc c c lc c c lc c c c c c lc c c c c lc c c c c c c c lc c c c c lc c c c c lc c c lc c c c lc c c c c c c c lc c c c c lc c c c lc c c c c lc c c c lc c c c lc c c c c lc c c c c c lc c c c c lc c c c c c c c c lc c c c c lc c c c c c lc c c c lc c c c lc c c lc c c lc c c c c c c -Whitespace: x x x x x x x w x x x x x x x x x x x w x x x x x x x w x x x x x x x x x x w x x x x x x x w w -Sentences: bs e bs e bs e bs e bs e b -Words: bs be bs be bs be bs be b bs be bs be bs be bs be bs be bs be bs be bs be bs be b bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be b bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be b bs be bs be bs be bs be b bs be bs be bs be bs be b -Graphemes: b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b +Text: म ी [ ] क ा च [ ] ख ा ऊ [ ] श क त ो , [ ] म ल ा [ ] त े [ ] द ु ख त [ ] न ा ह [0x0a] म ै ं [ ] क ा ँ च [ ] ख ा [ ] स क त ा [ ] ह ू ँ , [ ] म ु झ े [ ] उ स [ ] स े [ ] क ो ई [ ] प ी ड ा [ ] न ह ी ं [ ] ह ो त [0x0a] ந ா ன ் [ ] க ண ் ண ா ட ி [ ] ச ா ப ் ப ி ட ு வ ே ன ் , [ ] அ த ன ா ல ் [ ] எ ன க ் க ு [ ] ஒ ர ு [ ] க ே ட ு ம ் [ ] வ ர ா த [0x0a] ﻢ ﯾ ں [ ] ﮎ ﺎ ﻨ ﭼ [ ] ﮎ ھ ﺍ [ ] ﺲ ﮑ ﺗ ﺍ [ ] ہ ﻭ ں [ ] ﺍ ﻭ ﺭ [ ] ﻢ ﺟ ھ ے [ ] ﺖ ﮑ ﻠ ﯿ ﻓ [ ] ﻥ ہ ﯼ ں [ ] ہ ﻮ ﺘ ﯾ [ ] [0x0a] ﺰ ﻫ [ ] ﺶ ﻴ ﺸ ﻫ [ ] ﺥ ﻭ ړ ﻝ ې [ ] ﺶ ﻣ ، [ ] ﻪ ﻐ ﻫ [ ] ﻡ ﺍ [ ] ﻦ ﻫ [ ] ﺥ ﻭ ږ ﻮ ﻳ [0x0a] +Breaks: c c lc c c lc c c lc c c c c lc c c lc c lc c c c lc c c c c lc c c lc c lc c c c lc c c lc c c lc c c lc c lc c c lc c c lc c c lc c c c c c lc c c c c lc c c c c c c c lc c c c c lc c c c c lc c c lc c c c lc c c c c c c c lc c c c c lc c c c lc c c c c lc c c c lc c c c lc c c c c lc c c c c c lc c c c c lc c c c c c c c c lc c c c c lc c c c c c lc c c c lc c c c lc c c lc c c lc c c c c c c +Whitespace: x x x x x x x w x x x x x x x x x x x w x x x x x x x w x x x x x x x x x x w x x x x x x x w w +Sentences: bs e bs e bs e bs e bs e b +Words: bs be bs be bs be bs be b bs be bs be bs be bs be bs be bs be bs be bs be bs be b bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be b bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be bs be b bs be bs be bs be bs be b bs be bs be bs be bs be b +Graphemes: b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b +Hyphens: i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i diff --git a/tests/breaks/one.expected b/tests/breaks/one.expected index bbae494d..cc257131 100644 --- a/tests/breaks/one.expected +++ b/tests/breaks/one.expected @@ -4,3 +4,4 @@ Whitespace: x x w w Sentences: bs e bs e b Words: bs be bs be bs be b bs be b Graphemes: b b b b b b b b b b b b b b b b b b b b b b +Hyphens: i i i i i i i i i i i diff --git a/tests/breaks/sixteen.break b/tests/breaks/sixteen.break new file mode 100644 index 00000000..51062618 --- /dev/null +++ b/tests/breaks/sixteen.break @@ -0,0 +1 @@ +hy‧phen|ation overload diff --git a/tests/breaks/sixteen.expected b/tests/breaks/sixteen.expected new file mode 100644 index 00000000..75f20b9f --- /dev/null +++ b/tests/breaks/sixteen.expected @@ -0,0 +1,7 @@ +Text: h y ‧ p h e n | a t i o n [ ] o v e r [0xad] l o a d [0x0a] +Breaks: c c c lc c c c c lc c c c c c lc c c c c lc c c c c c +Whitespace: x w w +Sentences: bs e b +Words: bs e s be bs be bs be b +Graphemes: b b b b b b b b b b b b b b b b b b b b b b b b b +Hyphens: i ri i i i ri i i i i i i i i i i i diff --git a/tests/breaks/ten.expected b/tests/breaks/ten.expected index c1f8cc35..c9f91dc8 100644 --- a/tests/breaks/ten.expected +++ b/tests/breaks/ten.expected @@ -1,6 +1,7 @@ -Text: i ක්[0x200d]ක [ ] a[0x200c] a் [0x0a] -Breaks: c c c lc c c c -Whitespace: x w w -Sentences: bs e b -Words: bs be bs be b -Graphemes: b b b b b b b +Text: i ක ් [0x200d] ක [ ] a [0x200c] a ் [0x0a] +Breaks: c c c lc c c c +Whitespace: x w w +Sentences: bs e b +Words: bs be bs be b +Graphemes: b b b b b b b +Hyphens: i i i i i i i diff --git a/tests/breaks/three.expected b/tests/breaks/three.expected index 7f078f4f..c2c89158 100644 --- a/tests/breaks/three.expected +++ b/tests/breaks/three.expected @@ -1,6 +1,7 @@ -Text: o n e [ ] t w o [0x2028] r e d [ ] b l u e[0x200d] g r e e n [0x0a] -Breaks: c c c c lc c c c Lc c c c lc c c c c c c c c c c -Whitespace: x w x w w -Sentences: bs e bs e b -Words: bs be bs be bs be bs be b -Graphemes: b b b b b b b b b b b b b b b b b b b b b b b +Text: o n e [ ] t w o [0x2028] r e d [ ] b l u e [0x200d] g r e e n [0x0a] +Breaks: c c c c lc c c c Lc c c c lc c c c c c c c c c c +Whitespace: x w x w w +Sentences: bs e bs e b +Words: bs be bs be bs be bs be b +Graphemes: b b b b b b b b b b b b b b b b b b b b b b b +Hyphens: i i i i i i i i i i i i i i i diff --git a/tests/breaks/two.expected b/tests/breaks/two.expected index 3ec2d948..0280c52f 100644 --- a/tests/breaks/two.expected +++ b/tests/breaks/two.expected @@ -4,3 +4,4 @@ Whitespace: w w Sentences: bs e b Words: bs e s be b Graphemes: b b b b b b b b b b b +Hyphens: i i i i i i i |