31 lines
1.4 KiB
Python
31 lines
1.4 KiB
Python
import ldap.schema
|
|
from ldap.schema.tokenizer import split_tokens,extract_tokens
|
|
|
|
testcases_split_tokens = (
|
|
(" BLUBBER DI BLUBB ", ["BLUBBER", "DI", "BLUBB"]),
|
|
("BLUBBER DI BLUBB",["BLUBBER","DI","BLUBB"]),
|
|
("BLUBBER DI BLUBB ",["BLUBBER","DI","BLUBB"]),
|
|
("BLUBBER DI 'BLUBB' ",["BLUBBER","DI","BLUBB"]),
|
|
("BLUBBER ( DI ) 'BLUBB' ",["BLUBBER","(","DI",")","BLUBB"]),
|
|
("BLUBBER(DI)",["BLUBBER","(","DI",")"]),
|
|
("BLUBBER ( DI)",["BLUBBER","(","DI",")"]),
|
|
("BLUBBER ''",["BLUBBER",""]),
|
|
("( BLUBBER (DI 'BLUBB'))",["(","BLUBBER","(","DI","BLUBB",")",")"]),
|
|
("BLUBB (DA$BLAH)",['BLUBB',"(","DA","BLAH",")"]),
|
|
("BLUBB ( DA $ BLAH )",['BLUBB',"(","DA","BLAH",")"]),
|
|
("BLUBB (DA$ BLAH)",['BLUBB',"(","DA","BLAH",")"]),
|
|
("BLUBB (DA $BLAH)",['BLUBB',"(","DA","BLAH",")"]),
|
|
("BLUBB 'DA$BLAH'",['BLUBB',"DA$BLAH"]),
|
|
("BLUBB DI 'BLU B B ER' DA 'BLAH' ",['BLUBB','DI','BLU B B ER','DA','BLAH']),
|
|
("BLUBB DI 'BLU B B ER' DA 'BLAH' LABER",['BLUBB','DI','BLU B B ER','DA','BLAH','LABER']),
|
|
("BLUBBER DI 'BLU'BB ER' DA 'BLAH' ", ["BLUBBER", "DI", "BLU'BB ER", "DA", "BLAH"]), # for Oracle
|
|
("BLUBB DI 'BLU B B ER'MUST 'BLAH' ",['BLUBB','DI','BLU B B ER','MUST','BLAH']) # for Oracle
|
|
)
|
|
|
|
for t,r in testcases_split_tokens:
|
|
l = ldap.schema.tokenizer.split_tokens(t,{'MUST':None})
|
|
if l!=r:
|
|
print('String:',repr(t))
|
|
print('=>',l)
|
|
print('differs from',r)
|