diff --git a/Tests/Lib/ldap/schema/test_tokenizer.py b/Tests/Lib/ldap/schema/test_tokenizer.py deleted file mode 100644 index 8f66f8a..0000000 --- a/Tests/Lib/ldap/schema/test_tokenizer.py +++ /dev/null @@ -1,30 +0,0 @@ -import ldap.schema -from ldap.schema.tokenizer import split_tokens,extract_tokens - -testcases_split_tokens = ( - (" BLUBBER DI BLUBB ", ["BLUBBER", "DI", "BLUBB"]), - ("BLUBBER DI BLUBB",["BLUBBER","DI","BLUBB"]), - ("BLUBBER DI BLUBB ",["BLUBBER","DI","BLUBB"]), - ("BLUBBER DI 'BLUBB' ",["BLUBBER","DI","BLUBB"]), - ("BLUBBER ( DI ) 'BLUBB' ",["BLUBBER","(","DI",")","BLUBB"]), - ("BLUBBER(DI)",["BLUBBER","(","DI",")"]), - ("BLUBBER ( DI)",["BLUBBER","(","DI",")"]), - ("BLUBBER ''",["BLUBBER",""]), - ("( BLUBBER (DI 'BLUBB'))",["(","BLUBBER","(","DI","BLUBB",")",")"]), - ("BLUBB (DA$BLAH)",['BLUBB',"(","DA","BLAH",")"]), - ("BLUBB ( DA $ BLAH )",['BLUBB',"(","DA","BLAH",")"]), - ("BLUBB (DA$ BLAH)",['BLUBB',"(","DA","BLAH",")"]), - ("BLUBB (DA $BLAH)",['BLUBB',"(","DA","BLAH",")"]), - ("BLUBB 'DA$BLAH'",['BLUBB',"DA$BLAH"]), - ("BLUBB DI 'BLU B B ER' DA 'BLAH' ",['BLUBB','DI','BLU B B ER','DA','BLAH']), - ("BLUBB DI 'BLU B B ER' DA 'BLAH' LABER",['BLUBB','DI','BLU B B ER','DA','BLAH','LABER']), - ("BLUBBER DI 'BLU'BB ER' DA 'BLAH' ", ["BLUBBER", "DI", "BLU'BB ER", "DA", "BLAH"]), # for Oracle - ("BLUBB DI 'BLU B B ER'MUST 'BLAH' ",['BLUBB','DI','BLU B B ER','MUST','BLAH']) # for Oracle -) - -for t,r in testcases_split_tokens: - l = ldap.schema.tokenizer.split_tokens(t,{'MUST':None}) - if l!=r: - print 'String:',repr(t) - print '=>',l - print 'differs from',r diff --git a/Tests/t_ldap_schema_tokenizer.py b/Tests/t_ldap_schema_tokenizer.py new file mode 100644 index 0000000..c77b20d --- /dev/null +++ b/Tests/t_ldap_schema_tokenizer.py @@ -0,0 +1,36 @@ +import unittest + +import ldap.schema +from ldap.schema.tokenizer import split_tokens,extract_tokens + +class TestTokenize(unittest.TestCase): + testcases_split_tokens = ( + (" BLUBBER DI BLUBB ", ["BLUBBER", "DI", "BLUBB"]), + ("BLUBBER DI BLUBB",["BLUBBER","DI","BLUBB"]), + ("BLUBBER DI BLUBB ",["BLUBBER","DI","BLUBB"]), + ("BLUBBER DI 'BLUBB' ",["BLUBBER","DI","BLUBB"]), + ("BLUBBER ( DI ) 'BLUBB' ",["BLUBBER","(","DI",")","BLUBB"]), + ("BLUBBER(DI)",["BLUBBER","(","DI",")"]), + ("BLUBBER ( DI)",["BLUBBER","(","DI",")"]), + ("BLUBBER ''",["BLUBBER",""]), + ("( BLUBBER (DI 'BLUBB'))",["(","BLUBBER","(","DI","BLUBB",")",")"]), + ("BLUBB (DA$BLAH)",['BLUBB',"(","DA","BLAH",")"]), + ("BLUBB ( DA $ BLAH )",['BLUBB',"(","DA","BLAH",")"]), + ("BLUBB (DA$ BLAH)",['BLUBB',"(","DA","BLAH",")"]), + ("BLUBB (DA $BLAH)",['BLUBB',"(","DA","BLAH",")"]), + ("BLUBB 'DA$BLAH'",['BLUBB',"DA$BLAH"]), + ("BLUBB DI 'BLU B B ER' DA 'BLAH' ",['BLUBB','DI','BLU B B ER','DA','BLAH']), + ("BLUBB DI 'BLU B B ER' DA 'BLAH' LABER",['BLUBB','DI','BLU B B ER','DA','BLAH','LABER']), + + #("BLUBBER DI 'BLU'BB ER' DA 'BLAH' ", ["BLUBBER", "DI", "BLU'BB ER", "DA", "BLAH"]), # for Oracle + #("BLUBB DI 'BLU B B ER'MUST 'BLAH' ",['BLUBB','DI','BLU B B ER','MUST','BLAH']) # for Oracle + ) + + def test_split_tokens(self): + for t, r in self.testcases_split_tokens: + l = ldap.schema.tokenizer.split_tokens(t, {'MUST':None}) + self.assertEqual(l, r) + + +if __name__ == '__main__': + unittest.main()