Merge pull request #192 from shift-js/feat/lexer

Donald Steinert · Donald Steinert · commit 75971a1391c1 · 2015-10-31T11:57:09.000-04:00
refactors handle end of line helper function, cleans up lexical types
diff --git a/transpiler/lexer/lexerFunctions.js b/transpiler/lexer/lexerFunctions.js
@@ -232,12 +232,12 @@ module.exports = {
           module.exports.checkFor('FUNCTION_DECLARATION', '...', tokens);
           return true;
         } else {
-          module.exports.checkFor('RANGES', '...', tokens);
+          module.exports.checkFor('RANGE', '...', tokens);
           return true;
         }
       }
       if (currCol === '.' && nextCol === '.' && nextNextCol === '<') {
-        module.exports.checkFor('RANGES', '..<', tokens);
+        module.exports.checkFor('RANGE', '..<', tokens);
         return true;
       }
     }
@@ -420,8 +420,8 @@ module.exports = {
     }
   },
 
-  handleEndOfFile: function(nextCol, tokens) {
-    if (nextCol === undefined) module.exports.makeToken(undefined, undefined, tokens, 'TERMINATOR', 'EOF');
+  handleEndOfFile: function(col, tokens) {
+    if (col === undefined) module.exports.makeToken(undefined, undefined, tokens, 'TERMINATOR', 'EOF');
   }
 
 };
diff --git a/transpiler/lexer/lexicalTypes.js b/transpiler/lexer/lexicalTypes.js
@@ -1,106 +1,38 @@
 module.exports = {
+  
+  CLASS_DEFINITION: {
+    '{': 'CLASS_DEFINITION_START',
+    '}': 'CLASS_DEFINITION_END',
+  },
 
-  // ARRAY: {
-  //   '[': 'ARRAY_START',
-  //   ']': 'ARRAY_END'
-  // },
-
-  // DICTIONARY: {
-  //   '[': 'DICTIONARY_START',
-  //   ']': 'DICTIONARY_END'
-  // },
-
-  NATIVE_METHOD: {
-    'abs': 'NATIVE_METHOD',
-    'advancedBy': 'NATIVE_METHOD',
-    'append': 'NATIVE_METHOD',
-    'contains': 'NATIVE_METHOD',
-    'distanceTo': 'NATIVE_METHOD',
-    'dropFirst': 'NATIVE_METHOD',
-    'dropLast': 'NATIVE_METHOD',
-    'elementsEqual': 'NATIVE_METHOD',
-    'hasPrefix': 'NATIVE_METHOD',
-    'hasSuffix': 'NATIVE_METHOD',
-    'insert': 'NATIVE_METHOD',
-    'insertContentsOf': 'NATIVE_METHOD',
-    'maxElement': 'NATIVE_METHOD',
-    'minElement': 'NATIVE_METHOD',
-    'predecessor': 'NATIVE_METHOD',
-    'popLast': 'NATIVE_METHOD',
-    'print': 'NATIVE_METHOD',
-    'removeAtIndex': 'NATIVE_METHOD',
-    'removeAll': 'NATIVE_METHOD',
-    'removeFirst': 'NATIVE_METHOD',
-    'removeLast': 'NATIVE_METHOD',
-    'removeRange': 'NATIVE_METHOD',
-    'removeValueForKey': 'NATIVE_METHOD',
-    'replaceRange': 'NATIVE_METHOD',
-    'successor': 'NATIVE_METHOD',
-    'startsWith': 'NATIVE_METHOD',
-    'updateValue': 'NATIVE_METHOD',
+  COLLECTION: {
+    '[': 'ARRAY_START',
+    ']': 'COLLECTION_END',
   },
   
-  METHOD_ARGUMENT_NAME: {
-    'at': 'METHOD_ARGUMENT_NAME',
-    'atIndex': 'METHOD_ARGUMENT_NAME',
-    'forKey': 'METHOD_ARGUMENT_NAME',
-    'repeatedValue': 'METHOD_ARGUMENT_NAME'
+  COMMENT: {
+    '//': 'COMMENT_START',
+    '/*': 'MULTI_LINE_COMMENT_START',
+    '*/': 'MULTI_LINE_COMMENT_END' , 
   },
   
-  TYPE_PROPERTY: {
-    'characters': 'TYPE_PROPERTY',
-    'count': 'TYPE_PROPERTY',
-    'description': 'TYPE_PROPERTY',
-    'endIndex': 'TYPE_PROPERTY',
-    'lowercaseString': 'TYPE_PROPERTY',
-    'isEmpty': 'TYPE_PROPERTY',
-    'startIndex': 'TYPE_PROPERTY',
-    'uppercaseString': 'TYPE_PROPERTY',
-  },
-
-  RANGES: {
-    '...': 'CLOSED_RANGE',
-    '..<': 'HALF-OPEN_RANGE',
-  },
-
   FUNCTION_DECLARATION: {
     '(': 'PARAMS_START',
     ')': 'PARAMS_END',
     '{': 'STATEMENTS_START',
     '}': 'STATEMENTS_END',
     '->': 'RETURN_ARROW',
-    '...': 'VARIADIC_PARAM'
+    '...': 'VARIADIC_PARAM',
   },
 
   FUNCTION_INVOCATION: {
     '(': 'INVOCATION_START',
-    ')': 'INVOCATION_END'
-  },
-  
-  CLASS_DEFINITION: {
-    '{': 'CLASS_DEFINITION_START',
-    '}': 'CLASS_DEFINITION_END'
-  },
-  
-  STRUCT_DEFINITION: {
-    '{': 'STRUCT_DEFINITION_START',
-    '}': 'STRUCT_DEFINITION_END'
+    ')': 'INVOCATION_END',
   },
   
   INITIALIZATION: {
     '(': 'INITIALIZATION_START',
-    ')': 'INITIALIZATION_END'
-  },
-
-  COLLECTION: {
-    '[': 'ARRAY_START',
-    ']': 'COLLECTION_END'
-  },
-  
-  COMMENT: {
-    '//': 'COMMENT_START',
-    '/*': 'MULTI_LINE_COMMENT_START',
-    '*/': 'MULTI_LINE_COMMENT_END'  
+    ')': 'INITIALIZATION_END',
   },
   
   KEYWORD: { 
@@ -192,12 +124,48 @@ module.exports = {
     'Type': 'CONTEXT_SPECIFIC_KEYWORD', 
     'unowned': 'CONTEXT_SPECIFIC_KEYWORD', 
     'weak': 'CONTEXT_SPECIFIC_KEYWORD', 
-    'willSet': 'CONTEXT_SPECIFIC_KEYWORD'
+    'willSet': 'CONTEXT_SPECIFIC_KEYWORD',
     
   },
+  
+  METHOD_ARGUMENT_NAME: {
+    'at': 'METHOD_ARGUMENT_NAME',
+    'atIndex': 'METHOD_ARGUMENT_NAME',
+    'forKey': 'METHOD_ARGUMENT_NAME',
+    'repeatedValue': 'METHOD_ARGUMENT_NAME',
+  },
+
+  NATIVE_METHOD: {
+    'abs': 'NATIVE_METHOD',
+    'advancedBy': 'NATIVE_METHOD',
+    'append': 'NATIVE_METHOD',
+    'contains': 'NATIVE_METHOD',
+    'distanceTo': 'NATIVE_METHOD',
+    'dropFirst': 'NATIVE_METHOD',
+    'dropLast': 'NATIVE_METHOD',
+    'elementsEqual': 'NATIVE_METHOD',
+    'hasPrefix': 'NATIVE_METHOD',
+    'hasSuffix': 'NATIVE_METHOD',
+    'insert': 'NATIVE_METHOD',
+    'insertContentsOf': 'NATIVE_METHOD',
+    'maxElement': 'NATIVE_METHOD',
+    'minElement': 'NATIVE_METHOD',
+    'predecessor': 'NATIVE_METHOD',
+    'popLast': 'NATIVE_METHOD',
+    'print': 'NATIVE_METHOD',
+    'removeAtIndex': 'NATIVE_METHOD',
+    'removeAll': 'NATIVE_METHOD',
+    'removeFirst': 'NATIVE_METHOD',
+    'removeLast': 'NATIVE_METHOD',
+    'removeRange': 'NATIVE_METHOD',
+    'removeValueForKey': 'NATIVE_METHOD',
+    'replaceRange': 'NATIVE_METHOD',
+    'successor': 'NATIVE_METHOD',
+    'startsWith': 'NATIVE_METHOD',
+    'updateValue': 'NATIVE_METHOD',
+  },
 
   OPERATOR: {
-    
     '/': 'OPERATOR', 
     '=': 'OPERATOR', 
     '-': 'OPERATOR', 
@@ -211,14 +179,10 @@ module.exports = {
     '|': 'OPERATOR', 
     '^': 'OPERATOR', 
     '?': 'OPERATOR', 
-    '~': 'OPERATOR'
-    
+    '~': 'OPERATOR',
   },
-
-  // TODO end of file terminator at end of string, new line terminator, semicolon terminator
-
+  
   PUNCTUATION: {
-    
     '(': 'PUNCTUATION',
     ')': 'PUNCTUATION', 
     '{': 'PUNCTUATION', 
@@ -230,8 +194,11 @@ module.exports = {
     '@': 'PUNCTUATION', 
     '#': 'PUNCTUATION', 
     '`': 'PUNCTUATION',
-    // '?': 'PUNCTUATION' 
-
+  },
+  
+  RANGE: {
+    '...': 'CLOSED_RANGE',
+    '..<': 'HALF-OPEN_RANGE',
   },
 
   SUBSTRING_LOOKUP: {
@@ -243,12 +210,17 @@ module.exports = {
     '\\(': "STRING_INTERPOLATION_START",
     ')': "STRING_INTERPOLATION_END",
   },
+  
+  STRUCT_DEFINITION: {
+    '{': 'STRUCT_DEFINITION_START',
+    '}': 'STRUCT_DEFINITION_END',
+  },
 
   TERMINATOR: {
     'EOF': 'TERMINATOR',
     '\\n': 'TERMINATOR',
     '\\r': 'TERMINATOR',
-    '\\t': 'TAB'
+    '\\t': 'TAB',
   },
   
   TYPE: {
@@ -266,8 +238,18 @@ module.exports = {
     'UInt8': 'TYPE_NUMBER',
     'UInt16': 'TYPE_NUMBER',
     'UInt32': 'TYPE_NUMBER',
-    'UInt64': 'TYPE_NUMBER'
-  }
-
+    'UInt64': 'TYPE_NUMBER',
+  },
+  
+  TYPE_PROPERTY: {
+    'characters': 'TYPE_PROPERTY',
+    'count': 'TYPE_PROPERTY',
+    'description': 'TYPE_PROPERTY',
+    'endIndex': 'TYPE_PROPERTY',
+    'lowercaseString': 'TYPE_PROPERTY',
+    'isEmpty': 'TYPE_PROPERTY',
+    'startIndex': 'TYPE_PROPERTY',
+    'uppercaseString': 'TYPE_PROPERTY',
+  },
   
-};
+};

Original file line number	Diff line number	Diff line change
`@@ -232,12 +232,12 @@ module.exports = {`
`232`	`232`	`module.exports.checkFor('FUNCTION_DECLARATION', '...', tokens);`
`233`	`233`	`return true;`
`234`	`234`	`} else {`
`235`		`- module.exports.checkFor('RANGES', '...', tokens);`
	`235`	`+ module.exports.checkFor('RANGE', '...', tokens);`
`236`	`236`	`return true;`
`237`	`237`	`}`
`238`	`238`	`}`
`239`	`239`	`if (currCol === '.' && nextCol === '.' && nextNextCol === '<') {`
`240`		`- module.exports.checkFor('RANGES', '..<', tokens);`
	`240`	`+ module.exports.checkFor('RANGE', '..<', tokens);`
`241`	`241`	`return true;`
`242`	`242`	`}`
`243`	`243`	`}`
`@@ -420,8 +420,8 @@ module.exports = {`
`420`	`420`	`}`
`421`	`421`	`},`
`422`	`422`
`423`		`- handleEndOfFile: function(nextCol, tokens) {`
`424`		`- if (nextCol === undefined) module.exports.makeToken(undefined, undefined, tokens, 'TERMINATOR', 'EOF');`
	`423`	`+ handleEndOfFile: function(col, tokens) {`
	`424`	`+ if (col === undefined) module.exports.makeToken(undefined, undefined, tokens, 'TERMINATOR', 'EOF');`
`425`	`425`	`}`
`426`	`426`
`427`	`427`	`};`