juggle dsl语法介绍及codegen浅析

juggle语法规范如下：

类型:

bool         ->     in cpp bool int          ->     in cpp int64 float        ->     in cpp double string       ->     in cpp std::string array        ->     in cpp std::vector struct       ->     in cpp object

函数的定义则同c语言：void rpctest1(int argv1, bool argv2, string argv3, float argv4, array<int> argv5);

整体的juggle语法如下:

module juggle{     void rpctest1(int argv1, bool argv2, string argv3, float argv4, array<int> argv5);      void rpctest2(int argv1, bool argv2, string argv3, float argv4, array<int> argv5);  }

其中module对应c++中的class，并且在服务器端会被codegen实现为一个单件，无需用户定义句柄有codegen生成对应的create代码。

codegen会依据module中函数定义，生成如下代码:

#include <juggle.h> class juggle: public module{ public: 　　juggle() : module(ch, juggleuuid::UUID()){     _service_handle->register_module_method(juggle_rpctest1,boost::bind(&juggle::call_rpctest1, this, _1));     _service_handle->register_module_method(juggle_rpctest2,boost::bind(&juggle::call_rpctest2, this, _1));  }  ~juggle(){  }  virtual void rpctest1(int64_t argv1,bool argv2,std::string argv3,double argv4,std::vector<int64_t>  argv5) = 0;  void call_rpctest1(boost::shared_ptr<channel> ch, boost::shared_ptr<object> v){   auto argv1 = (*v)["argv1"].asint();   auto argv2 = (*v)["argv2"].asbool();   auto argv3 = (*v)["argv3"].asstring();  auto argv4 = (*v)["argv4"].asfloat();  std::vector<int64_t> argv5;  for(int i = 0; i < (*v)["argv5"].size(); i++){   　　v.push_back((*v)["argv5"][i].asint()); 　　　　 }   auto ret = rpctest1(argv1, argv2, argv3, argv4, argv5);  boost::shared_ptr<object> r = boost::make_shared<object>();  (*r)["suuid"] = (*v)["suuid"];  (*r)["method"] = (*value)["method"];   (*r)["ret"] = ret;  ch->push(r);  }  virtual void rpctest2(int64_t argv1,bool argv2,std::string argv3,double argv4,std::vector<int64_t>  argv5) = 0;  void call_rpctest2(boost::shared_ptr<channel> ch, boost::shared_ptr<object> v){   auto argv1 = (*v)["argv1"].asint();   auto argv2 = (*v)["argv2"].asbool();   auto argv3 = (*v)["argv3"].asstring();  auto argv4 = (*v)["argv4"].asfloat();  std::vector<int64_t> argv5;  for(int i = 0; i < (*v)["argv5"].size(); i++){    v.push_back((*v)["argv5"][i].asint());  }  auto ret = rpctest2(argv1, argv2, argv3, argv4, argv5);  boost::shared_ptr<object> r = boost::make_shared<object>();  (*r)["suuid"] = (*v)["suuid"];  (*r)["method"] = (*value)["method"];  (*r)["ret"] = ret;  ch->push(r);
　　} }; 

可以看到，codegen实现了网络层面的消息响应、协议pack/unpack以及对rpc函数的调用，返回值封包发送的代码。用户只需要继承module并实现对应的rpc函数。

其中对于obejct的定义见 https://github.com/NetEase/fossilizid/blob/master/juggle/interface/object.h

我定义了一个纯虚类，用于规范一个通信协议参数入栈和访问的接口

然后定义了一个channel https://github.com/NetEase/fossilizid/blob/master/juggle/interface/channel.h

用于规范通信的接口

对于通信而言,push/pop是非常上层的一个接口，但是这样的设计目的在于提供一个宽泛的抽象，这里通信的可以是一个消息队列，一个基于共享内存的本地跨进程通信，同样也可以是socket。

btw:另一个原因是我自己封装的网络库的长相是这样的 https://github.com/NetEase/fossilizid/tree/master/remoteq, remotoq提供的通信句柄正是channel，而提供的访问接口则是push/pop。并且通过模板参数配置了网络协议的pack/unpack。我这么实现是为了方便代码复用。

然后是对dsl语言的编译：

juggle的语法定义的关键字，除了变量类型，就只有module和struct。对于一个module的定义，在module之后是是这个module的命名，之后是'{'表示此module定义开始，至'}'表示此module定义结束。module的分析代码如下:

class module(object):  def __init__(self):   self.keyworld = ''   self.name = ''   self.module = []   self.machine = None   def push(self, ch):    if ch == '}':     self.machine = None    return True    if self.machine is not None:     if self.machine.push(ch):      self.module.append(self.machine.func)     self.machine.clear()    else:     if ch == '{':      self.name = deleteNoneSpacelstrip(self.keyworld)      self.keyworld = ''      self.machine = func()      return False    self.keyworld += ch    return False 

在检索到'{'之后开始对module定义的分析，至'}'结束这个module的定义。

因为dsl语言本身的特性，module中只有函数定义，struct中变量定义。所以在module中，只需要分析函数定义。

self.machine = func()，对函数分析器的定义如下:

class func(object):  def __init__(self):   self.keyworld = ''   self.func = []   self.argvtuple = None  def clear(self):   self.keyworld = ''   self.func = []   self.argvtuple = None  def push(self, ch):   if ch == ' ' or ch == '/0':    self.keyworld = deleteNoneSpacelstrip(self.keyworld)    if self.keyworld != '':     if self.argvtuple is None:      self.func.append(self.keyworld)     else:      self.argvtuple.append(self.keyworld)     self.keyworld = ''     return False   if ch == ',':    if self.keyworld != '':     self.argvtuple.append(deleteNoneSpacelstrip(self.keyworld))     self.func.append(self.argvtuple)     self.keyworld = ''     self.argvtuple = []     return False   if ch == '(':    self.func.append(deleteNoneSpacelstrip(self.keyworld))    self.argvtuple = []    self.keyworld = ''    return False   if ch == ')':    if self.keyworld != '':     self.argvtuple.append(deleteNoneSpacelstrip(self.keyworld))     self.func.append(self.argvtuple)     self.keyworld = ''     return False   if ch == ';':    return True   self.keyworld += ch   return False 

因为无需考虑其他的语法要素的区分，函数定义的分析只需要考虑依次提取返回值类型，函数名，(,参数定义，),;函数定义结束。符号表示如下:

rettype funcname(argvlist...);

之后是对struct的分析,与module类似，在struct之后的既是struct name的定义，之后是'{'开始struct的定义，之'}'结束此struct的定义，代码如下:

class struct(object):  def __init__(self):   self.keyworld = ''   self.name = ''   self.struct = []   self.argvdef = []  def push(self, ch):   if ch == ' ' or ch == '/0':    if self.keyworld != '':     self.argvdef.append(self.keyworld)   if ch == '{':    self.name = deleteNoneSpacelstrip(self.keyworld)    self.keyworld = ''    return False   if ch == ';':    self.struct.append(self.argvdef)    self.argvdef = []   if ch == '}':    return True   self.keyworld += ch   return False 

对于struct中的变量定义，同样以'type name;'的方式直接分割。

之后是对jeggle文件的整体分析:

class statemachine(object):  Moduledefine = 0  Funcdefine = 1  def __init__(self):   self.keyworld = ''   self.module = {}   self.struct = {}   self.machine = None  def push(self, ch):   if self.machine is not None:    if self.machine.push(ch):     if isinstance(self.machine, module):      self.module[self.machine.name] = self.machine.module      self.machine = None     if isinstance(self.machine, struct):      self.struct[self.machine.name] = self.machine.struct      self.machine = None   else:    self.keyworld += ch    if self.keyworld == 'module':     self.machine = module()     self.keyworld = ''    if self.keyworld == 'struct':     self.machine = struct()     self.keyworld = ''  def getmodule(self):   return self.module  def getstruct(self):   return self.struct  def syntaxanalysis(self, genfilestr):   for str in genfilestr:    for ch in str:     self.push(ch) 

检索到module和struct之后分别进入对应分支。

之后是codegen的代码见:

https://github.com/NetEase/fossilizid/blob/master/juggle/rpcmake/codegen.py

和之前的 http://www.cnblogs.com/qianqians/p/4184441.html 对比可以看到精简之后的dsl语法要方便分析许多，实作代码也要清晰不少。

和之前为c++添加rpccall的计划相比，现在的dsl语言便于提供其他语言的扩展，同时编译器也会好些很多。

btw:现在的dsl语法非常之强类型，尤其是带模板参数的array<int>，有用过protobuf和thrift的同学应该可以对比去其中的区别，希望大家能对如何设计一个好用的dsl展开讨论。