Lex

%{
#include "y.tab.h"
%}
%%
\(      return('(');
\)      return(')');
[ \t\n] ;
.       return(ERRO);

Yacc

%token ERRO
%%
S : '(' S ')' S
  | ;
%%
void main()
{
  yyparse();
}

int yyerror()
{
  printf("Syntax error...");
  return(0);
}