这种情况应该不是说你。在一般无冲突情况下,人不会当人面指别人,只会用语言进行表达或用下巴示意。如果他有意指人,也不会在乎去看人。他可能只是说话时的习惯动作或是指示一个方向。表情严肃则只能说明叙述的事情不满,或者解释什么,不会是说你。
如果从几个跟你关系不好的人身边经过,他们突然说起了你的外号(也有可能是别人的外号),那是不是在说你?