学习正则表达式的一些笔记
学习正则表达式的一些笔记
前言
emmm虽然正则表达式好像不是特别急需，但后面还是需要学的=-=，就在吃喝玩乐睡的假期抽空学习一下。 本章是阅读《正则表达式30分钟入门》的笔记
界定符
指定正则表达式的开始和结束，可以当成是计算机语言中的大括号{和}。一般有三种表现方式：
- 斜杠。例如
/[0-9]/。这是最常用的方式，在PHP中，推荐使用这种方式。 - 井号。例如
#[0-9]。 - 大括号。例如
{[0-9]}。在正则表达式中，大括号还有其他作用，所以这种方式不推荐使用。
修饰符 | 修正模式
给正则表达式的匹配过程添加一种匹配模式，一般加在屁股比如：/[a-z]/i
U加U是懒惰匹配，不加U是默认的贪婪匹配。i忽略英文字母大小写。x忽略空白。（包括空格和按tab键输出的制表符）s让元字符.匹配包括换行符在内的所有字符。A强制从目标字符串开头匹配epreg_replace()在替换字符串中对逆向引用作正常的替换。简单的说，就是PHP会把replace的结果当做PHP代码。（替换字符串要符合php的语法规范） 例如：echo preg_replace('/(\d+),(\d+)/e', '$1+$2', '2,3');会输出5g全局匹配(但只匹单行) 若不带g，正则过程中字符串从左到右匹配，找到第一个符合条件的即匹配成功并返回 若带g，则字符串从左到右，找到每个符合条件的都记录下来，直到字符串结尾位置m多行匹配：若存在换行\n并且有开始^或结束$符的情况下，和g一起使用实现全局匹配。 存在换行时默认会把换行符作为一个字符任务匹配。 g只匹配第一行，添加m之后实现多行，每个换行符之后作为新的匹配起始
元字符
. ：匹配除换行符以外的任意字符 \w：匹配字母或数字或下划线或汉字等 \s：匹配任意的空白符，包括空格，制表符(Tab)，换行符，中文全角空格 等 \d：匹配一位数字 \b：匹配单词的开始或结束。匹配这样一个位置：它的前一个字符和后一个字符不全是\w（一个是，一个不是或不存在） ^：匹配字符串开始 $：匹配字符串结束 (和)：小括号有很多妙用，看下面吧
反义
\W 匹配任意不是字母，数字，下划线，汉字的字符 \S 匹配任意不是空白符的字符 \D 匹配任意非数字的字符 \B 匹配不是单词开头或结束的位置 [\^x] 匹配除了x以外的任意字符 [\^aeiou] 匹配除了aeiou这几个字母以外的任意字符
量词
* ：任意数量；重复0次或很多次 +：>=1次；重复1次或很多次 ?：0 or 1；重复0次或1次 {n}：n次；如：\d{2}（表示\d重复匹配2次）； {n,}：>=n次；重复n次或更多次 {n,m}：重复n到m次；重复次数不少于n，不大于m
字符转义
若需要查找元字符本身如.、*这些，需要用\来将这些字符的特殊意义取消掉：如\.、\*；当然查找\本身也需要转义为\\
正则表达式字符类备忘单
打ctf的时候碰到的正则匹配 ps：不过这个好像不是所有语言都适用？在使用正则测试小工具测试payload的时候就没能识别
1 | [:alpha:]`任意字母, `[A-Za-z]` `[:upper:]`任意大写字母, `[A-Z]` `[:lower:]`任意小写字母, `[a-z]` `[:digit:]`任意数字, `[0-9]` `[:alnum:]`任意字符字母数字, `[A-Za-z0-9]` `[:xdigit:]`任意十六进制数字, `[0-9A-Fa-f]` `[:space:]`制表符，换行符，垂直制表符，换页，回车或空格 `[:blank:]`空格或制表符 `[:print:]`任意可打印字符 `[:punct:]`任意标点符号: `! ' # S % & ' ( ) * + , - . / : ; < = > ? @ [ / ] ^ _ { | } ~` `[:graph:]`除space类之外的任意字符 `[:word:]`字母数字字符和下划线的连续字符串 `[:ascii:]`ASCII字符，范围：0-127 `[:cntrl:]`任何不属于字符类的字符: `[:upper:], [:lower:], [:alpha:], [:digit:], [:punct:], [:graph:], [:print:], [:xdigit:] |
查找字符类
如查找abcde，只需在方括号中列出[abcde];那么就构造了这样一个只会匹配abcde的字符集，数量由其后的重复次数决定
也可以指定范围： [0-9] 代表的含意与 \d 就是完全一致的：一位 数字； [a-z0-9A-Z_] 也完全等同于 \w （如果只考虑英文的话）。
分支条件
正则表达式里的分枝条件指的是有几种规则，如果满足其中任意一种规则都会进行匹配，具体方法是用 | 把不同的规则分隔开。如a | b，只要满足其中之一，都会进行匹配
分组(子表达式)
想要重复多个字符时，需要先用小括号进行分组，然后再指定这个分组的重复次数。 eg： (\d{1,3}\.){3}\d{1,3} 是一个简单的 IP 地址匹配表达式。 按下列顺序分析它： \d{1,3}匹配 1到3位的数字， (\d{1,3}\.){3}匹配三位数字加上一个英文句号(这个整体也就是这个分组) 重复3次， 最后再加上一个一到三位的数字 (\d{1,3}) 。
IP地址中每个数字都不能大于255 且 01.02.03.04 这样前面带有0的数字, 也是正确的IP地址，IP 地址里的数字可以包含有前导 0 (leading zeroes). 不过上述正则表达式也会匹配 256.300.888.999 这种不可能存在的IP地址。 如果能使用算术比较的话，或许能简单地解决这个问题，但是正则表达式中并不提供关于数学的任何功能 所以只能使用冗长的分组，选择，字符类来描述一个正确的IP地址： ((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)
理解这个表达式的关键是理解 2[0-4]\d|25[0-5]|[01]?\d\d?
解析：分成三部分：2[0-4]\d、25[0-5]、[01]?\d\d? 2[0-4]\d：2 + [0-4]中的任一个 + 任意数字；即：200-209、210-219、220-229、230-239、240-249 25[0-5]：：25 + [0-5]任一个；即：250-255 [01]?\d\d?：：[01]? + \d + \d?;即0/1(不匹配或匹配1次)，加上任一数字，加上任一数字(不匹配或匹配1次)
后向引用
使用小括号指定一个子表达式后，匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它程序中作进一步的处理。 也就是说可以对分组匹配到的文字进行处理
默认情况下，每个分组会自动拥有一个组号，规则是：从左向右，以分组的左括号为标志，第一个出现的分组的组号为1，第二个为2，以此类推。
后向引用用于重复搜索前面某个分组匹配的文本。 例如： \1 代表分组1匹配的文本。 示例： \b(\w+)\b\s+\1\b 就可以可以用来匹配重复的单词，像go go, 或者kitty kitty。
解析： (\b(\w+)\b) :首先是一个单词（这个单词会被捕获到编号为1的分组中），也就是单词开始处和结束处之间数量多于一个的字母或数字 (\s+) ：然后是1个或几个空白符 (\1) ：最后是分组1中捕获的内容（也就是前面匹配的那个单词）
自定义子表达式的组名
子表达式的组名也可以自己定义：
使用语法形如： (? <Word>\w+) (或者把尖括号换成’也行： (?'Word'\w+)) 这样就把 \w+ 的组名指定为 Word 了。
反向引用时：\k<Word>
由此可以将上面的例子\b(\w+)\b\s+\1\b写为\b(?<Word>\w+)\b\s+\k<Word>\b
使用 () 的一些常用的特定语法
| 分类 | 代码/语法 | 说明 |
|---|---|---|
| 捕获 | (exp) | 匹配exp,并捕获文本到自动命名的组里 |
| (?exp) or (?’name’exp) | 匹配exp,并捕获文本到名称为name的组里 | |
| (?:exp) | 匹配exp,不捕获匹配的文本，也不给此分组分配组号 | |
| 零宽断言 | (?=exp) | 匹配exp前面的位置 |
| (?<=exp) | 匹配exp后面的位置 | |
| (?!exp) | 匹配后面跟的不是exp的位置 | |
| (?<!exp) | 匹配前面不是exp的位置 | |
| 注释 | (?#comment) | 这种类型的分组不对正则表达式的处理产生任何影响，用于提供注释让人阅读 |
零宽断言
就是用于查找在某些内容(不包括这些内容)之前或之后的东西，即指定内容前/后的位置，并且该位置需满足一定条件（断言）；故综合称之为零宽断言。
(?=exp)（零宽度正预测先行断言）：断言自身出现的位置的后面能匹配表达式exp
比如：
\b\w+(?=ing\b)，匹配以ing结尾的单词的前面部分(除了ing以外的部分)，如查找I’m singing while you’re dancing.时，它会匹配sing和danc。
(?<=exp)（零宽度正回顾后发断言）：断言自身出现的位置的前面能匹配表达式 exp
比如：
(?<=\bre)\w+\b会匹配以re开头的单词的后半部分(除了re以外的部分)，例如在查找reading a book时，它匹配ading。
负向零宽断言
(?!exp)（零宽度负预测先行断言）：断言此位置的后面不能匹配表达式exp
比如：
\d{3}(?!\d)匹配三位数字，而且这三位数字的后面不能是数字；
\b((?!abc)\w)+\b匹配不包含连续字符串abc的单词。
(?<!exp)（零宽度负回顾后发断言）：断言此位置的前面不能匹配表达式exp
比如：
(?<![a-z])\d{7}匹配前面不是小写字母的七位数字。
(?<=<(\w+)>).*(?=<\/\1>)匹配不包含属性的简单HTML标签内里的内容解析：
(?<=<(\w+)>)指定了前缀：被尖括号括起来的单词(比如可能是<b>)，.*(任意的字符串),最后是一个后缀(?=<\/\1>)。 后缀里的\/用到了前面提过的字符转义；\1是一个反向引用，引用捕获的第一组，前面(\w+)匹配的内容这样如果前缀实际上是
<b>的话，后缀就是</b>了。整个表达式匹配的是
<b>和</b>之间的内容(不包括前缀和后缀本身)。
注释
通过语法(?#comment)来包含注释
比如：
2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)
要包含注释的话，最好是启用“忽略模式里的空白符”选项，这样在编写表达式时能任意的添加空格，Tab，换行，而实际使用时这些都将被忽略。 启用这个选项后，在#后面到这一行结束的所有文本都将被当成注释忽略掉。
例如，我们可以将前面的一个表达式写成这样：
1 | (?<= # 断言要匹配的文本的前缀 |
贪婪与懒惰
贪婪匹配
当正则表达式中包含能接受重复的限定符时，通常的行为是匹配尽可能多的字符（在使整个表达式能得到匹配的前提下）
如：a.*b会匹配最长的 以a开始，b结束 的字符串； 当以此对aabab进行搜索，就会匹配整个字符串aabab
懒惰匹配
也就是是匹配尽可能少的字符。 只需在限定符后加上?即可转换为懒惰匹配模式
如a.*?b匹配最短的 以a开始，b结束 的字符串； 当以此对aabab进行搜索，就会匹配aab和ab
懒惰限定符：
| 代码/语法 | 说明 |
|---|---|
| *? | 重复任意次，但尽可能少重复 |
| +? | 重复1次或更多次，但尽可能少重复 |
| ?? | 重复0次或1次，但尽可能少重复 |
| {n,m}? | 重复n到m次，但尽可能少重复 |
| {n,}? | 重复n次以上，但尽可能少重复 |
处理选项（基于python）
Python 中常用的正则表达式选项（用到re模块！）：
| 名称 | 说明 |
|---|---|
| re.IGNORECASE | 匹配时不区分大小写。 |
| re.MULTILINE | 更改\^和$的含义，使它们分别在任意一行的行首和行尾匹配，而不仅仅在整个字符串的开头和结尾匹配。(在此模式下,$的精确含意是:匹配\n之前的位置以及字符串结束前的位置.) |
| re.DOTALL | 更改.的含义，使它与每一个字符匹配（包括换行符\n）。 |
| re.VERBOSE | 忽略表达式中的非转义空白并启用由#标记的注释。 |
| re.DEBUG | 显示编译表达式的 debug 信息 |
平衡组&递归匹配
使用场景：匹配嵌套字符串，如匹配类中的大括号，HTML中的尖括号等
(?'group') 把捕获的内容命名为group,并压入堆栈(Stack)
(?'-group') 从堆栈上弹出最后压入堆栈的名为group的捕获内容，如果堆栈本来为空，则本分组的匹配失败
(?(group)yes|no) 如果堆栈上存在以名为group的捕获内容的话，继续匹配yes部分的表达式，否则继续匹配no部分
(?!) 零宽负向先行断言，由于没有后缀表达式，试图匹配总是失败
我们要做的是：
每碰到了左括号，就在压入一个”Open”, 每碰到一个右括号，就弹出一个，到了最后就看看堆栈是否为空；
不为空 -》证明左括号比右括号多，那匹配就应该失败。
正则表达式引擎会进行回溯(放弃最前面或最后面的一些字符)，尽量使整个表达式得到匹配
正则表达式手册
表达式全集
| 字符 | 描述 | |
|---|---|---|
| \ | 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。 |
|
| ^ | 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。 |
|
| \ | 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，也匹配“\n”或“\r”之前的位置。 |
|
| * | 匹配前面的子表达式零次或多次。例如，zo能匹配“z”以及“zoo”。等价于{0,}。 |
|
| + | 匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。 |
|
| ? | 匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“does”或“does”中的“do”。?等价于{0,1}。 |
|
| {n} | n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。 |
|
| {n,} | n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。 |
|
| {n,m} | m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。 |
|
| ? | 当该字符紧跟在任何一个其他限制符（,+,?，{n}，{n,}，{n,m*}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。 |
|
| . | 匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“`(. |
|
| (pattern) | 匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。要匹配圆括号字符，请使用“\(”或“\)”。 |
|
| (?:pattern) | 匹配pattern但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用或字符“`( | |
| (?=pattern) | 正向肯定预查，在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，“`Windows(?=95 | |
| (?!pattern) | 正向否定预查，在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如“`Windows(?!95 | |
| (?<=pattern) | 反向肯定预查，与正向肯定预查类拟，只是方向相反。例如，“`(?<=95 | |
| (?<!pattern) | 反向否定预查，与正向否定预查类拟，只是方向相反。例如“`(?<!95 | |
| x\ | y | 匹配x或y。例如，“`z |
| [xyz] | 字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。 |
|
| xyz | 负值字符集合。匹配未包含的任意字符。例如，“[^abc]”可以匹配“plain”中的“p”。 |
|
| [a-z] | 字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 |
|
| a-z | 负值字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。 |
|
| \b | 匹配一个单词边界，也就是指单词和空格间的位置。例如，“er\b”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”。 |
|
| \B | 匹配非单词边界。“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”。 |
|
| \cx | 匹配由x指明的控制字符。例如，\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则，将c视为一个原义的“c”字符。 |
|
| \d | 匹配一个数字字符。等价于[0-9]。 | |
| \D | 匹配一个非数字字符。等价于0-9。 | |
| \f | 匹配一个换页符。等价于\x0c和\cL。 | |
| \n | 匹配一个换行符。等价于\x0a和\cJ。 | |
| \r | 匹配一个回车符。等价于\x0d和\cM。 | |
| \s | 匹配任何空白字符，包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。 | |
| \S | 匹配任何非空白字符。等价于 \f\n\r\t\v。 | |
| \t | 匹配一个制表符。等价于\x09和\cI。 | |
| \v | 匹配一个垂直制表符。等价于\x0b和\cK。 | |
| \w | 匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_]”。 |
|
| \W | 匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。 |
|
| \xn | 匹配n，其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，“\x41”匹配“A”。“\x041”则等价于“\x04&1”。正则表达式中可以使用ASCII编码。. |
|
| num | 匹配num，其中num是一个正整数。对所获取的匹配的引用。例如，“(.)\1”匹配两个连续的相同字符。 |
|
| n | 标识一个八进制转义值或一个向后引用。如果n之前至少n个获取的子表达式，则n为向后引用。否则，如果n为八进制数字（0-7），则n为一个八进制转义值。 | |
| nm | 标识一个八进制转义值或一个向后引用。如果nm之前至少有nm个获得子表达式，则nm为向后引用。如果*nm之前至少有n个获取，则n为一个后跟文字m的向后引用。如果前面的条件都不满足，若n和m均为八进制数字（0-7），则nm将匹配八进制转义值nm*。 | |
| nml | 如果n为八进制数字（0-3），且m和l均为八进制数字（0-7），则匹配八进制转义值nml。 | |
| \un | 匹配n，其中n是一个用四个十六进制数字表示的Unicode字符。例如，\u00A9匹配版权符号（©）。 |
常用正则表达式
| 用户名 | /^[a-z0-9_-]{3,16}$/ | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| 密码 | /^[a-z0-9_-]{6,18}$/ | ||||||||
| 十六进制值 | /^#?([a-f0-9]{6}\ | [a-f0-9]{3})$/ | |||||||
| 电子邮箱 | /^([a-z0-9_.-]+)@([\da-z.-]+).([a-z.]{2,6})$/ /^[a-z\d]+(.[a-z\d]+)*@(\da-z?)+(.{1,2}[a-z]+)+$/ | ||||||||
| URL | /^(https?:\/\/)?([\da-z.-]+).([a-z.]{2,6})([\/\w .-])\/?$/ | ||||||||
| IP 地址 | /((2[0-4]\d\ | 25[0-5]\ | [01]?\d\d?).){3}(2[0-4]\d\ | 25[0-5]\ | [01]?\d\d?)/ /^(?:(?:25[0-5]\ | 2[0-4][0-9]\ | [01]?[0-9][0-9]?).){3}(?:25[0-5]\ | 2[0-4][0-9]\ | [01]?[0-9][0-9]?)$/ |
| HTML 标签 | /^([a-z]+)([<](https://na0h.cn/笔记/学习正则表达式的一些笔记#fn-<)+)*(?:(.*)<\/\1>\ | \s+\/>)$/ | |||||||
| 删除代码\注释 | (?<!http:\ | \S)//.*$ | |||||||
| Unicode编码中的汉字范围 | /^[\u2E80-\u9FFF]+$/ |