cs336 作业1 注意事项
·
关于特殊字符\n\n<|endoftext|>的识别问题
用的正则是
PAT = r"""'(?:[sdmt]|ll|ve|re)| ?\p{L}+| ?\p{N}+| ?[^\s\p{L}\p{N}]+|\s+(?!\S)|\s+"""
会将“.......! \n\n<|endoftext|>” 中两个连续的\n识别成两个单词，这样后续多没有机会合并它们了
而在“......! \n\n”中将两个连续\n识别到一个单词去，这是该作业自动测试时认可的结果
没有找到较好的解决方法，参考网上各答案，他们的解决方案中都是按照<|endoftext|>把整个文本切割开分别处理。因此没有出现我的上述问题。
码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)