在日本的中国银行办理的银行卡，如果里面存有日元，是可以直接在中国提取人民币的。根据当天的汇率，银行会按照这个比率进行兑换。中国银行提供外币兑换服务，支持将日元兑换成人民币或其他可自由兑换的货币，因此取现选择非常灵活。

办理这一过程相对简单，只需要携带有效的身份证明，例如中国公民的身份证、户口簿（十六岁以下适用）、军人或武装警察证件，以及港澳台居民或外国公民的相应护照。填写相关的单据，并交付所需的现金即可完成操作。

需要注意的是，如果之前在中国银行兑换的外币未使用完，想要退汇，境外个人可以凭有效证件和原兑换水单办理，但兑回的金额和期限有限制。当日累计不超过等值500美元（含）以及离境前在境内关外场所的累计不超过等值1000美元（含）的部分，只需身份证件即可办理。但请记住，由于汇率是实时变动的，建议在兑换前确认当前汇率，一旦交易完成，通常无法撤销。

以上信息来源于中国银行的官方外币兑换服务说明，具体操作请参考银行的最新规定。